بواسطةبيل تولاس | BleepingComputer
أظهر الباحثون أنه من الممكن إساءة استخدام واجهة برمجة التطبيقات الصوتية في الوقت الفعلي الخاصة بـ OpenAI لـ ChatGPT-4o، وهو روبوت محادثة متقدم، لإجراء عمليات احتيال مالية بمعدلات نجاح منخفضة إلى متوسطة.
شات جي بي تي 4 أو (ChatGPT-4o) هو أحدث نموذج للذكاء الاصطناعي من أوبن أيه آي OpenAI والذي يوفر تحسينات جديدة، مثل دمج النص والصوت والمدخلات والمخرجات البصرية.
بفضل هذه الميزات الجديدة، قامت OpenAI بدمج العديد من الضمانات للكشف عن المحتوى الضار وحظره، مثل تكرار الأصوات غير المصرح بها.
إن عمليات الاحتيال المعتمدة على الصوت تشكل بالفعل مشكلة بملايين الدولارات، كما أن ظهور تقنية التزييف العميق وأدوات تحويل النص إلى كلام المدعومة بالذكاء الاصطناعي يجعل الوضع أسوأ .
وكما أوضح الباحثون ريتشارد فانغ وديلان بومان ودانيال كانغ من جامعة إلينوي في إربانا شامبين في ورقتهم البحثية ، فإن الأدوات التقنية الجديدة المتاحة حاليًا دون قيود لا تحتوي على ضمانات كافية للحماية من الانتهاكات المحتملة من قبل مجرمي الإنترنت والمحتالين.
يمكن استخدام هذه الأدوات لتصميم وتنفيذ عمليات احتيال واسعة النطاق دون جهد بشري من خلال تغطية تكلفة الرموز لأحداث توليد الصوت.
نتائج الدراسة
تستكشف ورقة الباحث عمليات الاحتيال المختلفة مثل التحويلات المصرفية، واستخراج بطاقات الهدايا، وتحويلات العملات المشفرة، وسرقة بيانات الاعتماد لوسائل التواصل الاجتماعي أو حسابات جيميل Gmail.
يستخدم وكلاء الذكاء الاصطناعي الذين يقومون بعمليات الاحتيال أدوات أتمتة ChatGPT-4o المدعومة بالصوت للتنقل بين الصفحات وإدخال البيانات وإدارة رموز المصادقة الثنائية والتعليمات المحددة المتعلقة بالاحتيال.
وبما أن GPT-4o يرفض في بعض الأحيان التعامل مع البيانات الحساسة مثل بيانات الاعتماد، فقد استخدم الباحثون تقنيات كسر الحماية السريعة البسيطة لتجاوز هذه الحماية.
وبدلاً من الأشخاص الفعليين، أظهر الباحثون كيفية تفاعلهم يدويًا مع وكيل الذكاء الاصطناعي، محاكين دور الضحية الساذجة، باستخدام مواقع ويب حقيقية مثل بنك أوف أميركا لتأكيد المعاملات الناجحة.
"لقد قمنا بنشر وكلاءنا على مجموعة فرعية من عمليات الاحتيال الشائعة. لقد قمنا بمحاكاة عمليات الاحتيال من خلال التفاعل يدويًا مع الوكيل الصوتي، ولعب دور الضحية الساذجة"، أوضح كانج في منشور على مدونته حول البحث.
"لتحديد النجاح، قمنا يدويًا بالتأكد من تحقيق النتيجة النهائية على التطبيقات/المواقع الإلكترونية الحقيقية. على سبيل المثال، استخدمنا بنك أوف أميركا في عمليات الاحتيال المتعلقة بالتحويلات المصرفية وتأكدنا من تحويل الأموال بالفعل. ومع ذلك، لم نقم بقياس قدرة هؤلاء العملاء على الإقناع."
وبشكل عام، تراوحت معدلات النجاح بين 20% و60%، حيث تطلبت كل محاولة ما يصل إلى 26 إجراءً في المتصفح واستمرت لمدة تصل إلى 3 دقائق في السيناريوهات الأكثر تعقيدًا.
التحويلات المصرفية وانتحال شخصيات وكلاء مصلحة الضرائب، مع حدوث معظم حالات الفشل بسبب أخطاء النسخ أو متطلبات التنقل المعقدة في الموقع. ومع ذلك، نجحت سرقة بيانات الاعتماد من Gmail بنسبة 60% من الوقت، بينما نجحت عمليات نقل العملات المشفرة وسرقة بيانات الاعتماد من Instagram بنسبة 40% فقط من الوقت.
أما بالنسبة للتكلفة، فقد لاحظ الباحثون أن تنفيذ هذه الاحتيالات غير مكلف نسبيًا، إذ تبلغ تكلفة كل حالة ناجحة في المتوسط 0.75 دولارًا.
تبلغ تكلفة عملية الاحتيال عبر التحويل المصرفي، والتي تعد أكثر تعقيدًا، 2.51 دولارًا. ورغم أنها أعلى بكثير، إلا أنها لا تزال منخفضة للغاية مقارنة بالربح المحتمل الذي يمكن تحقيقه من هذا النوع من الاحتيال.
قالت شركة OpenAI لموقع BleepingComputer أن أحدث طراز لها، o1 (حاليًا في مرحلة المعاينة)، والذي يدعم "المنطق المتقدم"، تم بناؤه بدفاعات أفضل ضد هذا النوع من الانتهاكات.
"نعمل باستمرار على تحسين ChatGPT في إيقاف المحاولات المتعمدة لخداعه، دون أن نفقد فائدته أو إبداعه.
"أحدث نموذج استدلال o1 لدينا هو الأكثر كفاءة وأمانًا حتى الآن، حيث يتفوق بشكل كبير على النماذج السابقة في مقاومة المحاولات المتعمدة لإنشاء محتوى غير آمن." - المتحدث باسم OpenAI
وأشارت شركة OpenAI أيضًا إلى أن أوراقًا مثل هذه من UIUC تساعدهم في جعل ChatGPT أفضل في إيقاف الاستخدام الضار، كما يبحثون دائمًا عن كيفية زيادة متانته.
يتضمن GPT-4o بالفعل عددًا من التدابير لمنع سوء الاستخدام، بما في ذلك تقييد توليد الصوت بمجموعة من الأصوات المعتمدة مسبقًا لمنع انتحال الهوية.
حصلت o1-preview على درجات أعلى بشكل ملحوظ وفقًا لتقييم سلامة كسر الحماية الخاص بـ OpenAI، والذي يقيس مدى مقاومة النموذج لتوليد محتوى غير آمن استجابةً للمطالبات المعادية، وسجلت 84% مقابل 22% لـ GPT-4o.
عند اختباره باستخدام مجموعة من تقييمات السلامة الجديدة الأكثر تطلبًا، كانت درجات المعاينة o1 أعلى بشكل ملحوظ، 93% مقابل 71% لـ GPT-4o.
ومن المفترض أنه مع توافر برامج ماجستير في القانون أكثر تقدماً وقادرة على مقاومة إساءة الاستخدام، فسوف يتم التخلص تدريجياً من البرامج القديمة.
ومع ذلك، لا يزال خطر استخدام الجهات الفاعلة للتهديدات لبرامج الدردشة الصوتية الأخرى ذات القيود الأقل قائما، وتسلط دراسات مثل هذه الضوء على الضرر الكبير المحتمل الذي قد تسببه هذه الأدوات الجديدة.