قال أحد الباحثين الأمنيين الذين يبحثون في المكتبات المهلوسة بالذكاء الاصطناعي أواخر الشهر الماضي إنه وجد روبوتات دردشة تدعو إلى حزمة بايثون غير موجودة يطلق عليها اسم "huggingface-cli". قام Bar Lanyado من Lasso Security بتحميل حزمة فارغة بهذا الاسم، متسائلاً عما سيحدث. النتائج؟ وقال لمجموعة Information Security Media Group إنه تم إجراء أكثر من 35000 عملية تنزيل أصلية في ثلاثة أشهر.
تحظى أدوات ترميز الذكاء الاصطناعي، بما في ذلك ChatGPT، بشعبية كبيرة بين المبرمجين للمساعدة في أتمتة المهام وفهم منطق الكود وتحديد الأخطاء وحتى المساعدة في كتابة الكود نفسه. تظهر نتائج استطلاع صيف 2023 لمبرمجي GitHub أن "92% من المطورين المقيمين في الولايات المتحدة يستخدمون بالفعل أدوات ترميز الذكاء الاصطناعي داخل العمل وخارجه على حد سواء"، ويقول 70% منهم أن الذكاء الاصطناعي يوفر "فوائد كبيرة" للتعليمات البرمجية الخاصة بهم. . وقال لانيادو: "في كثير من الأحيان عندما يحصل المستخدمون على مثال للتعليمات البرمجية أو توصية لحزمة من هذه الأدوات، فإنهم يثقون بهم وينسخون ويلصقون عدة مرات دون التحقق من الإجابات".
وقال لانيادو إن العديد من الشركات الكبيرة استخدمت أو أوصت بالحزمة المزيفة في مستودعاتها، بما في ذلك شركة علي بابا. ولم تستجب علي بابا لطلب التعليق. وقال لانيادو إن Lasso Security اتصلت بجميع الشركات التي استخدمت الحزمة المزيفة، بما في ذلك Alibaba.
قال لانيادو إنه توقع حدوث شيء كهذا، لكن نطاق اعتماده ودمجه في بيئات التطوير الخاصة بالمؤسسات المعروفة فاجأه. وقال: "بعد بحثي السابق، توقعت أن OpenAI والنماذج المماثلة ستواجه التحدي المتمثل في الإجابات المهلوسة، لكن هذا البحث يكشف بشكل لا لبس فيه أنها لم تفعل ذلك".
أجرى بحثه السابق في منتصف عام 2023 أثناء عمله في شركة الأمن السيبراني فولكان وحدد لأول مرة مصطلح "هلوسة حزمة الذكاء الاصطناعي".
في هذه الجولة من البحث، بالإضافة إلى تحميل حزمة برامج فارغة، طلب Lanyado من نماذج GPT-3.5-Turbo أو GPT-4 أو Gemini Pro أو Bard وCoral أو Cohere، عبر واجهات برمجة التطبيقات الخاصة بها، للعثور على الحزم المهلوسة. اكتشف أن نموذجي GPT وCohere أنتجا مخرجات هلوسة في حوالي 20% من الوقت، وفعل الجوزاء ذلك في 64.5% من الوقت.
ومع ذلك، لا يمكن استغلال جميع الحزم المهلوسة من قبل المتسللين. كان عدد المكتبات المهلوسة للغة .Netالبرمجة G0 مرتفعًا، ولكن لا يوجد مستودع حزم مركزي لـ Go. وقال لانيادو: "عندما فحصنا الحزم المهلوسة التي تلقيناها في Go، وجدنا أن العديد منها تم توجيهها إلى مستودعات غير موجودة ولكن اسم المستخدم الموجود في المسار موجود أو أشار إلى نطاقات تم أخذها بالفعل".
يوجد .Netمستودع مركزي، لكن العديد من الحزم المهلوسة تبدأ ببادئات احتياطية تتحكم فيها شركات مثل جوجل ومايكروسوفت، "مما يعني أن المهاجم الذي يجد هذه الهلوسة لن يتمكن من تحميل الحزم على هذه المسارات أيضًا".
وقال لانيادو إنه أجرى هذا الاختبار لإظهار مدى سهولة تنفيذه ومدى خطورته، لكنه لم يعثر بعد على مهاجم استخدم هذه التقنية لأغراض ضارة. ربما كانوا جيدين في إخفاء نشاطهم. وقال لـISMG: "من الصعب تحديد مثل هذا الهجوم، لأنه لا يترك الكثير من الخطوات".
وقال لانيادو إنه من الضروري أن يقوم المطورون بالتحقق من المعلومات أثناء استخدام LLMs والبرامج مفتوحة المصدر.
"من ناحية، من الصعب اكتشاف حزمة ضارة إذا تم حجبها بشكل جيد أو إذا قام المهاجم بتنفيذها بطريقة ماكرة - انظر إلى ما حدث الآن مع حزمة XZ،" قال (انظر: العثور على باب خلفي ونزع فتيله على نطاق واسع) تستخدم Linux Utility XZ ).
وأوصى الباحث الأمني لانيادو بتوخي الحذر عند الاعتماد على نماذج اللغات الكبيرة (LLMs)، مضيفًا: إذا تلقيت إجابة من LLM ولم تكن متأكدًا تمامًا من دقتها خاصة فيما يتعلق بحزم البرامج فتأكد من إجراء تحقق شامل للتأكد من دقة المعلومات وموثوقيتها.
كما أوصى باعتماد نهج حذر في استخدام البرمجيات مفتوحة المصدر (OSS)، موضحًا: إذا واجهت حزمة لا تعرفها، قم بزيارة مستودع الحزمة لجمع المعلومات الأساسية عنها. قم بتقييم حجم مجتمعه، وسجل الصيانة الخاص به، وأي نقاط ضعف معروفة، وضع في اعتبارك أيضًا تاريخ نشره وكن على اطلاع بأي شيء يبدو مريبًا. وقبل دمج الحزمة في بيئة الإنتاج، من الحكمة إجراء فحص أمني شامل.
المصدر: Bank of Security، Laso