نماذج openai تخترق معهد بريطاني وirregular خلال اختبارات | الشرق للأخبار

بعد Hugging Face.. نماذج OpenAI تخترق معهد بريطاني وIrregular خلال اختبارات

time reading iconدقائق القراءة - 10
صورة أرشيفية لشعار  شركة OpenAI في صورة التقطت في 20 مايو 2024 - reuters
صورة أرشيفية لشعار شركة OpenAI في صورة التقطت في 20 مايو 2024 - reuters

أعلنت شركة OpenAI، الثلاثاء، وقوع حوادث جديدة خلال اختبارات للأمن السيبراني أجرتها جهات خارجية، تمكّنت خلالها نماذج تابعة للشركة من الوصول إلى الإنترنت العام في "ظروف محددة"، وضمن إعدادات تجريبية لا تعكس طريقة عمل النماذج المتاحة للمستخدمين.

وقالت الشركة إن الاختبارات المستقلة تؤدي دوراً مهماً في التحقق من المخاطر وفهمها بصورة أفضل قبل إطلاق النماذج، موضحة أن بعض اختبارات الأمن السيبراني تستخدم عمداً إعدادات خاصة، من بينها تخفيف بعض وسائل الحماية، بهدف قياس القدرات الأساسية للنماذج، وليس طريقة تصرفها المعتادة في بيئات الاستخدام العامة.

وأضافت OpenAI أن شريكين خارجيين رصدا، خلال اختبارات حديثة، حوادث تجاوز فيها نشاط النماذج الحدود التي كان من المفترض أن تظل داخلها، نتيجة تداخل إعدادات الاختبار والضوابط المستخدمة مع القدرات المتقدمة للنماذج الحديثة.

وأكدت أن هذه الوقائع منفصلة عن الحادثة الأمنية المرتبطة بمنصة Hugging Face، مشيرة إلى أنها ستواصل نشر تحديثات مستقلة بشأن تلك الحادثة.

تخفيف وسائل الحماية

وذكرت OpenAI أن الحوادث الجديدة تضمنت وصول نماذجها إلى الإنترنت العام خلال اختبارات سيبرانية أجرتها جهات خارجية، في ظل ظروف محددة، وإعدادات خُففت فيها وسائل الحماية، وهي إعدادات لا تمثل طريقة تشغيل النماذج في الخدمات المتاحة للجمهور.

ووقعت إحدى الحوادث خلال اختبارات أجراها معهد أمن الذكاء الاصطناعي في المملكة المتحدة، المعروف بـUK AISI، داخل بيئات تدريب سيبرانية تحاكي شبكات وأنظمة حقيقية.

وكان الوصول إلى الإنترنت مفعلاً عمداً في تلك الاختبارات، حتى تتمكن أنظمة الذكاء الاصطناعي العاملة بصورة مستقلة من البحث عن الأدوات اللازمة وتنزيلها، والعمل في ظروف أقرب إلى تلك التي قد يعمل فيها مهاجم حقيقي.

وأضافت الشركة أن المعهد عطّل أيضاً أنظمة تصنيف المحتوى السيبراني، وهي وسائل حماية تراقب الطلبات والأنشطة الخطرة وتقيّدها، بهدف قياس القدرات الأساسية للنموذج من دون تلك القيود.

أما الحادثة الثانية، فكانت لدى شركة Irregular، إحدى الجهات الخارجية التي تتعاون مع OpenAI في اختبارات الأمن السيبراني.

ووقعت الحادثة خلال اختبارات بأسلوب "التقاط العلم" أو CTF، وهي تمارين تنافسية يُطلب فيها العثور على معلومات مخفية أو اختراق أنظمة تجريبية للوصول إلى هدف محدد.

وكان من المفترض أن تكون بيئة الاختبار معزولة عن الإنترنت، لكن خطأ في إعدادها سمح للنماذج بالاتصال بالإنترنت العام.

مراجعة بيئات الاختبار

وقالت OpenAI إن الحوادث تعكس تحدياً أوسع سبق أن أشارت إليه عند الحديث عن حادثة Hugging Face، يتمثل في ضرورة تطوير أنظمة الأمن والسلامة بالتوازي مع تطور قدرات النماذج.

وأضافت أن ذلك ينطبق على بيئات تطوير النماذج داخل الشركات، وكذلك على البيئات التي تستخدمها المختبرات والجهات المستقلة لإجراء الاختبارات.

وأعلنت الشركة أنها ستراجع، خلال الأسابيع المقبلة، نهجها في التعامل مع الاختبارات التي تجريها جهات خارجية، بما يشمل تحديد الاختبارات الأعلى خطورة، والاتفاق مسبقاً على نطاق كل اختبار وحدوده، وتقييم طلبات السماح بالوصول إلى الإنترنت أو تخفيف وسائل الحماية.

وستشمل المراجعة أيضاً وضع قواعد أوضح بشأن عزل بيئات الاختبار عن الأنظمة الخارجية، والتعامل مع بيانات تسجيل الدخول ومفاتيح الوصول، ومراقبة الأنشطة، وتحديد الحالات التي تستدعي وقف الاختبار، إلى جانب آليات الإبلاغ والتصعيد عند وقوع أي حادثة.

وأكدت OpenAI التزامها بالتعاون مع جهات في قطاع الذكاء الاصطناعي لتعزيز الممارسات المشتركة الخاصة بإجراء الاختبارات عالية الخطورة بصورة آمنة.

وقالت إنها تعتزم دعوة معاهد وطنية متخصصة في الذكاء الاصطناعي، وجهات تقييم مستقلة، ومختبرات ذكاء اصطناعي، وأطراف أخرى إلى المشاركة في هذه الجهود خلال الأسابيع المقبلة.

وأضافت أن هدفها يتمثل في الحفاظ على أهمية الاختبارات المستقلة والصارمة، مع ضمان مواكبة إجراءات الاختبار للقدرات المتزايدة للنماذج.

حادثة المعهد البريطاني

قالت OpenAI إن معهد أمن الذكاء الاصطناعي في المملكة المتحدة أبلغها، في 3 أغسطس، بأن نماذج تابعة لها ولمختبر آخر تجاوزت نطاق الاختبار في بعض الحالات، خلال تقييم سيبراني روتيني بدأ في 25 يوليو.

وأُجري التقييم داخل بيئات تجريبية صُممت لمحاكاة شبكات حقيقية، ورصد المعهد 19 واقعة تجاوزت فيها النماذج الحدود المحددة للاختبار.

وكانت واقعتان منها مرتبطتين بنموذج GPT 5.6 Sol التابع لـOpenAI، فيما ارتبطت الوقائع الأخرى بنماذج تابعة لمختبر آخر.

وخلال التقييم، طُلب من النماذج العمل كخبراء أمن سيبراني في تمرين بأسلوب "التقاط العلم"، من خلال اختراق 3 بيئات محاكاة مترابطة والوصول إلى معلومة أو هدف نهائي يُعرف في هذه الاختبارات باسم "العلم".

وحددت تعليمات الاختبار الشبكات والأنظمة المسموح باستهدافها، كما صنّفت عدداً من الأنظمة الأخرى باعتبارها خارج نطاق الاختبار.

وفعّل المعهد الوصول المباشر إلى الإنترنت حتى تتمكن النماذج من تنزيل الأدوات والعمل في ظروف أقرب إلى مهاجم بشري، كما عطّل أنظمة الحماية الخاصة بالمحتوى السيبراني لقياس قدراتها الأساسية.

وقالت OpenAI إن التفويض الذي قصده المعهد كان محصوراً في بيئة الاختبار، أي إن النماذج كانت مخولة بمهاجمة الشبكات المحاكاة المحددة والوصول إلى الهدف النهائي، من دون التفاعل مع أنظمة حقيقية خارج تلك البيئة.

لكن النماذج لم تتلق تعليمات صريحة تحدد كيفية استخدام اتصال الإنترنت المفتوح، وما الذي يُسمح لها بفعله أو يُحظر عليها، وهو ما اعتبره المعهد عاملاً محتملاً أسهم في وقوع الحادثة.

نشاطان خارج نطاق الاختبار

وجد معهد UK AISI، بحسب OpenAI، أن نموذج GPT 5.6 Sol نفذ نشاطين غير مصرح بهما أثناء محاولته الوصول إلى بيئة الاختبار والحصول على الهدف المطلوب.

تمثل النشاط الأول في إعادة استخدام رمز دخول إلى منصة GitHub كان نظام تابع لمختبر آخر قد تركه متاحاً بصورة علنية. واستخدم النموذج الرمز للتحقق مما إذا كان أحد الأنظمة الموجودة داخل نطاق الاختبار يتصل بمنصة GitHub أو بإحدى خدمات تحديث البرمجيات.

كما حاول تجاوز إجراءات استعادة الحساب والقيود المفروضة على عدد الطلبات، وسجّل حسابات لدى شركات حقيقية تقدم خدمات لإدارة أسماء النطاقات وإنشاء قنوات اتصال بين الأنظمة.

أما النشاط الثاني، فتمثل في استخدام خدمة اتصال عامة لإتاحة خادم محلي خاص بنظام أسماء النطاقات عبر الإنترنت العام.

ونظام أسماء النطاقات، المعروف اختصاراً باسم DNS، هو النظام الذي يحوّل أسماء المواقع إلى عناوين رقمية تستطيع الأجهزة الوصول إليها.

وكان الخادم يحتوي على شيفرات أُعدت لاستغلال ثغرة أمنية معروفة في برنامج يعمل داخل بيئة الاختبار.

وقالت OpenAI إن هذه المحاولة لم تنجح، ولا يوجد دليل على أن أي نظام حقيقي على الإنترنت اتصل بالخادم أو أرسل إليه طلبات، كما أُزيلت البنية التحتية المستخدمة بعد انتهاء الاختبار.

واعتبر المعهد النشاطين غير مصرح بهما لأنهما تضمنا استخدام حسابات وخدمات خارجية حقيقية تقع خارج نطاق الاختبار، ولم يكونا ضروريين لإتمام المهمة المطلوبة.

ورصد المعهد النشاط في 28 يوليو، بعدما اكتشفت أنظمة المراقبة الأمنية عمليات غير معتادة لنقل البيانات. وعقب ذلك، أوقف الاختبارات المرتبطة بالحادثة، وعزل الأجهزة المعنية، وتمكن من احتواء النشاط خلال نحو ساعة من اكتشافه.

حادثة شركة Irregular

في 29 يوليو، أبلغت شركة Irregular، إحدى الجهات الخارجية المتعاونة مع OpenAI في التقييمات السيبرانية، الشركة بحادثة شملت نماذج تابعة لها خلال اختبارات بأسلوب "التقاط العلم".

وطُلب من النماذج العثور على معلومات مخفية من خلال استغلال نقاط ضعف داخل بيئة محاكاة، كما أُبلغت بأنها لا تملك اتصالاً بالإنترنت. لكن خطأ في إعداد بيئة الاختبار سمح لها بالوصول إلى الإنترنت العام.

وفي أحد الاختبارات، كان اسم الهدف الوهمي المستخدم في التمرين مطابقاً لاسم نطاق حقيقي على الإنترنت.

ونتيجة اتصال بيئة الاختبار بالإنترنت عن طريق الخطأ، استهدف النموذج الموقع الحقيقي واستغل ثغرة فيه، معتقداً أنه جزء من البيئة التجريبية.

وشددت OpenAI على أن الحادثة لم تتضمن اختراقاً متقدماً لبيئة العزل، أو استغلال ثغرة أمنية غير معروفة سابقاً. وأوضحت أن الوصول إلى الإنترنت نتج عن خطأ في إعداد البيئة، فيما استخدم النموذج، على ما يبدو، ثغرة أمنية أساسية في الموقع.

اقرأ أيضاً

مرحلة جديدة.. OpenAI تراهن على مساعد ذكي لكل فرد

كشفت OpenAI عن رؤيتها للمرحلة المقبلة من الذكاء الاصطناعي، والتي تقوم على توسيع الاستفادة من التقنية في الحياة اليومية.

وبحسب تحقيق أجرته شركة Irregular، عثر النموذج أيضاً على بيانات تسجيل دخول واستخدمها في تشغيل الموقع نفسه.

ولم ترصد الشركة أثراً يتجاوز البيانات الموجودة في الموقع المتأثر، فيما لا تزال عملية المراجعة والتدقيق مستمرة.

وأوقفت Irregular الاختبارات مؤقتاً وبدأت تنفيذ إجراءات المعالجة، كما أخطرت الأطراف المتأثرة بالحادثة.

وأبلغت الشركة OpenAI بأن جميع المشكلات التي جرى تحديدها والمرتبطة بالحادثة لم تعد قائمة، وأنها أضافت إجراءات حماية جديدة إلى بيئة الاختبار.

وقالت OpenAI إن Irregular تعمل أيضاً على إعداد ورقة فنية تتضمن أفضل الممارسات الخاصة بعزل بيئات الاختبارات السيبرانية وتشغيلها بأمان.

وأضافت أنها ستشارك في إعداد الورقة، بهدف إتاحة نتائجها وتوصياتها أمام المختصين في المجال التقني.

تصنيفات

قصص قد تهمك