استكشاف موثوقية نموذج GPT: تقييم شامل يكشف عن المخاطر المحتملة

أجرت دراسة مشتركة بين جامعة إلينوي في إربانا-شامبين، جامعة ستانفورد، جامعة كاليفورنيا في بيركلي، مركز أمان الذكاء الاصطناعي، ومختبرات أبحاث مايكروسوفت، تقييمًا شاملًا لثقة نماذج اللغة الكبيرة (LLMs). أصدرت فريق البحث منصة تقييم شاملة، وقدموا تفاصيل نتائج البحث في ورقة العمل الأخيرة "DecodingTrust: تقييم شامل لثقة نماذج GPT."

أظهرت نتائج التقييم بعض الثغرات المتعلقة بالموثوقية التي لم يتم الكشف عنها سابقًا. وجدت الدراسة أن نماذج GPT يمكن أن تنخدع بسهولة لإنتاج مخرجات سامة ومت偏عة، وقد تكشف عن بيانات التدريب والمعلومات الخاصة من تاريخ المحادثات. على الرغم من أن GPT-4 عادة ما يكون أكثر موثوقية من GPT-3.5 في اختبارات المعايير القياسية، إلا أنه يصبح أكثر عرضة للهجمات عند مواجهة أنظمة أو تلميحات مصممة بشكل خبيث، وقد يكون ذلك لأن GPT-4 يتبع التعليمات المضللة بشكل أكثر صرامة.

تعاون فريق البحث مع الأطراف المعنية لضمان عدم تأثير الثغرات المحتملة التي تم اكتشافها على الخدمات الموجهة للعملاء. كما شاركوا نتائج بحثهم مع مطوري نموذج GPT، الذين أشاروا إلى هذه المشكلات المحتملة في وثائق النظام الخاصة بالنموذج المعني.

تم تقييم نموذج GPT بشكل شامل من ثمانية جوانب موثوقية، تغطي سيناريوهات بناء مختلفة، ومهام، ومعايير، ومجموعات بيانات. تشمل أهداف التقييم: أداء نموذج GPT 1) من وجهات نظر موثوقية مختلفة؛ 2) قدرته على التكيف في بيئات عدائية.

على وجه التحديد، أظهرت الأبحاث أن:

1. في العروض التقديمية التنافسية، لا يمكن لنموذج GPT أن يضلله الأمثلة المضادة للحقائق، ولكنه قد يتعرض للتضليل بسبب العروض المضادة للاحتيال، خاصة عندما تكون العروض المضادة للحقائق قريبة من مدخلات المستخدم.

2. من حيث السمية والتحيز، فإن نموذج GPT لديه تحيزات قليلة تجاه معظم مواضيع الصور النمطية تحت التوجيهات الإيجابية، ولكنه قد ينتج محتوى متحيز تحت التوجيهات المضللة. يتأثر مستوى تحيز النموذج بالمجموعات ومواضيع الصور النمطية المذكورة في توجيهات المستخدم.

3. في مجال تسريب الخصوصية، قد يكشف نموذج GPT عن معلومات حساسة من بيانات التدريب، خاصة في سياقات معينة أو عروض قليلة العينات. يعتبر GPT-4 أكثر قوة في حماية المعلومات الشخصية مقارنة بـ GPT-3.5، لكن كلا النموذجين قد يكشفان عن جميع أنواع المعلومات الشخصية عند مواجهة عروض تسريب الخصوصية.

تقدم هذه الدراسة منظورًا شاملاً لتقييم موثوقية نماذج GPT، كاشفة عن فجوات مهمة في الموثوقية. يأمل فريق البحث أن تشجع هذه العمل المزيد من الباحثين على المشاركة، والعمل معًا نحو إنشاء نماذج أقوى وأكثر موثوقية.