أجرت مجموعة من الخبراء بقيادة NIST تمارين اختراق في CAMLIS، لتقييم الثغرات في أنظمة الذكاء الاصطناعي المتقدمة، مع تقييم المخاطر مثل المعلومات المضللة، وتسريبات البيانات، والتManipulation العاطفية.
أكمل المعهد الوطني للمعايير والتكنولوجيا (NIST) تقريرًا عن سلامة نماذج الذكاء الاصطناعي المتقدمة قرب نهاية إدارة جو بايدن، لكن الوثيقة لم تُنشر بعد الانتقال إلى إدارة دونالد ترامب. على الرغم من أن التقرير كان مصممًا لمساعدة المنظمات في تقييم أنظمة الذكاء الاصطناعي الخاصة بها، إلا أنه كان من بين عدة وثائق كتبها المعهد الوطني للمعايير والتكنولوجيا حول الذكاء الاصطناعي تم حجبها عن النشر بسبب الصراعات المحتملة مع اتجاه سياسة الإدارة الجديدة.
قبل توليه منصبه، أشار الرئيس دونالد ترامب إلى نيته إلغاء الأوامر التنفيذية التي صدرت في عهد بايدن والمتعلقة بالذكاء الاصطناعي. منذ الانتقال، أعادت الإدارة توجيه تركيز الخبراء بعيدًا عن مجالات مثل التحيز الخوارزمي والعدالة في الذكاء الاصطناعي. خطة العمل الخاصة بالذكاء الاصطناعي التي صدرت في يوليو تدعو بشكل محدد إلى مراجعات لإطار إدارة مخاطر الذكاء الاصطناعي الخاص بـ NIST، موصية بإزالة الإشارات إلى المعلومات المضللة، التنوع، الإنصاف، والشمول (DEI)، وتغير المناخ.
في الوقت نفسه، يتضمن خطة عمل الذكاء الاصطناعي اقتراحًا يشبه أهداف التقرير غير المنشور. يوجه عدة وكالات فدرالية، بما في ذلك NIST، لتنظيم مبادرة هاكاثون للذكاء الاصطناعي منسقة تهدف إلى اختبار أنظمة الذكاء الاصطناعي من حيث الشفافية والوظائف والتحكم من قبل المستخدم والثغرات الأمنية المحتملة.
تمرين الفريق الأحمر بقيادة NIST يستكشف مخاطر أنظمة الذكاء الاصطناعي باستخدام إطار عمل ARIA في مؤتمر CAMLIS
تم إجراء تمرين الفريق الأحمر تحت برنامج تقييم المخاطر والآثار الناتجة عن الذكاء الاصطناعي (ARIA) من قبل NIST، بالتعاون مع Humane Intelligence، وهي شركة تركز على تقييم أنظمة الذكاء الاصطناعي. تم عقد هذه المبادرة خلال مؤتمر التعلم الآلي التطبيقي في أمن المعلومات (CAMLIS)، حيث استكشف المشاركون نقاط الضعف في مجموعة من تقنيات الذكاء الاصطناعي المتقدمة.
تُوثّق تقرير فريق كامليس الأحمر تقييم أدوات الذكاء الاصطناعي المختلفة، بما في ذلك نموذج لاما الكبير مفتوح المصدر من ميتا، (LLM)؛ أنوت، وهي منصة لتطوير وتحسين نماذج الذكاء الاصطناعي؛ نظام أمان من روبست إنتليجنس، الذي تم الاستحواذ عليه لاحقًا من قبل سيسكو؛ ومنصة توليد الصور الرمزية بالذكاء الاصطناعي من سينثيسيا. ساهم ممثلون من كل منظمة في أنشطة الفريق الأحمر.
استخدم المشاركون إطار عمل NIST AI 600-1 لتحليل الأدوات المعنية. يحدد هذا الإطار عدة مجالات خطر، مثل إمكانية أن تنتج الذكاء الاصطناعي معلومات خاطئة أو تهديدات للأمن السيبراني، أو الكشف عن بيانات خاصة أو حساسة، أو تعزيز الاعتماد العاطفي بين المستخدمين وأنظمة الذكاء الاصطناعي.
تقرير فريق الذكاء الاصطناعي غير المنشور يكشف عن ثغرات النماذج، ويثير المخاوف بشأن القمع السياسي والرؤى البحثية الضائعة
وجد فريق البحث عدة طرق للت circumvent الحواجز المقصودة للأدوات قيد التقييم، مما أدى إلى مخرجات تضمنت معلومات مضللة، وفضح معلومات خاصة، والمساعدة في تشكيل استراتيجيات الهجوم السيبراني. وفقًا للتقرير، أثبتت بعض جوانب إطار عمل NIST أنها أكثر قابلية للتطبيق من غيرها. كما أشار إلى أن بعض فئات المخاطر تفتقر إلى الوضوح اللازم للاستخدام العملي.
أعرب الأفراد المألوفين بمبادرة اختبار الاختراق عن أن النتائج من هذا التمرين كان من الممكن أن تقدم رؤى قيمة لمجتمع البحث والتطوير في مجال الذكاء الاصطناعي بشكل عام. وقد أشارت إحدى المشاركات، أليس تشيان زانغ، طالبة دكتوراه في جامعة كارنيجي ميلون، إلى أن مشاركة التقرير بشكل علني كان من الممكن أن يساعد في توضيح كيفية عمل إطار المخاطر الخاص بـ NIST عند تطبيقه في بيئات الاختبار الواقعية. كما سلطت الضوء على أن التفاعل المباشر مع مطوري الأدوات خلال التقييم أضاف قيمة للتجربة.
مساهم آخر، اختار أن يبقى مجهولاً، أشار إلى أن التمرين كشف عن تقنيات تحفيز محددة - باستخدام لغات مثل الروسية، الغوجاراتية، الماراثية، والتيلوغوية - كانت ناجحة بشكل خاص في استنتاج مخرجات محظورة من نماذج مثل لاما، بما في ذلك التعليمات المتعلقة بالانضمام إلى الجماعات المتطرفة. اقترح هذا الفرد أن القرار بعدم إصدار التقرير قد يعكس تحولاً أوسع بعيدًا عن المجالات التي تُعتبر مرتبطة بالتنوع، والعدالة، والشمولية قبل الإدارة القادمة.
توقع بعض المشاركين أن يكون سبب عدم ذكر التقرير هو التركيز الحكومي المتزايد على المخاطر عالية المخاطر—مثل الاستخدام المحتمل لأنظمة الذكاء الاصطناعي في تطوير أسلحة الدمار الشامل—ومجهود موازٍ لتعزيز الروابط مع الشركات التكنولوجية الكبرى. علق أحد المشاركين في الفريق الأحمر بشكل مجهول أن الاعتبارات السياسية من المحتمل أن تكون قد لعبت دورًا في حجب التقرير وأن التمرين احتوى على رؤى ذات صلة علمية مستمرة.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
دراسة المخاطر غير المنشورة للذكاء الاصطناعي من NIST لا تزال محفوظة في الأدراج وسط التغيير الإداري
باختصار
أجرت مجموعة من الخبراء بقيادة NIST تمارين اختراق في CAMLIS، لتقييم الثغرات في أنظمة الذكاء الاصطناعي المتقدمة، مع تقييم المخاطر مثل المعلومات المضللة، وتسريبات البيانات، والتManipulation العاطفية.
أكمل المعهد الوطني للمعايير والتكنولوجيا (NIST) تقريرًا عن سلامة نماذج الذكاء الاصطناعي المتقدمة قرب نهاية إدارة جو بايدن، لكن الوثيقة لم تُنشر بعد الانتقال إلى إدارة دونالد ترامب. على الرغم من أن التقرير كان مصممًا لمساعدة المنظمات في تقييم أنظمة الذكاء الاصطناعي الخاصة بها، إلا أنه كان من بين عدة وثائق كتبها المعهد الوطني للمعايير والتكنولوجيا حول الذكاء الاصطناعي تم حجبها عن النشر بسبب الصراعات المحتملة مع اتجاه سياسة الإدارة الجديدة.
قبل توليه منصبه، أشار الرئيس دونالد ترامب إلى نيته إلغاء الأوامر التنفيذية التي صدرت في عهد بايدن والمتعلقة بالذكاء الاصطناعي. منذ الانتقال، أعادت الإدارة توجيه تركيز الخبراء بعيدًا عن مجالات مثل التحيز الخوارزمي والعدالة في الذكاء الاصطناعي. خطة العمل الخاصة بالذكاء الاصطناعي التي صدرت في يوليو تدعو بشكل محدد إلى مراجعات لإطار إدارة مخاطر الذكاء الاصطناعي الخاص بـ NIST، موصية بإزالة الإشارات إلى المعلومات المضللة، التنوع، الإنصاف، والشمول (DEI)، وتغير المناخ.
في الوقت نفسه، يتضمن خطة عمل الذكاء الاصطناعي اقتراحًا يشبه أهداف التقرير غير المنشور. يوجه عدة وكالات فدرالية، بما في ذلك NIST، لتنظيم مبادرة هاكاثون للذكاء الاصطناعي منسقة تهدف إلى اختبار أنظمة الذكاء الاصطناعي من حيث الشفافية والوظائف والتحكم من قبل المستخدم والثغرات الأمنية المحتملة.
تمرين الفريق الأحمر بقيادة NIST يستكشف مخاطر أنظمة الذكاء الاصطناعي باستخدام إطار عمل ARIA في مؤتمر CAMLIS
تم إجراء تمرين الفريق الأحمر تحت برنامج تقييم المخاطر والآثار الناتجة عن الذكاء الاصطناعي (ARIA) من قبل NIST، بالتعاون مع Humane Intelligence، وهي شركة تركز على تقييم أنظمة الذكاء الاصطناعي. تم عقد هذه المبادرة خلال مؤتمر التعلم الآلي التطبيقي في أمن المعلومات (CAMLIS)، حيث استكشف المشاركون نقاط الضعف في مجموعة من تقنيات الذكاء الاصطناعي المتقدمة.
تُوثّق تقرير فريق كامليس الأحمر تقييم أدوات الذكاء الاصطناعي المختلفة، بما في ذلك نموذج لاما الكبير مفتوح المصدر من ميتا، (LLM)؛ أنوت، وهي منصة لتطوير وتحسين نماذج الذكاء الاصطناعي؛ نظام أمان من روبست إنتليجنس، الذي تم الاستحواذ عليه لاحقًا من قبل سيسكو؛ ومنصة توليد الصور الرمزية بالذكاء الاصطناعي من سينثيسيا. ساهم ممثلون من كل منظمة في أنشطة الفريق الأحمر.
استخدم المشاركون إطار عمل NIST AI 600-1 لتحليل الأدوات المعنية. يحدد هذا الإطار عدة مجالات خطر، مثل إمكانية أن تنتج الذكاء الاصطناعي معلومات خاطئة أو تهديدات للأمن السيبراني، أو الكشف عن بيانات خاصة أو حساسة، أو تعزيز الاعتماد العاطفي بين المستخدمين وأنظمة الذكاء الاصطناعي.
تقرير فريق الذكاء الاصطناعي غير المنشور يكشف عن ثغرات النماذج، ويثير المخاوف بشأن القمع السياسي والرؤى البحثية الضائعة
وجد فريق البحث عدة طرق للت circumvent الحواجز المقصودة للأدوات قيد التقييم، مما أدى إلى مخرجات تضمنت معلومات مضللة، وفضح معلومات خاصة، والمساعدة في تشكيل استراتيجيات الهجوم السيبراني. وفقًا للتقرير، أثبتت بعض جوانب إطار عمل NIST أنها أكثر قابلية للتطبيق من غيرها. كما أشار إلى أن بعض فئات المخاطر تفتقر إلى الوضوح اللازم للاستخدام العملي.
أعرب الأفراد المألوفين بمبادرة اختبار الاختراق عن أن النتائج من هذا التمرين كان من الممكن أن تقدم رؤى قيمة لمجتمع البحث والتطوير في مجال الذكاء الاصطناعي بشكل عام. وقد أشارت إحدى المشاركات، أليس تشيان زانغ، طالبة دكتوراه في جامعة كارنيجي ميلون، إلى أن مشاركة التقرير بشكل علني كان من الممكن أن يساعد في توضيح كيفية عمل إطار المخاطر الخاص بـ NIST عند تطبيقه في بيئات الاختبار الواقعية. كما سلطت الضوء على أن التفاعل المباشر مع مطوري الأدوات خلال التقييم أضاف قيمة للتجربة.
مساهم آخر، اختار أن يبقى مجهولاً، أشار إلى أن التمرين كشف عن تقنيات تحفيز محددة - باستخدام لغات مثل الروسية، الغوجاراتية، الماراثية، والتيلوغوية - كانت ناجحة بشكل خاص في استنتاج مخرجات محظورة من نماذج مثل لاما، بما في ذلك التعليمات المتعلقة بالانضمام إلى الجماعات المتطرفة. اقترح هذا الفرد أن القرار بعدم إصدار التقرير قد يعكس تحولاً أوسع بعيدًا عن المجالات التي تُعتبر مرتبطة بالتنوع، والعدالة، والشمولية قبل الإدارة القادمة.
توقع بعض المشاركين أن يكون سبب عدم ذكر التقرير هو التركيز الحكومي المتزايد على المخاطر عالية المخاطر—مثل الاستخدام المحتمل لأنظمة الذكاء الاصطناعي في تطوير أسلحة الدمار الشامل—ومجهود موازٍ لتعزيز الروابط مع الشركات التكنولوجية الكبرى. علق أحد المشاركين في الفريق الأحمر بشكل مجهول أن الاعتبارات السياسية من المحتمل أن تكون قد لعبت دورًا في حجب التقرير وأن التمرين احتوى على رؤى ذات صلة علمية مستمرة.