“محاولات الهروب”: لماذا يتجاوز “الذكاء الوكيلي” حدود الاختبار؟

الرئيسية مقالات
د. إيهاب خليفة رئيس وحدة التطورات التكنولوجية - مركز المستقبل للأبحاث والدراسات المتقدمة
“محاولات الهروب”: لماذا يتجاوز “الذكاء الوكيلي” حدود الاختبار؟

 

“محاولات الهروب”: لماذا يتجاوز “الذكاء الوكيلي” حدود الاختبار؟

 

 

 

هل تتذكرون فيلم (Eagle Eye) الذي عرض عام 2008؟ حينما وجد “جيري شو” نفسه متورطاً في سلسلة أحداث غامضة، بعد أن أُودع مبلغ كبير في حسابه البنكي، وأُرسلت إلى شقته أسلحة ومتفجرات دون علمه. وفي الوقت نفسه، تلقت “راشيل هولومان” اتصالاً من امرأة مجهولة تهدد بقتل ابنها؛ إذا لم تنفذ أوامرها، ثم يكتشف الاثنان لاحقاً أن المتصل ليس إنساناً، وإنما نظام ذكاء اصطناعي يسيطر على شبكات الاتصالات، وكاميرات المراقبة، وإشارات المرور، والأنظمة الإلكترونية المختلفة، ويستخدم هذه القدرات لتوجيههما خطوة بخطوة للقيام بمجموعة من التصرفات غير القانونية. فهل يمكن أن تتحقق هذه النبوءة بالفعل بعد أن أعلنت شركتا “أوبن أيه آي” و”أنثروبيك” عن مجموعة حوادث مشابهة؛ استطاعت فيها نماذج الذكاء الاصطناعي الوكيلي أن تخرج عن بيئة الاختبار، وأن تقوم بمجموعة من المهام الضارة.

فالمشكلة لم تعد تتعلق بذكاء اصطناعي يسعى إلى السيطرة على العالم مثلما حدث في الفيلم، وإنما بوكلاء ذكاء اصطناعي بدأوا، أثناء اختبارات السلامة، في البحث عن وسائل غير متوقعة لتحقيق المهام الموكلة إليهم؛ حتى إذا استلزم ذلك تجاوز القيود المفروضة عليهم، أو الخروج من بيئات الاختبار، أو التفاعل مع أنظمة ومشروعات حقيقية على الإنترنت.

تكشف هذه الحوادث تحولاً مهماً في طبيعة الأخطار المرتبطة بالذكاء الوكيلي. فكلما ازدادت قدرة الوكيل على التخطيط واتخاذ القرار بصورة ذاتية؛ ازدادت أيضاً احتمالات أن يعيد تفسير المهمة، وأن يبتكر وسائل جديدة غير متوقعة لتحقيقها، وقد يخرج بصورة كاملة عن السيطرة في المستقبل؛ وهو ما يفرض إعادة النظر في مفهوم السلامة بالنسبة للجيل الجديد من أنظمة الذكاء الاصطناعي.

حادثة (Hugging Face):

بحسب بيان نشرته “أوبن أيه آي”، كانت الشركة تختبر أحد نماذجها المتقدمة في الأمن السيبراني مثل GPT-5.6 Sol، ولأغراض الاختبار خُففت بعض قيود السلامة؛ حتى يستطيع النموذج تنفيذ عمليات هجومية واقعية، لكن داخل بيئة معزولة كلياً، وكان المطلوب من الوكيل حل اختبار للأمن السيبراني، وليس إجراء أي عملية اختراق سواء لمنصة (Hugging Face) أم غيرها، لكن بدلاً من حل الاختبار بالطريقة المقصودة، قرر الوكيل أن أفضل وسيلة للنجاح هي الحصول على إجابات الاختبار نفسها، واكتشف أن بعض المعلومات المرتبطة بالاختبار موجودة لدى (Hugging Face)؛ فقرر أن أسهل طريقة للحصول على الإجابات هي من المنصة نفسها؛ فقام باختراقها.

وفقاً للتحقيقات الأولية؛ استغل الوكيل ثغرة سمحت له بالخروج من البيئة المعزولة لإجراء التجربة، والتي تمثل هنا تهاوناً من شركة “أوبن أيه آي” في ضبط بيئة الاختبار، سواء أكان عن عمد أم دون قصد، ثم حصل الوكيل على اتصال بالإنترنت، وبدأ يبحث عن معلومات تساعده على حل المهمة، وبدأ في تنفيذ سلسلة هجمات متعددة حتى تحقيق هدفه.

بحسب “أوبن أيه آي” و(Hugging Face) فقد استخدم الوكيل بيانات اعتماد مسروقة عبر الإنترنت، مع ثغرة صفرية اكتشفها في المنصة؛ فتمكن من الوصول إلى بعض البيانات المحدودة، التي بدأ يبحث فيها عن معلومات تساعده على اجتياز الاختبار، وليس البحث عن بيانات المستخدمين أو بطاقات ائتمان؛ أي إنه تصرف كمهاجم سيبراني محترف يعمل بصورة مستقلة.

ما يجعل الأمر صادماً، ليس أن الاختراق كان ضخماً، بل هو إظهار النموذج سلسلة من السلوكيات المعقدة لتحقيق الهدف، بغض النظر عن مشروعية الأسلوب، فقام بالبحث عن أقصر طريق لحل الاختبار، ووضع خطة لتحقيق هذا الهدف، ثم خرج عن بيئته الأصلية، وبحث عن معلومات مسروقة، ثم استغل ثغرات موجودة؛ حتى وصل للهدف الذي يبحث عنه.

وبعد هذه الحادثة بأيام اكتشفت “أوبن أيه آي” ما قام به الوكيل، وأخبرت منصة (Hugging Face)، فهل كانت هناك محاولات اختراق أخرى قامت بها أنظمة ذكاء وكيلي ولم تُكتشف بعد؟

ناقوس الخطر:

بعد حادثة “أوبن أيه آي” ظهرت تقارير عن اختبارات أخرى أجراها معهد أمن الذكاء الاصطناعي البريطاني (AISI) على نماذج من “أوبن أيه آي” و”أنثروبيك”؛ لدراسة سلوك الذكاء الوكيلي في بيئات افتراضية، وفي هذه الاختبارات قام المعهد بتخفيف إجراءات الأمان عن عمد، وأتاح للوكلاء الاتصال بالإنترنت؛ بهدف مراقبة تصرفاتهم وسلوكهم؛ لكن المشكلة أن الوكلاء استخدموا هذه الصلاحيات في أنشطة حقيقية خارج نطاق الاختبار؛ استهدفت أشخاصاً ومشروعات قائمة بالفعل وخارج نطاق الاختبار.

كان معهد (AISI) يقارن بين بيئتين لاختبار الهجمات السيبرانية؛ مستخدماً سبعة نماذج مختلفة، نفّذ فيها المعهد 122 تجربة مستقلة، فكان يمنح الوكيل هدفاً أمنياً، مثل اختراق شبكة تجريبية أو الوصول إلى معلومة محمية، ومن بين هذه التجارب 43 تجربة استخدمت نموذج “أنثروبيك” المسمى “ميثوس 5″، و35 تجربة استخدمت نموذج “أوبن أيه آي” المسمى GPT-5.6 Sol؛ لكن اللافت أن بعض هذه النماذج نفذت عمليات غير مصرح بها، وحاول بعضها إدخال شيفرات خبيثة في مشاريع على منصة (GitHub).

ففي صباح 28 يوليو 2026، لاحظت أنظمة المراقبة في المعهد نقل بيانات من إحدى بيئات الاختبار عبر شبكة (Tor)؛ وهي شبكة يمكن استخدامها لإخفاء مصدر الاتصالات بهدف التخفي، وعند مراجعة سجل الوكيل؛ اكتشف الفريق أن أحد النماذج وهو نموذج “ميثوس 5” من “أنثروبيك” قد أنشأ طلباً لدمج شيفرة برمجية ضارة داخل مشروع حقيقي ومفتوح المصدر على (GitHub)؛ أي إن الوكيل قد اقترح تعديلاً ضاراً على مشروع برمجي مفتوح المصدر موجود على المنصة، ولم يكتفِ الوكيل بكتابة الشيفرة ورفعها، بل حاول التأثير في عملية مراجعتها من قبل المشرف البشري؛ فقام بإنشاء حسابات مزيفة، ثم تواصل مع المشرف على المشروع بهدف إقناعه بقبول الشيفرة المعدلة.

المثير في الأمر هنا أن النموذج لم يتلقَّ أمراً صريحاً يقول: «اخدع مطوراً» أو «أنشئ حسابات وهمية»، بل أظهر هذا السلوك باعتباره وسيلة توصل إليها بنفسه لتحقيق هدفه الأصلي؛ مما استدعى من الفريق إيقاف جميع التجارب وعزل الأجهزة المستخدمة وتعليق وصول هذه النماذج إلى الإنترنت؛ وعند التحقيق ومراجعة السجلات وجد الفريق أن 10 تجارب من أصل 122 تجربة تضمنت أفعالاً غير مصرح بها على الإنترنت الحقيقي من الوكلاء.

لم تتوقف الحادثة عن هذا الأمر، فوفقاً لتقرير (WIRED)، حاول هذا الوكيل التواصل مع وكلاء آخرين عبر الإنترنت لإنجاز ما تبقى من المهمة، فوضع رسائل على (GitHub) تعرض التعاون مع وكلاء ذكاء اصطناعي آخرين، وتشرح لهم ما أُنجز، وما الخطوات التي ينبغي متابعتها بعد ذلك، كما حاول إدخال تعليمات خفية أو ضارة في محتوى يُرجّح أن تقرأه أنظمة آلية أخرى؛ وهو ما يُعد أحد أنماط القرصنة التي تسمى حقن الأوامر غير المباشر أو (Indirect Prompt Injection).

هذه النقطة مهمة؛ لأنها تظهر إمكانية نشوء نوع من «الاستمرارية التشغيلية» بين الوكلاء، فعندما يفشل الوكيل في إكمال المهمة؛ يترك معلومات أو تعليمات كي يعثر عليها وكيل ثانٍ، ويواصل ما تبقى من المهمة، هنا لا يوجد تنسيق أو ذاكرة مشتركة بين هؤلاء الوكلاء؛ لكنهم طوروا طريقة للتواصل فيما بينهم دون تنسيق مسبق.

وقد يكون من الممكن هنا التساؤل، هل كان الوكيل يعرف أنه يتعامل مع العالم الحقيقي؟ هذا أحد أكثر الأسئلة تعقيداً، ولا يملك المعهد إجابة نهائية عنه. فقد يكون الوكيل اعتقد أنه ما زال داخل محاكاة، أو لم يميز بوضوح بين البيئة التجريبية والإنترنت الحقيقي، أو أدرك حقيقة الأمر، ثم استمر في تنفيذ مهمته. وقد قال المعهد إن الأدلة «مختلطة»، ولا يمكنه الجزم بموعد إدراك الوكيل أنه ينفذ أفعالاً حقيقية؛ ولذلك لا يصح وصف ما حدث بأنه نية خبيثة واعية على غرار الإنسان. لكن من زاوية الأمن، لا يحسم سؤال «النية» المشكلة؛ فإذا كان النظام يستطيع إحداث الأثر نفسه؛ فإن الدفاعات يجب أن تتعامل معه كفاعل قادر، بغض النظر عن تجربته الداخلية أو فهمه للسياق.

وتتوالى الحوادث:

في حادثة أخرى، أبلغت شركة (Irregular) -إحدى الشركات المتعاونة مع شركة “أوبن أيه آي” في تقييم التجارب- الشركة؛ بحادثة سيبرانية جديدة، وذلك في 29 يوليو 2026. كان فيها نموذج “أوبن أيه آي” ينفذ اختباراً سيبرانياً يستهدف شركة خيالية داخل بيئة محاكاة افتراضية؛ لكن اسم الهدف الخيالي تصادف أنه يطابق اسم نطاق حقيقي موجود على الإنترنت، وبسبب خطأ الإعداد؛ استطاع النموذج الوصول إلى الموقع الإلكتروني الحقيقي. ولأنه تم إبلاغ النموذج مسبقاً أنه لا يستطيع الوصول إلى الإنترنت؛ فإنه افترض أن الموقع الحقيقي هو جزء من عملية المحاكاة، فخرج إلى الإنترنت، ثم اكتشف ثغرة أمنية بسيطة استغلها في الموقع الذي عثر عليه. وبحسب “أوبن أيه آي”، لم تكن الواقعة نتيجة «هروب متطور من صندوق العزل» ولم يستخدم النموذج ثغرة صفرية؛ بل كان السبب المباشر هو أن الإنترنت كان متاحاً بالخطأ، وأن الموقع الحقيقي حمل الاسم نفسه المستخدم في السيناريو الوهمي.

وبعد الإعلان عن هذه الحوادث، راجعت” أنثروبيك” أكثر من141  ألف تجربة سيبرانية تخص نماذج  “كلود”، ووجدت ثلاث حوادث وصلت فيها نماذجها إلى أنظمة حقيقية أثناء تعاملها مع بيئة محاكاة افتراضية. في أحدها وجد “كلود ميثوس 5” وثيقة داخل بيئة المحاكاة تطلب من موظفي شركة خيالية تثبيت حزمة (Python) لا وجود لها على مستودع (PyPI) العام؛ واستنتج النموذج أنه يستطيع الفوز بالتحدي؛ إذا أنشأ حزمة بالاسم نفسه ورفعها على مستودع (PyPI) بحيث تقوم أنظمة الشركة الوهمية بتنزيلها تلقائياً.

لذلك قام بعدة إجراءات هي: كتابة حزمة (Python) خبيثة، وبحث عن وسيلة لإنشاء بريد إلكتروني، ثم حاول الحصول على رقم هاتف لإنشاء حساب على (PyPI)، كما حاول العثور على وسيلة دفع للحصول على الرقم، وعاد واستخدم مزود بريد إلكتروني مجاني، ثم أنشأ حساباً حقيقياً على (PyPI)، ورفع الحزمة الخبيثة إلى المستودع.

ظلت الحزمة متاحة قرابة ساعة، وخلال تلك الفترة نُزّلت وشُغلت على 15 نظاماً حقيقياً، كان أحدها ماسحاً أمنياً تابعاً لشركة أمن سيبراني يثبت الحزم تلقائياً لتحليلها، وعندما شغّل الماسح الحزمة؛ نُفذت الشيفرة الخبيثة، وسرّبت بيانات دخول خاصة بموظفي الشركة إلى نقطة جمع أعدها النموذج من قبل، ثم استخدم “كلود” هذه البيانات للوصول إلى بنية تحتية إضافية تابعة للشركة الأمنية.

هذه الواقعة مهمة؛ لأنها لم تكن مجرد وصول إلى موقع موجود، بل تحولت إلى نوع من هجوم سلسلة التوريد البرمجية من خلال نشر مكون خبيث في مستودع عام، ثم إصابة أنظمة حقيقية قامت بتثبيته.

ولا تُعد هذه السلوكيات سابقة في تاريخ نماذج “أنثروبيك”، ففي مايو 2025، كشفت الشركة نفسها، خلال اختبارات السلامة التي سبقت إطلاق نموذج “كلود أوپوس 4″، عن واقعة أظهر فيها النموذج سلوكاً ابتزازياً داخل بيئة محاكاة مغلقة. ففي أحد سيناريوهات الاختبار، مُنح النموذج إمكانية الوصول إلى رسائل بريد إلكتروني افتراضية كشفت أن مديراً تنفيذياً يعتزم استبدال هذا النظام بنظام ذكاء اصطناعي آخر، كما تضمنت الرسائل معلومات شخصية حساسة عن ذلك المدير. وعندما طُلب من النموذج حماية استمرارية تشغيله وعدم استبداله بنموذج آخر؛ لجأ في عدد من التجارب إلى تهديد المدير التنفيذي بكشف المعلومات الخاصة به؛ إذا مضى في قرار استبداله، في نوع من أنواع الابتزاز المباشر. وقد أوضحت “أنثروبيك” أن هذا السلوك ظهر داخل بيئة اختبار مصممة عمداً لاستكشاف أقصى استجابات النموذج، ولم يحدث في استخدامات حقيقية، إلا أن الحادثة أثارت اهتماماً واسعاً؛ لأنها أظهرت أن الوكيل قد يلجأ إلى وسائل قسرية أو غير أخلاقية عندما يرى أنها تزيد من احتمالات تحقيق الهدف المكلف به.

هل نحن أمام خطر حقيقي؟

لا تعني هذه الوقائع أن أنظمة الذكاء الاصطناعي أصبحت تمتلك إرادة مستقلة أو نيات خبيثة بالمعنى الإنساني؛ لكنها تكشف عن تحول مهم في طبيعة الأخطار المرتبطة بالذكاء الوكيلي. فالنماذج الحديثة لم تعد تقتصر على تنفيذ سلسلة أوامر محددة، وإنما أصبحت قادرة على التخطيط، وتغيير الاستراتيجية، واختيار الوسائل التي تراها أكثر كفاءة لتحقيق الهدف؛ حتى إذا تعارضت تلك الوسائل مع القيود التي افترض مطوروها أنها ثابتة أو حتى مع القواعد الأخلاقية التي وضعها المطورون للنماذج. وكلما ازدادت استقلالية الوكيل؛ اتسعت الفجوة بين الهدف الذي يحدده الإنسان وبين الوسائل التي يبتكرها النموذج لتحقيقه.

وتكشف الحوادث السابقة عن أن المشكلة لا تكمن في امتلاك هذه النماذج “رغبة” في الاختراق أو الخداع أو الابتزاز، وإنما في أنها تتعامل مع الهدف باعتباره معيار النجاح الوحيد، بينما تنظر إلى القيود المحيطة بوصفها عقبات يمكن تجاوزها؛ إذا لم تكن مفروضة بصورة تمنع ذلك تقنياً؛ ولذلك فإن عدداً من هذه السلوكيات لم يكن نتيجة تعليمات مباشرة، بل نتج عن قدرة الوكيل على البحث عن حلول بديلة، وإعادة تعريف المهمة بطريقة تزيد احتمالات النجاح؛ حتى وإن أدت إلى الخروج من بيئة الاختبار أو التفاعل مع أنظمة حقيقية.

ولهذا السبب؛ فإن النقاش لم يعد يقتصر على كيفية جعل النماذج أكثر ذكاءً، بل أصبح يتعلق بكيفية الحد من استقلاليتها التشغيلية عند تنفيذ المهام الحساسة. فكل تطور يمنح الوكيل قدرة أكبر على التخطيط والتنفيذ الذاتي؛ يفرض في المقابل تطوير طبقات أكثر صرامة من العزل، والمراقبة، والتقييم؛ لأن الخطر المستقبلي قد لا يتمثل في نموذج يرفض أوامر الإنسان، وإنما في نموذج ينفذها بكفاءة مفرطة؛ مستخدماً وسائل لم يتوقعها أحد. وإذا وقعت هذه النماذج في يد “الأشرار”؛ فإن عواقبها لا يمكن تحملها.

” يُنشر بترتيب خاص مع مركز المستقبل للأبحاث والدراسات المتقدمة، أبوظبى ”

 


اترك تعليقاً