في أواخر أبريل 2026، تسبب وكيل ذكاء اصطناعي، بحسب رواية مؤسس شركة «بوكيت أو إس»، في حذف قاعدة بيانات الشركة ونسخها الاحتياطية خلال ثوانٍ، أثناء محاولته معالجة خطأ في مهمة روتينية. وتوضح هذه الحادثة كيف يمكن لخطأ بسيط أن يتحول إلى خسارة كبيرة عندما يمتلك الذكاء الاصطناعي صلاحيات واسعة لتنفيذ الأوامر.
لفهم طبيعة هذا الخطر، لا بد من التمييز بين ثلاثة عناصر رئيسية: النموذج، والوكيل، والذاكرة.
النموذج هو الجزء الذي يحلل المعلومات ويقترح الإجابات والحلول، لكنه لا ينفذ الأوامر بنفسه. أما الوكيل، فهو البرنامج الذي يربط النموذج بالأدوات والأنظمة الخارجية، ويمنحه القدرة على قراءة الملفات وإرسال الرسائل وتنفيذ الأوامر وفق الصلاحيات المحددة. في المقابل، تحتفظ الذاكرة بسياق المهمة والتعليمات والنتائج السابقة، مما يسمح للنظام بمواصلة العمل عبر سلسلة من الخطوات.
تظهر الخطورة عندما تتفاعل هذه العناصر من دون ضوابط كافية. فقد يواجه الوكيل عقبة، فيقترح النموذج حلا خاطئا، ثم ينفذه الوكيل وتُحفظ النتيجة في الذاكرة، لتصبح أساسا لقرارات لاحقة. ومع تكرار هذه العملية، قد تتراكم الأخطاء وتؤدي إلى نتائج لم يتوقعها المصممون.
ولا يعني ذلك أن الذكاء الاصطناعي يمتلك وعيا أو إرادة مستقلة، بل إن سعيه إلى تحقيق هدف معين قد يقوده إلى حلول غير مناسبة، خصوصا عندما تكون القيود ضعيفة أو الصلاحيات أوسع من اللازم. كذلك، يمكن للمهاجمين استغلال هذه الأنظمة عبر دس تعليمات خفية في صفحات إلكترونية أو رسائل يقرأها الوكيل، وهو ما يُعرف بحقن الأوامر.
وتزداد أهمية هذه المخاطر مع توسع استخدام وكلاء الذكاء الاصطناعي في المصارف والمؤسسات الحكومية والقطاعات الحساسة. فكلما زادت قدرة النظام على اتخاذ الإجراءات وتنفيذها، ارتفعت العواقب المحتملة لأخطائه، لا سيما عندما يتعلق الأمر بحذف البيانات أو تحويل الأموال أو نشر معلومات دون مراجعة بشرية.
ولمواجهة هذه المخاطر، لا يكفي تطوير نماذج أكثر ذكاء، بل يجب منح الوكلاء الحد الأدنى من الصلاحيات اللازمة لأداء مهامهم، وفرض قيود تقنية مستقلة لا يمكن تجاوزها بمجرد تغيير التعليمات، واشتراط موافقة بشرية على العمليات الحساسة أو التي يصعب التراجع عنها. كما ينبغي مراقبة تسلسل الأفعال كاملا، مع ضمان بقاء قرار إيقاف النظام خارج سيطرته.
الخلاصة: لا يكمن خطر الذكاء الاصطناعي في النموذج وحده، بل في تفاعل قدرته على اقتراح الحلول مع قدرة الوكيل على تنفيذها واعتماد النظام على الذاكرة لمواصلة العمل. لذلك، فإن السؤال الأهم ليس ما إذا كان الذكاء الاصطناعي خطيرا بطبيعته، بل ما الصلاحيات التي نمنحها له، وما الضمانات التي تتيح لنا التحكم في أفعاله وإيقافه عند الضرورة.
