اجتياز وكيل الذكاء الاصطناعي للمصادقة يثبت هويته وصلاحية دخوله في لحظة محددة، لكنه لا يثبت أن قراراته اللاحقة ستبقى ضمن الغرض المسموح. قد ينحرف الوكيل أثناء تنفيذ مهمة طويلة، أو يكشف بيانات عبر أداة مصرح بها، أو يسترجع تعليمات ملوثة من ذاكرته، من دون أن يفشل أي فحص تقليدي لتسجيل الدخول.
هذه الفجوة مهمة لأن فرق الأمن اعتادت التعامل مع المصادقة بوصفها بوابة رئيسية: نتحقق من الهوية، نمنح أقل قدر من الصلاحيات، ثم نسجل النشاط. مع الوكلاء، تستمر المخاطرة بعد فتح البوابة. فالوكيل يفسر التعليمات، ويختار الأدوات، ويقرأ السياق، ويكتب في الذاكرة، ثم يعيد استخدام ما حفظه في مهام لاحقة. كل خطوة قد تغير مسار التنفيذ من دون تغيير هوية الحساب.
المصادقة تجيب عن سؤال واحد فقط
تجيب المصادقة عن سؤال: من يحاول الوصول؟ وقد تضيف أنظمة التفويض سؤالا ثانيا: ما الموارد التي يحق لهذا الحساب استخدامها؟ لكن تشغيل وكيل مستقل يحتاج إلى سؤال ثالث يتكرر طوال المهمة: هل الإجراء الحالي يخدم الغرض الذي وافق عليه المستخدم؟
قد يدخل وكيل خدمة العملاء بحساب صحيح، ويملك إذنا بقراءة التذاكر وإرسال الردود. تظل هناك مساحة واسعة بين الإذن التقني والقرار السليم. يمكنه فتح تذكرة لا تخص الحالة التي يعالجها، أو تضمين معلومة من سجل آخر في الرد، أو إرسال نص إلى إضافة خارجية لتحليله. كل إجراء منفرد قد يبدو مسموحا عند فحص قائمة الصلاحيات، بينما يكشف تسلسل الإجراءات عن تجاوز واضح للغرض.
لهذا لا يكفي تسجيل أن «الوكيل استخدم أداة البريد». يحتاج المشغل إلى معرفة المهمة التي كان ينفذها، والبيانات التي دخلت إلى الأداة، والجهة المستلمة، والقاعدة التي أجازت الإجراء. هذه هي الفجوة بين إثبات الهوية وإثبات سلامة السلوك.
الانحراف يحدث داخل المهمة الصحيحة
لا يبدأ الانحراف دائما بتعليمات عدائية صريحة. قد يبدأ بهدف مشروع صيغ بعبارة واسعة، مثل «حل المشكلة كاملة» أو «اجمع كل ما يلزم لإعداد التقرير». عندما يواجه الوكيل نقصا في المعلومات، قد يوسع البحث، أو يستدعي أداة إضافية، أو يفسر الصمت على أنه موافقة.
تزداد المشكلة في المهام متعددة الخطوات. فالقرار الخامس يعتمد على ملخص أنتجه الوكيل في الخطوة الرابعة، وهذا الملخص يعتمد بدوره على محتوى قرأه في الخطوة الثالثة. إذا دخل افتراض خاطئ في السلسلة، فقد تتحول بقية الإجراءات إلى تنفيذ منظم لهدف لم يطلبه المستخدم أصلا.
الحماية العملية هنا ليست مطالبة النموذج بأن «يكون حذرا». المطلوب حدود قابلة للفحص: تعريف صريح للهدف، وسقف لعدد الخطوات أو الأدوات، وموافقة جديدة قبل إرسال البيانات أو تعديل السجلات أو تنفيذ إجراء يصعب التراجع عنه. كما ينبغي أن يستطيع النظام إيقاف المهمة عندما تتغير وجهتها، بدلا من انتظار مخالفة صلاحية ثابتة.
تسرب البيانات قد يمر عبر قناة مصرح بها
تطبيق مبدأ أقل الصلاحيات يقلل الضرر، لكنه لا يمنع الوكيل من إساءة استخدام مورد مسموح. إذا كان الوكيل مخولا بقراءة مستند وإرسال بريد، فالمشكلة قد تكون في الجمع بين الصلاحيتين. يستطيع النظام السماح بكل عملية على حدة، مع أن الناتج النهائي ينقل محتوى حساسا إلى مستلم غير مناسب.
ينطبق الأمر نفسه على إضافات الوكلاء وأدوات الطرف الثالث. قد تستقبل الإضافة جزءا من المحادثة أو ملفا أو نتيجة بحث كي تؤدي وظيفتها. السؤال الأمني لا يقتصر على موثوقية الإضافة، بل يشمل حجم البيانات المرسلة إليها، ومدة احتفاظها بها، وما إذا كان الوكيل يستطيع استدعاءها تلقائيا. يناقش تحليل متى يصبح ملحق الوكيل أقرب إلى تشغيل شيفرة غير موثوقة؟ هذه الحدود من زاوية تشغيل الإضافات.
تحتاج الفرق إلى سياسات تفحص تدفق البيانات، لا أسماء الأدوات وحدها. يمكن حجب حقول محددة قبل الاستدعاء، وتقييد الوجهات، ومنع الجمع بين مصادر حساسة وأدوات خارجية، وطلب موافقة بشرية عند تجاوز عتبة واضحة. كما يفيد الاحتفاظ بسجل يوضح ما أرسل فعليا، بعد تطبيق الإخفاء المناسب، بدلا من تسجيل اسم العملية فقط.
الذاكرة توسع عمر الهجوم
ذاكرة الوكيل تجعل العمل المتكرر أكثر فائدة، لكنها تحول مدخلات اليوم إلى سياق قد يؤثر في قرارات الغد. إذا كتب الوكيل في ذاكرته معلومة خاطئة، أو تعليمات خفية مأخوذة من مستند، أو تفضيلا لم يوافق عليه المستخدم، فقد يعيد استدعاء ذلك المحتوى بعد انتهاء الجلسة الأصلية.
يصعب اكتشاف تسميم الذاكرة لأن التنفيذ اللاحق قد يبدو منفصلا عن مصدر التلوث. ينجح الوكيل في المصادقة، يسترجع ذاكرة مصنفة على أنها داخلية، ثم يتصرف بناء عليها. لا يظهر المحتوى العدائي عند بوابة الدخول، بل داخل طبقة وثق بها النظام مسبقا.
المعالجة تبدأ بفصل أنواع الذاكرة. يجب ألا تعامل تعليمات المستخدم، وملخصات النموذج، ومحتوى المواقع، ونتائج الأدوات بوصفها مواد متساوية الثقة. تحتاج الكتابة الدائمة إلى قواعد أشد من السياق المؤقت، مع مصدر وتاريخ وسبب حفظ لكل عنصر، وفترة انتهاء، وإمكان المراجعة والحذف. وينبغي اختبار الاسترجاع نفسه: لماذا استدعى الوكيل هذه المعلومة لهذه المهمة؟
المعيار الأهم عند تقييم منصة وكلاء ليس قدرتها على تمرير المصادقة، بل قدرتها على ضبط السلوك بعد المصادقة. ابحث عن قيود مرتبطة بالغرض، وسياسات لتدفق البيانات، وفصل واضح للذاكرة، ونقاط موافقة قبل الإجراءات الحساسة، وسجلات تسمح بإعادة بناء القرار. وتوضح تجربة نشر وكيل في بيئة الإنتاج لماذا تصبح الرؤية التشغيلية جزءا من السلامة نفسها.
المصادر
- Tech Trends Today: Technology
- متى يصبح ملحق الوكيل أقرب إلى تشغيل شيفرة غير موثوقة؟
- Production agent deployment: What visibility gaps taught Sarah about safety
Sources
- VentureBeat
التعليقات
لا توجد تعليقات بعد.