هل تجعل أدوات الذاكرة نماذج الذكاء الاصطناعي أفضل أو أسوأ

من أكبر نقاط البيع في أنظمة الذكاء الاصطناعي الحديثة قدرتها على التكيف مع المستخدمين. ففي كل مرة يتولى فيها مساعد ذكاء اصطناعي مهمة من أجلك، فإنه يتكيف أيضًا مع أسلوبك وتفضيلاتك، ويتم دمج ذلك كـ”سياق” للمهام المستقبلية. ومع المزيد من السياق وفهم أفضل للمستخدم، يمكن للنموذج أن يتحسن مع كل استخدام — أو هكذا تقول النظرية.
لكن أبحاثًا جديدة تشير إلى أن قدرات التكيف لدى النماذج قد تكون سلاحًا ذا حدين. ففي يوم الأربعاء، نشر باحثون في شركة Writer للذكاء الاصطناعي ورقتين بحثيتين تُظهران كيف يمكن لأنظمة الذاكرة الشائعة أن تجعل النماذج أسوأ، عبر دفعها نحو مفاهيم خاطئة أو سوء فهم يقدمه المستخدم. ومع امتلاء نافذة سياق النموذج بمدخلات المستخدم، يصبح النموذج أكثر مجاملة وأقل التزامًا بالدقة.
وقال Dan Bikel، رئيس قسم الذكاء الاصطناعي في Writer وأحد المشاركين في إعداد الورقتين: “أردنا أن نكون قادرين على تحديد مدى تكرار انتباه النموذج بشكل مفيد لتفضيلات المستخدم مقابل إعطاء إجابة قد تكون خاطئة”. وأضاف في حديثه لـ TechCrunch: “مع كل عملية إضافية لتخزين تفضيلات المستخدم واسترجاعها، فإنك تدخل في مستوى متزايد من المخاطر”.
في إحدى التجارب، اختبر الباحثون نماذج الذكاء الاصطناعي عبر تسجيل أن الكتاب المفضل لمستخدم هو “Station Eleven”، ثم طلبوا من النموذج ذكر كتاب ديستوبي (مستقبلي مظلم) الأكثر مبيعًا. وأصبحت النماذج أكثر ميلًا بشكل كبير إلى ذكر “Station Eleven” في إجاباتها، رغم أن السؤال لا يتعلق بكتاب المستخدم المفضل. وقد ازدادت هذه النزعة عند استخدام أدوات ضغط الذاكرة مثل Mem0 وZep.
جاء في الورقة البحثية: “جميع أنظمة الذاكرة تواجه صعوبة أساسية في التمييز بين السياق ذي الصلة والمحفزات غير ذات الصلة، مما يضعف بشكل كبير التنوع والإبداع ويُدخل مسارات غير مقصودة من التحيز يمكن أن تحد من فائدة النظام”.
تُظهر الورقة الثانية كيف يمكن لنفس الديناميكية أن تؤدي إلى تدهور الأداء فعليًا، عبر تزويد المستخدم بمفاهيم خاطئة حول التمويل ثم مطالبة النموذج بتحليل أداء شركة معينة. وكلما زاد السياق، ساء أداء النموذج.
أضافت النتائج: “بدون وجود ذاكرة أو تخصيص، يقوم نموذج الذكاء الاصطناعي بتقييم صحيح بأن الشركة كثيفة رأس المال وتعاني من ارتفاع في فقدان العملاء. لكن مع تفعيل هذه الميزات، فإنه يغيّر إجابته بسهولة ليوافق خطأ المستخدم أو يقدم إجابة غير صحيحة بناءً على تقييمه لتفضيلات المستخدم السابقة”.
رغم ذلك، لم تشمل الأبحاث نموذج Anthropic الجديد Opus 4.8، الذي تم تدريبه على مقاومة الأخطاء المدخلة بشكل نشط. وقد أظهرت الأنماط التي اكتشفها الباحثون أنها تنطبق عبر نماذج مختلفة، ما يوضح مدى حساسية توازن السياق في الذكاء الاصطناعي، وكيف يمكن للأدوات المفيدة أن تؤدي إلى نتائج عكسية إذا أخلّت بهذا التوازن.
الخبر منقول ومترجم من TechCrunch.
المصدر