Cloudflare تتيح سياسة جديدة لتدريب الذكاء الاصطناعي

أصدرت Cloudflare مهلة جديدة لصناعة الذكاء الاصطناعي تُلزم بالفصل بين برامج الزحف (Web Crawlers) المستخدمة لأغراض البحث التقليدية، مثل Google Search، وتلك المستخدمة من قبل وكلاء الذكاء الاصطناعي (AI Agents) أو لتدريب النماذج. واعتبارًا من 15 سبتمبر 2026، ستقوم الإعدادات الافتراضية في Cloudflare بحظر برامج الزحف ذات “الاستخدام المختلط” من أي صفحات تعرض إعلانات، بحسب ما أعلنته الشركة يوم الأربعاء.
وهذا يعني أن برامج الزحف التي تجمع بين البحث واستخدام الوكلاء وتدريب النماذج سيتم حظرها افتراضيًا من تصفح هذه المواقع، ما لم يقم مالك الموقع بتعديل الإعدادات يدويًا. وتوضح الشركة أن هذه التغييرات في الإعدادات الافتراضية ستُطبق على عملاء Cloudflare الجدد، والمواقع الجديدة التي ينشئها العملاء الحاليون، بالإضافة إلى جميع العملاء الحاليين الذين يستخدمون الخطة المجانية.

وقد تؤثر هذه الخطوة في الطريقة التي تتمكن بها الشركات المطورة لنماذج الذكاء الاصطناعي من الوصول إلى محتوى الويب لأغراض التدريب أو لتشغيل خدماتها المعتمدة على الوكلاء الذكيين.
وتشير Cloudflare إلى أن معظم أصحاب المواقع يرغبون في أن يكون محتواهم قابلاً للاكتشاف عبر محركات البحث، وغالبًا أيضًا عبر خدمات الذكاء الاصطناعي، لكنهم في الوقت نفسه يريدون حماية تمنع توزيع ملكيتهم الفكرية مجانًا.
وأشارت Cloudflare بشكل مباشر إلى “أكبر محرك بحث في العالم” – في إشارة واضحة إلى Google – مؤكدة أنه يمتلك إمكانية الوصول إلى ما يقارب “ضعف كمية المعلومات” مقارنةً بشركات الذكاء الاصطناعي الأخرى، لأن عملاق البحث يجعل من الصعب على العملاء الحفاظ على ظهور مواقعهم في نتائج البحث دون أن يُستخدم محتواهم أيضًا في تطبيقات الذكاء الاصطناعي.
وسبق أن رفضت Google هذا التوصيف، موضحةً أنها توفر برنامج زحف يُعرف باسم Google Extended، يتيح لأصحاب المواقع إلغاء استخدام محتواهم في تدريب النماذج أو في منتجات وخدمات الذكاء الاصطناعي مثل Gemini Apps وVertex API، دون أن يؤثر ذلك في ظهور مواقعهم ضمن Google Search. ومع ذلك، فإن برنامج Googlebot الرئيسي الخاص بالشركة يزحف إلى المواقع لأغراض البحث، بما في ذلك ميزات الذكاء الاصطناعي مثل AI Overviews وAI Mode.
وقال Matthew Prince، المؤسس المشارك والرئيس التنفيذي لشركة Cloudflare، في إعلانه عن هذه الخطوة:
“الآن وبعد أن أصبحت غالبية حركة الإنترنت تأتي من جهات غير بشرية، علينا أن نذهب إلى أبعد من ذلك وأن نتحرك بسرعة أكبر حتى يتمكن نظام بيئي مستدام من الظهور.”
وكان Prince يشير إلى الإنجاز الأخير الذي تجاوزت فيه حركة برامج الروبوت على الإنترنت حركة المستخدمين البشر لأول مرة، وهو تحول لم يكن متوقعًا أن يحدث قبل العام المقبل.
وأضاف:
“توفر الأدوات والشراكات الجديدة من Cloudflare لأصحاب المواقع رؤية أوضح وفرصًا تجارية أكبر، كما تفيد شركات الذكاء الاصطناعي التي تستخدم برامج زحف ذات أهداف واضحة وشفافة. ونأمل أن تشجع التغييرات الافتراضية التي نقترحها برامج الزحف ذات الاستخدام المختلط على فصل عمليات البحث عن استخدام الوكلاء وعمليات التدريب.”
ورغم أن Cloudflare تقدم مجموعة من المنتجات التي تساعد المستخدمين على إطلاق أنظمة الذكاء الاصطناعي الخاصة بهم، فإن الشركة أطلقت أيضًا عددًا من الأدوات التي تمنح الناشرين سيطرة أكبر على محتواهم في عصر الذكاء الاصطناعي. وخلال السنوات الأخيرة، طرحت Cloudflare أدوات لمواجهة روبوتات الذكاء الاصطناعي، من بينها سوق يتيح للمواقع فرض رسوم على روبوتات الذكاء الاصطناعي مقابل كشط المحتوى (Scraping)، ويحمل اسم Pay Per Crawl.
وأوضحت الشركة أن هذه الخدمة تتطور الآن إلى Pay Per Use، وهو نموذج سيسمح للناشرين بفرض رسوم على شركات الذكاء الاصطناعي عندما يحقق محتواهم قيمة فعلية، وليس فقط عند جلبه أو الوصول إليه.
كما يمكن لهذا التغيير أن يساعد في تقليل استهلاك النطاق الترددي وموارد الحوسبة لدى الناشرين من قبل مزودي نماذج الذكاء الاصطناعي، إذ أظهرت بيانات Cloudflare أن أكثر من 50% من حركة الزحف الصادرة عن روبوتات الذكاء الاصطناعي تُستهلك في إعادة جلب صفحات لم يطرأ عليها أي تغيير.
ولتطبيق هذا النموذج، بدأت Cloudflare العمل مبدئيًا مع شريكين هما Ceramic.ai وYou.com. فعندما يختار أحد الناشرين الانضمام إلى البرنامج، يحصل على مقابل مالي عندما يظهر محتواه ضمن نتائج البحث بالذكاء الاصطناعي الخاصة بـ Ceramic، أو عندما يقوم You.com بالوصول إلى جزء من محتواه المدفوع أو المميز.
وأكدت Cloudflare أن شركات الذكاء الاصطناعي الأخرى ستكون قادرة على تخصيص هذا النموذج بما يتناسب مع طريقة عمل خدماتها.
الخبر منقول ومترجم من TechCrunch.
المصدر.