Google وAnthropic وOpenAI وMicrosoft تعهدوا بالامتثال لتوجيهات robots.txt الجديدة، مما يتيح لناشري المواقع تحديد تفضيلاتهم في تدريب الذكاء الاصطناعي التوليدي. هذا الاقتراح هو جزء من نقاش منظمة IETF للمعايير المفتوحة، وقد كتبه Kevin Kelley، المدير الفني لشركة Anthropic، بهدف أن يتم الاعتراف به وتنفيذه من قبل عدة شركات AI من خلال إشارة واحدة.
في الوقت الحالي، يتعين على مالكي المواقع التعرف على كل زاحف على حدة، وتحديد قواعد منفصلة لكل مزود؛ بينما ستعترف عدة شركات AI بالتوجيهات الجديدة كإشارة عامة، مما يبسط عملية الإدارة. يحتاج مدراء المواقع إلى إضافة وكيل مستخدم مخصص لتدريب AI في ملف robots.txt، بصيغة معينة، لمنع سلوك الزحف المستخدم في تدريب AI، وفي بعض الحالات يمكن السماح بالزحف إلى أجزاء معينة من الصفحات، مثل معلومات حزمة الصحافة.
شرحت Google وOpenAI أن هذه التوجيهات لن تؤثر على فهرسة صفحات الويب الحالية، ولن تمنع تمامًا طباعة محتوى المواقع، ولن تمنع ظهور نتائج البحث في Google. على سبيل المثال، ستعتبر Google هذا الوكيل الجديد بمثابة "علامة توقف"، مستخدمة في وكيل المستخدم "Google-Extended"، المصمم خصيصًا لتدريب نموذج Gemini. هذا التغيير لن يسحب المحتوى الذي تم جمعه في الماضي، بل سيمنع الزحف في المستقبل.
بدأت Anthropic بالفعل بدعم التوجيهات الجديدة، بينما أعلنت Microsoft أنها ستبدأ الدعم في 1 فبراير 2027، وستنضم Google أيضًا في أوائل عام 2027، بينما أفادت OpenAI بأنها ستنفذ هذه الإشارة في الأشهر المقبلة. وفقًا للإعلانات الحالية، فإن تعهدات هذه الشركات تأخذ بعين الاعتبار قيمة البيانات الحالية وامتثال تدريب البيانات المستقبلية، مما يوفر قناة موحدة لتجنب العمليات المعقدة التي يتعين على كل مزود القيام بها.
تفاصيل تنفيذ التوجيهات الجديدة وتأثيرها، قد تغير مشهد مصادر بيانات تدريب AI
التوجيهات الجديدة للـ robots.txt تهدف إلى تحقيق التوازن بين "الزحف الذاتي وتدريب البيانات"، مما يسمح لناشري المحتوى بإنشاء حدود أكثر شفافية بين احترام حقوق الملكية الفكرية وتعزيز الابتكار. الشيء الوحيد الذي يجب ملاحظته هو أنه إذا تم الزحف إلى بعض الصفحات في الماضي، فإن الإشارة الجديدة الحالية لا يمكن أن تلغي هذه السلوكيات السابقة؛ ستنفذ عمليات الزحف المستقبلية وفقًا للقواعد الجديدة. هذا التصميم يعني أنه على المدى القصير، قد لا يتم إعادة كتابة قواعد بيانات التدريب التي تم تشكيلها بالفعل، ولكن على المدى الطويل، سيزيد من انتقائية الزحف إلى المحتوى الجديد.
بالنسبة لناشري المحتوى، فإن هذا التغيير يزيد من القدرة على التحكم، خاصة بالنسبة للصفحات التي تحتوي على حزم صحفية أو موارد علامة تجارية أو محتوى مخصص للمزودين. في الممارسة العملية، يمكن للمديرين استخدام إشارة واحدة لإصدار تعليمات لعدة شركات AI، مما يقلل من الحاجة إلى إعداد قواعد غير فعالة لكل منها، مع الاحتفاظ بحقوق الزحف المسموح بها لمحتوى معين. هذه الموازنة تساعد في الحفاظ على حقوق الملكية الفكرية للمنشئين، وفي الوقت نفسه تخفف من عدم اليقين الذي تواجهه شركات AI بشأن مصادر البيانات.
من الناحية التقنية، تتم إضافة هذه الإشارة الجديدة في شكل "وكيل مستخدم مخصص" إلى robots.txt، ويتم اتباعها من قبل اللاعبين الرئيسيين مثل Google وOpenAI وMicrosoft. على الرغم من أن هذه الآلية لن تؤثر على عمليات البحث الحالية على الويب، ولن تحد من حقوق الوصول إلى المواقع، إلا أن التنفيذ الفعلي يتطلب من مشغلي المواقع معالجة الأمور بشكل آلي، لضمان تصنيف الصفحات الصحيحة على أنها متاحة لتدريب AI أو محظورة. مع تقدم جداول زمنية التنفيذ لكل شركة، قد يظهر نمط أكثر توحيدًا لاستراتيجيات إدارة مصادر البيانات.
في الوقت نفسه، عند تقييد الزحف إلى صفحات معينة، لا يزال لدى الناشرين الفرصة لتحديد استثناءات في قائمة السماح، مثل بعض محتويات حزمة الوسائط. تكمن فائدة هذا التصميم في أنه لن يغلق تمامًا رؤية محتوى الموقع في بيانات التدريب، بل من خلال التحكم الدقيق، يسمح للمنشئين بالاحتفاظ بحقوقهم على الأصول الأساسية. بشكل عام، قد تشجع هذه القواعد الجديدة على جعل مصادر بيانات تدريب AI أكثر شفافية، كما تساعد في إنشاء نماذج تجارية أكثر قابلية للتنبؤ.
للاطلاع على الاتجاهات الرسمية، يمكن الاطلاع على إعلانات OpenAI وGoogle وAnthropic وغيرها من المؤسسات، بالإضافة إلى وثائق الاقتراح من IETF عبر القنوات العامة، كما قد تتقدم المناقشات ذات الصلة في الأشهر المقبلة. بالنسبة للمستخدمين، تميل هذه التغييرات إلى تنظيم التفاعل بين الناشرين وشركات AI، ولن تؤثر مباشرة على تجربة الاستخدام اليومية للمستخدمين العاديين على الويب على المدى القصير، ولكن على المدى الطويل، قد تشجع المزيد من المواقع على إنشاء معايير واضحة بشأن ترخيص المحتوى واستخدام البيانات.