Google, Anthropic, OpenAI และ Microsoft ร่วมกันประกาศปฏิบัติตามคำสั่ง robots.txt ใหม่ เพื่อให้ผู้เผยแพร่เว็บไซต์สามารถกำหนดความชอบในการฝึกอบรม AI ที่สร้างสรรค์ได้ ข้อเสนอนี้อยู่ในขอบเขตการอภิปรายขององค์กรมาตรฐานเปิด IETF โดยเขียนโดย Kevin Kelley หัวหน้าเทคโนโลยีของ Anthropic มีเป้าหมายเพื่อให้สัญญาณเดียวได้รับการยอมรับและดำเนินการโดยบริษัท AI หลายแห่ง
ปัจจุบันเจ้าของเว็บไซต์ต้องระบุเว็บครอว์เลอร์ที่แตกต่างกันทีละตัว และตั้งกฎเฉพาะสำหรับแต่ละผู้ให้บริการ ขณะที่คำสั่งใหม่จะมีการยอมรับสัญญาณทั่วไปจากบริษัท AI หลายแห่งเพื่อลดความยุ่งยากในการจัดการ เจ้าของเว็บไซต์จะต้องเพิ่มตัวแทนผู้ใช้ (user agent) ที่ใช้สำหรับการฝึกอบรม AI ในไฟล์ robots.txt โดยมีรูปแบบเป็นสตริงเฉพาะ เพื่อป้องกันการเก็บข้อมูลที่ใช้ในการฝึกอบรม AI และในบางกรณีสามารถอนุญาตให้เก็บข้อมูลในบางส่วนของหน้า เช่น ข้อมูล press kit เป็นต้น
Google และ OpenAI ได้อธิบายว่าคำสั่งนี้จะไม่ส่งผลกระทบต่อการจัดทำดัชนีเว็บไซต์ที่มีอยู่ และจะไม่ป้องกันไม่ให้เนื้อหาของเว็บไซต์ถูกพิมพ์ออกมา และจะไม่หยุดการแสดงผลในผลการค้นหาของ Google ตัวอย่างเช่น Google จะถือว่าตัวแทนผู้ใช้ใหม่เป็น "สัญญาณหยุด" ที่ใช้ในตัวแทนผู้ใช้ "Google-Extended" ซึ่งออกแบบมาเพื่อการฝึกอบรมโมเดล Gemini การเปลี่ยนแปลงนี้จะไม่ย้อนกลับข้อมูลที่ได้เก็บรวบรวมในอดีต แต่จะหยุดการเก็บข้อมูลในอนาคต
Anthropic เริ่มสนับสนุนคำสั่งใหม่แล้ว ขณะที่ Microsoft ระบุว่าจะเริ่มสนับสนุนตั้งแต่วันที่ 1 กุมภาพันธ์ 2027 Google ก็จะเข้าร่วมในต้นปี 2027 และ OpenAI ระบุว่าจะดำเนินการใช้สัญญาณนี้ในอีกไม่กี่เดือนข้างหน้า จากข้อมูลที่เปิดเผย การรับรองของบริษัทเหล่านี้จะคำนึงถึงคุณค่าของข้อมูลที่มีอยู่และความสอดคล้องในการฝึกอบรมข้อมูลในอนาคต เพื่อให้หลายฝ่ายมีช่องทางที่เป็นเอกภาพหลีกเลี่ยงความยุ่งยากในการตั้งกฎของแต่ละผู้ให้บริการ
รายละเอียดการดำเนินการของคำสั่งใหม่และขอบเขตผลกระทบ อาจเปลี่ยนแปลงรูปแบบแหล่งข้อมูลในการฝึกอบรม AI
คำสั่ง robots.txt ใหม่ถูกออกแบบมาเพื่อแก้ไขความสมดุลระหว่าง "การเก็บข้อมูลเองและการฝึกอบรมข้อมูล" เพื่อให้ผู้เผยแพร่สามารถสร้างเส้นแบ่งที่โปร่งใสระหว่างการเคารพในทรัพย์สินทางปัญญาและการส่งเสริมความคิดสร้างสรรค์ สิ่งที่ต้องระวังคือ หากหน้าเว็บบางหน้าถูกเก็บข้อมูลไปแล้ว สัญญาณใหม่ในปัจจุบันไม่สามารถย้อนกลับการกระทำในอดีตได้ การเก็บข้อมูลในอนาคตจะดำเนินการตามกฎใหม่ การออกแบบนี้หมายความว่าในระยะสั้นอาจจะไม่เปลี่ยนแปลงฐานข้อมูลการฝึกอบรมที่มีอยู่ แต่ในระยะยาวจะเพิ่มความสามารถในการเลือกเก็บข้อมูลใหม่
สำหรับผู้เผยแพร่ การเปลี่ยนแปลงนี้เพิ่มความสามารถในการควบคุม โดยเฉพาะอย่างยิ่งสำหรับหน้าที่มีข้อมูล press kit, แหล่งข้อมูลแบรนด์ หรือเนื้อหาที่เฉพาะเจาะจง ในการปฏิบัติ ผู้จัดการสามารถใช้สัญญาณเดียวในการสื่อสารกับบริษัท AI หลายแห่ง ลดความยุ่งยากในการตั้งกฎที่ไม่มีประสิทธิภาพในแต่ละบริษัท และยังคงรักษาสิทธิในการอนุญาตให้เก็บข้อมูลในเนื้อหาบางส่วน การสร้างสมดุลนี้ช่วยรักษาความควบคุมของผู้สร้างในเรื่องลิขสิทธิ์ ในขณะเดียวกันก็ลดความไม่แน่นอนของบริษัท AI ในด้านแหล่งข้อมูล
ในด้านเทคนิค สัญญาณใหม่จะถูกเพิ่มในรูปแบบ "ตัวแทนผู้ใช้เฉพาะ" ในไฟล์ robots.txt และจะมีการปฏิบัติตามโดยผู้เล่นหลักอย่าง Google, OpenAI, Microsoft เป็นต้น แม้ว่ากลไกนี้จะไม่ส่งผลกระทบต่อการค้นหาเว็บไซต์ที่มีอยู่ และจะไม่จำกัดสิทธิในการเข้าถึงเว็บไซต์ แต่การดำเนินการจริงต้องการให้ผู้ดำเนินการเว็บไซต์จัดการอัตโนมัติ เพื่อให้แน่ใจว่าหน้าถูกทำเครื่องหมายว่าใช้ได้สำหรับการฝึกอบรม AI หรือถูกป้องกัน การดำเนินการตามตารางเวลาของแต่ละบริษัทอาจทำให้เกิดกลยุทธ์การจัดการแหล่งข้อมูลที่มีความเป็นเอกภาพมากขึ้น
ในขณะเดียวกัน เมื่อมีการจำกัดการเก็บข้อมูลในหน้าเฉพาะ ผู้เผยแพร่ยังมีโอกาสที่จะระบุข้อยกเว้นในรายการอนุญาต เช่น การให้ข้อมูลบางส่วนของสื่อข้อมูลแพคเกจ การออกแบบนี้มีข้อดีตรงที่ไม่ปิดกั้นการมองเห็นเนื้อหาของเว็บไซต์ในฐานข้อมูลการฝึกอบรม แต่กลับช่วยให้ผู้สร้างรักษาสิทธิในการควบคุมทรัพย์สินหลักของตน โดยรวมแล้ว กฎระเบียบใหม่นี้อาจช่วยให้แหล่งข้อมูลการฝึกอบรม AI มีความโปร่งใสมากขึ้น และช่วยสร้างโมเดลธุรกิจที่คาดการณ์ได้มากขึ้น
สำหรับข้อมูลอ้างอิงเกี่ยวกับทิศทางทางการ OpenAI, Google และ Anthropic รวมถึงประกาศและเอกสารข้อเสนอของ IETF สามารถตรวจสอบได้จากช่องทางสาธารณะ การอภิปรายที่เกี่ยวข้องอาจมีโอกาสดำเนินการในอีกไม่กี่เดือนข้างหน้า สำหรับผู้ใช้ การเปลี่ยนแปลงเหล่านี้มักจะเกี่ยวข้องกับกฎระเบียบการมีปฏิสัมพันธ์ระหว่างผู้เผยแพร่และบริษัท AI ในระยะสั้นจะไม่เปลี่ยนแปลงประสบการณ์การใช้งานเว็บไซต์ของผู้ใช้ทั่วไป แต่ในระยะยาวอาจช่วยให้เว็บไซต์มากขึ้นมีการสร้างกฎระเบียบที่ชัดเจนในเรื่องการอนุญาตเนื้อหาและการใช้ข้อมูล