Cloudflare เพิ่มฟีเจอร์สำหรับการบล็อคเว็บจากบอตที่ผู้พัฒนา AI ใช้สำหรับดูดข้อมูลเพื่อการฝึก AI ของตัวเอง หลังจากสำรวจพบว่าลูกค้าถึง 85% ต้องการบล็อคไม่ได้ AI เหล่านี้มาดูดข้อมูลไป แต่ในความเป็นจริงเว็บจำนวนมากกลับเขียน robots.txt ไม่ครบถ้วน โดยอาจจะห้ามเพียงบอตดังๆ เช่น GPTBot ของ OpenAI เท่านั้น
ฟีเจอร์ใหม่นี้เป็นตัวเลือกเดียวบล็อคบอตทุกตัวพร้อมกันหมด โดย Cloudflare จะเป็นผู้ติดตามข้อมูลว่าบอตแต่ละตัวมาจากช่องทางไหนบ้างและเพิ่มมาตรการบล็อคให้อัตโนมัติ
ในแง่ของปริมาณการดูดเว็บ GPTBot กลับไม่ใช่บอตที่ดูดข้อมูลเว็บมากที่สุดแต่เป็น Bytespider, Amazonbot, และ ClaudeBot แล้วจึงตามด้วย GPTBot ตัว Bytespider นั้นไม่ได้ระบุชัดเจนว่าทำขึ้นมาเพื่อดูดข้อมูลไปฝึก AI แต่ก็มีรายงานก่อนหน้านี้ว่ามีการใช้งานข้อมูลเพื่อฝึก LLM ขณะที่ ClaudeBot ของ Anthorpic นั้นชัดเจนว่าใช้เพื่อดูดข้อมูลไปฝึกแน่นอน
ที่มา - Cloudflare Blog
