กูเกิลนำเสนอโมเดลปัญญาประดิษฐ์ pQRNN สำหรับงานประมวลผลข้อความ (natural language processing - NLP) ที่ตอนนี้นิยมใช้โมเดล BERT เป็นมาตรฐาน แต่โมเดล BERT มีขนาดใหญ่ถึง 400MB และมักใช้ในเซิร์ฟเวอร์มากกว่าอุปกรณ์ขนาดเล็กเช่นโทรศัพท์มือถือ
pQRNN ปรับปรุงมาจากโมเดล PRADO ที่กูเกิลนำเสนอตั้งแต่ปีที่แล้ว ความต่างจากโมเดลอื่นๆ คือการรับอินพุตเป็นคำแทนที่จะเป็นตัวอักษรทำให้โมเดลโดยรวมลดความซับซ้อนลงมาก แต่ปรับขั้นปลายๆ ของโมเดลให้เป็นชั้นแบบ QRNN และใช้ทำงานที่ความซับซ้อนต่ำ เช่น การจับอารมณ์ของข้อความ, การตรวจหาคำลามก, การจับชื่อและคำสำคัญ, ไปจนถึงเนื้อหาด้านลบ (toxic content) โดยยังให้ระดับความแม่นยำใกล้เคียงกับโมเดล BERT ที่ขนาดใหญ่กว่ามาก
ทีมวิจัยของกูเกิลทดสอบ pQRNN ด้วยชุดข้อมูล civil_coments ที่หาข้อความมุ่งร้าย, ลามก, หรือโจมตีตัวบุคคล สามารถทำความแม่นยำ 0.963 AUC โดยโมเดลมีขนาดเพียง 1.3 ล้านพารามิเตอร์แบบ quantized ให้แต่ละพารามิเตอร์มีขนาด 1 ไบต์เท่านั้น เทียบกับโมเดล BERT ที่เคยมีการฝึกได้ผลดีที่สุดยังทำได้ 0.976 AUC แม้จะมีพารามิเตอร์ถึง 110 ล้านพารามิเตอร์แบบ FP32 ก็ตาม
ที่มา - Google AI Blog
สถาปัตยกรรมโมเดล pQRNN
