วิธีเทรนโมเดล AI ให้เหตุผลได้ดีขึ้น — จากการแข่งกันของวิธีการ 6 แบบใน arXiv

นักวิจัย arXiv ทดสอบวิธีการเทรนหลังจากที่เทรนหลัก (post-training) สำหรับ LLM ที่ต้องเหตุผลเชิงคณิตศาสตร์ — เช่น Lean theorem proving ผลการศึกษาพบว่า on-policy distillation (OPD) และ self-distillation (OPSD) ช่วยให้ได้ feedback หนาแน่นในระดับ token ได้ดีกว่า GRPO เดิม แต่มีปัญหาเรื่องความเสถียรและการล่มสลายแบบ mode collapse งานนี้มีค่าต่อ dev ที่อยากให้โมเดลของตัวเองเรียนรู้จากคำแนะนำของตัวเอง