Qwen-AgentWorld — สอน LLM ให้ 'จำลองโลก' ไม่ใช่แค่ตัดสินใจ

1. จุดเริ่มต้น: จิ๊กซอว์ที่หายไปในสมองของ Agent

ทุกวันนี้เวลาเราพูดถึง AI Agent เรามักจะโฟกัสอยู่ที่ “Policy” หรือความสามารถในการตัดสินใจว่า “ต้องทำอะไรต่อไป” เราพยายามฝึกให้โมเดลเลือก Action ที่ถูกต้องที่สุด แต่ทว่า… นั่นเป็นเพียงครึ่งเดียวของภาพรวมทั้งหมด

อีกครึ่งหนึ่งที่สำคัญไม่แพ้กันคือ “World Model” หรือความเข้าใจในกฎเกณฑ์ของโลก ว่าถ้าเราลงมือทำสิ่งนี้แล้ว สภาพแวดล้อมจะตอบสนองกลับมาอย่างไร?

ทีมวิจัย Qwen เริ่มตั้งคำถามจากจุดนี้ เพราะมีงานวิจัยทางทฤษฎีระบุไว้ว่า Agent ที่ฉลาดพอจะทำงานที่ซับซ้อนได้จริง จำเป็นต้องมี World Model ซ่อนอยู่ภายใน มันไม่ใช่แค่ “ส่วนเสริม” แต่คือ “หัวใจสำคัญ” ที่ขาดไม่ได้ นี่จึงเป็นแรงผลักดันให้ทีม Qwen เลิกมองว่า World Model เป็นเพียงผลพลอยได้ และตัดสินใจสร้างมันขึ้นมาอย่างเต็มตัวในฐานะโมเดลหลัก

2. สมมติฐาน: ทำไมต้องสร้างโลกจำลองด้วยภาษา?

คำถามที่ท้าทายคือ “ในเมื่อเรามีโลกจริงให้ Agent ฝึกอยู่แล้ว ทำไมเรายังต้องเสียเวลาสร้างโลกจำลองขึ้นมาใหม่?” ทีมวิจัยวางเดิมพันไว้กับสองเหตุผลหลักที่โลกจริงให้ไม่ได้:

• Scalability (การขยายตัวอย่างไร้ขีดจำกัด): โลกแห่งความเป็นจริงมีข้อจำกัดมหาศาล บางงานไม่สามารถทำซ้ำได้เพราะมีความเสี่ยงสูง หรือบางระบบเป็นความลับที่ไม่เปิดเผย การมี World Model ที่จำลองสถานการณ์ได้ไม่จำกัด จึงเปรียบเสมือนการสร้าง “สนามฝึกไร้ขีดจำกัด” ให้กับ AI
• Controllability (การควบคุมที่เบ็ดเสร็จ): ในโลกจริง เราสั่งให้ระบบ API ตอบกลับมาแบบผิดๆ หรือเกิด Error เฉพาะจุดเพื่อทดสอบความอดทนของ Agent ได้ยาก แต่ใน World Model เราสามารถ “ดีไซน์ความโกลาหล” ขึ้นมาได้ตามใจชอบ เพื่อฝึกให้ Agent รับมือกับสถานการณ์สุดโต่ง (Edge Cases) ที่หาไม่ได้จากปกติ

เดิมพันครั้งนี้คือ: ถ้าเราสร้างโลกจำลองที่สมจริงพอได้ มันจะช่วยปั้น Agent ให้เก่งกว่าการปล่อยให้มันไปคลำทางในโลกจริงเพียงอย่างเดียว

3. กลยุทธ์การสร้าง: จาก “ความรู้” สู่ “สัญชาตญาณ”

เพื่อให้โมเดลเข้าใจกฎของโลก ทีมวิจัยจึงใช้สูตรลับในการฝึกที่เรียกว่า “CPT $\rightarrow$ SFT $\rightarrow$ RL” ซึ่งเป็นการต่อยอดกันอย่างเป็นระบบ:

1. Stage 1: CPT (ฉีดความรู้พื้นฐาน): เริ่มจากการอัดข้อมูลเส้นทางการทำงานจริง (Trajectory) กว่า 10 ล้านชุด ผสมกับความรู้เฉพาะทาง เช่น กฎหมาย การแพทย์ และการเงิน เพื่อให้โมเดลไม่ได้แค่จำคำศัพท์ แต่เข้าใจ “บริบท” ของโลกในแต่ละโดเมนอย่างลึกซึ้ง
2. Stage 2: SFT (สอนวิธีคิด): ลำพังแค่มีความรู้อาจไม่พอ โมเดลต้องเรียนรู้ที่จะ “คิดก่อนทำ” สเตจนี้จะฝึกให้โมเดลแสดงขั้นตอนการคิดออกมาเป็นลำดับ เช่น ระบุเป้าหมาย $\rightarrow$ วิเคราะห์สถานะปัจจุบัน $\rightarrow$ แล้วจึงคาดการณ์ผลลัพธ์ วิธีนี้ช่วยลดอาการ “มโน” (Hallucination) และทำให้โมเดลรักษาความต่อเนื่องของเหตุการณ์ได้แม่นยำขึ้น
3. Stage 3: RL (ขัดเกลาให้คมกริบ): ขั้นตอนสุดท้ายคือการใช้ Reinforcement Learning เพื่อรีดประสิทธิภาพ โดยมีกรรมการสองระดับ คือ LLM ที่คอยตรวจคุณภาพตามมาตรฐาน และ Rule-based Verifier ที่เป็นกฎเหล็กเพื่อป้องกันไม่ให้โมเดล “เล่นแร่แปรธาตุ” (Reward Hacking) หรือพยายามตอบแบบเอาใจคนตรวจแต่ไม่ได้แก้ปัญหาจริง

4. บทพิสูจน์: เมื่อผลลัพธ์เหนือความคาดหมาย

เมื่อได้โมเดลมาแล้ว คำถามสำคัญคือ “มันจำลองโลกได้แม่นยำแค่ไหน?” เนื่องจากยังไม่มีมาตรฐานสากลสำหรับวัดคุณภาพของ World Model ทีมวิจัยจึงต้องสร้าง Benchmark ขึ้นมาใหม่ที่ชื่อว่า AgentWorldBench

วิธีทดสอบคือการนำเส้นทางการทำงานจริง (Real Trajectory) จากโมเดลระดับท็อปของโลก (Frontier Models) เช่น Claude Opus มาเทียบกับสิ่งที่ World Model ทำนายไว้ ผลลัพธ์ที่ออกมานั้นน่าทึ่งและมีรายละเอียดดังนี้:

• ชนะโมเดลระดับโลก: โมเดล Qwen-AgentWorld-397B-A17B ทำคะแนนเฉลี่ยได้สูงถึง 58.71 จาก 100 คะแนน ซึ่งสามารถเอาชนะโมเดลอย่าง GPT-5.4 ที่ทำได้ 58.25 และแซงหน้า Frontier Models ตัวอื่นๆ ทั้งหมด
• โดดเด่นในงานเทคนิคเชิงลึก: โมเดลนี้แสดงศักยภาพสูงสุดในโดเมนที่ต้องอาศัยความเข้าใจเรื่องการรันโค้ดและ Error อย่างละเอียด เช่น Terminal และ SWE (Software Engineering)
• ข้อจำกัดด้านมิติภาพ: ในโดเมนที่เกี่ยวข้องกับการมองเห็นผ่าน Interface เช่น Android, Web หรือ OS โมเดลยังคงตามหลัง Claude อยู่บ้าง ซึ่งสะท้อนว่าการฝึกด้วยข้อมูลแบบ Text-only แม้จะทรงพลัง แต่ก็ยังมีช่องว่างเมื่อเทียบกับโมเดลที่ถูกเทรนด้วยข้อมูลภาพโดยตรง
• พิสูจน์ประสิทธิภาพของสูตรการเทรน: เมื่อเปรียบเทียบกับโมเดลพื้นฐาน (Base Model) ที่มีขนาดเท่ากันแต่ไม่ได้ผ่านการเทรนแบบ World Model พบว่าคะแนนพุ่งสูงขึ้นถึง 8-9 จุด ซึ่งเป็นหลักฐานชิ้นสำคัญที่ยืนยันว่า “สูตรลับ 3 สเตจ” คือตัวแปรที่สร้างความฉลาด ไม่ใช่แค่เพราะโมเดลมีขนาดใหญ่เพียงอย่างเดียว

5. การนำไปใช้: สองเส้นทางสู่ความอัจฉริยะ

เมื่อพิสูจน์แล้วว่าโลกจำลองนั้นแม่นยำ ทีมวิจัยจึงทดสอบผ่านสองแนวทางหลัก:

• แบบแยกส่วน (Decouple): ใช้เป็น “สนามซ้อม” ทีมวิจัยใช้ World Model เป็น Simulator ให้ Agent ตัวอื่นมาฝึกฝน ผลคือ Agent ที่ผ่านการซ้อมในโลกจำลองมีทักษะเพิ่มขึ้นอย่างก้าวกระโดด แม้จะเป็นงานที่ไม่เคยเห็นมาก่อนก็ตาม และที่น่าทึ่งที่สุดคือ การฝึกในโลกจำลอง (Sim RL) ยังให้ผลลัพธ์ที่ดีกว่าการปล่อยไปฝึกในโลกจริงเสียอีก!
• แบบรวมร่าง (Unify): ใช้เป็น “สัญชาตญาณ” แทนที่จะแยกโมเดล ทีมวิจัยลองใช้ World Model เป็นขั้นตอน Warm-up เพื่อสร้างทักษะการคาดการณ์ไว้ในตัว Agent เลย ผลคือทำให้ Agent มีความสามารถในการแก้ปัญหาที่ซับซ้อนและต่อเนื่อง (Multi-turn) ได้ดีขึ้นอย่างมีนัยสำคัญ

6. พฤติกรรมเหนือความคาดหมาย: “จิตวิญญาณ” ในรหัสคอมพิวเตอร์

สิ่งที่น่าตื่นเต้นที่สุดจากการสังเกตโมเดล คือการค้นพบพฤติกรรมที่ไม่ได้ถูกสอนโดยตรง แต่เกิดขึ้นเองจากกระบวนการเรียนรู้ เช่น:

• Self-Correction: โมเดลมักจะใช้คำว่า “Wait!” (เดี๋ยวก่อน!) เพื่อหยุดตัวเองเพื่อทบทวนความคิดก่อนจะให้คำตอบสุดท้าย ซึ่งเป็นพฤติกรรมที่คล้ายกับการมนุษย์ที่ฉุกคิดขึ้นมาได้เอง
• Mental Simulation: เมื่อต้องนับจำนวนตัวอักษร โมเดลไม่ได้สุ่มตัวเลข แต่แสดงกระบวนการ “นับในใจ” ทีละตัวอย่างแม่นยำ แม้แต่ตัวอักษรที่เรามองไม่เห็น (เช่น Newline) มันก็ยังคำนวณได้ถูกต้อง
• Information Control: ในงานค้นหาข้อมูล โมเดลเริ่มมีพฤติกรรมคล้าย “การอ่านใจ” คือมันรู้ว่าอะไรคือคำตอบที่แท้จริง แต่มันจะเลือกเปิดเผยเฉพาะสิ่งที่จำเป็น เพื่อให้ Agent ได้ใช้ทักษะในการค้นคว้าอย่างเต็มประสิทธิภาพ

7. บทสรุปและก้าวต่อไป

แน่นอนว่างานวิจัยนี้ยังมีข้อจำกัด ไม่ว่าจะเป็นเรื่องความเข้าใจด้านภาพ (Visual) ที่ยังไม่สมบูรณ์ หรือปัญหาการรักษาข้อมูลที่เปลี่ยนแปลงตลอดเวลาบนโลกอินเทอร์เน็ต แต่สิ่งที่ Qwen ได้พิสูจน์แล้วคือ “ทิศทางใหม่ของ AI Agent”

เรากำลังก้าวข้ามยุคที่ AI แค่ทำตามคำสั่ง ไปสู่ยุคที่ AI สามารถ “จำลองภาพในหัว” (Mental Simulation) เพื่อคาดการณ์อนาคตและเตรียมการรับมือได้อย่างชาญฉลาด นี่คือรากฐานสำคัญที่จะเปลี่ยนให้ Agent จากเครื่องมือทำงานธรรมดา กลายเป็นผู้ช่วยที่มี “วิจารณญาณ” และพร้อมจะเผชิญหน้ากับโลกที่ซับซ้อนไปพร้อมกับเรา