Scaling Intelligence: The Kimi K2.5 Architecture and Agent Swarms
การเทรนสำหรับ Agent Swarms (ฝูงเอเจนต์)
โมเดล Kimi K2.5 ได้เปิดตัวรูปแบบการเรียนรู้ใหม่ที่เรียกว่า "Agent Swarms" โดยจะมี orchestrator (เอเจนต์ตัวหลัก) คอยแบ่งงานและสั่งการไปยัง sub-agents หลายๆ ตัวเพื่อให้ทำงานไปพร้อมๆ กัน (parallel execution) ซึ่งช่วยลดเวลาในการจัดการกับงานที่ซับซ้อนลงไปได้เยอะมากเมื่อเทียบกับการใช้เอเจนต์แค่ตัวเดียว และเพื่อป้องกันไม่ให้ระบบแอบกลับไปทำงานแบบทีละงานเหมือนเดิม การเทรนจึงใช้กลไก Reinforcement Learning โดยมีการให้รางวัลพิเศษ เช่น instantiation reward (ให้รางวัลตอนสร้างเอเจนต์ย่อย) และ finish reward (ให้รางวัลเมื่อเอเจนต์ทำงานนั้นเสร็จจริงๆ)
Muon Clip Optimizer และ Token Efficiency
ทางทีมพัฒนาได้เปลี่ยนมาใช้ Muon optimizer แทน Adam optimizer แบบเดิมที่วงการใช้กัน ซึ่งการเปลี่ยนครั้งนี้ช่วยเพิ่ม Token Efficiency (ประสิทธิภาพต่อหนึ่งโทเค็น) ได้ถึง 2 เท่า แต่พอขยายสเกลเอาไปใช้กับโมเดลระดับ 1 ล้านล้านพารามิเตอร์ กลับเจอปัญหาที่ค่า max logits พุ่งทะลุ 1,000 จนทำให้การเทรนพัง (training divergence) พวกเขาเลยแก้ปัญหานี้ด้วยเทคนิค QK clip โดยการหารเพื่อจำกัดเพดานค่าสูงสุดของ query และ key ในจังหวะ forward pass ทำให้สามารถเทรนโมเดลขนาดใหญ่ด้วย Muon optimizer ได้อย่างเสถียรเป็นครั้งแรกในประวัติศาสตร์ Machine Learning
การรองรับ Long Context ด้วยสถาปัตยกรรม Kimi Linear
เพื่อให้โมเดลจัดการกับข้อมูลบริบทขนาดยาว (long-context) ได้ดีขึ้น พวกเขาใช้สถาปัตยกรรมใหม่ที่ชื่อว่า Kimi Linear ซึ่งมีกลไกย่อยที่เรียกว่า Kimi delta attention แทนที่จะใช้ตัวคูณลดทอนความจำ (decay factor) แบบค่าเดียวตายตัวทั่วทั้งระบบ กลไกนี้จะใช้ decay matrix แบบแยกย่อย (fine-grained) วิธีนี้ช่วยให้โมเดลสามารถเลือกจำข้อมูลสำคัญใน context ยาวๆ ของบางแชนเนลเอาไว้ได้ และเลือกที่จะลืมข้อมูลเก่าในแชนเนลอื่นๆ เพื่อรับข้อมูลใหม่ได้อย่างรวดเร็ว ทำให้ทำงานได้ดีกว่าแบบ full attention เดิมๆ ทั้งกับงานสั้นและงานยาวระดับ 1 ล้านโทเค็น แถมยังกินทรัพยากรน้อยกว่า
การเทรน Vision-Text ร่วมกันตั้งแต่ต้น (Early Fusion)
Kimi K2.5 ใช้แนวทางแบบ "Early Fusion" คือจับเอาโทเค็นของทั้งภาพ (vision) และข้อความ (text) มารวมกันตั้งแต่เริ่มกระบวนการ pretraining วันแรกเลย (เริ่มตั้งแต่ 0%) ผลลัพธ์ที่ได้เจ๋งมาก เพราะการเทรนร่วมกันนี้ช่วยเสริมประสิทธิภาพให้กันและกัน การเทรนด้วยโจทย์เกี่ยวกับภาพล้วนๆ ดันไปช่วยให้โมเดลทำโจทย์ข้อความที่ต้องใช้เหตุผล (reasoning) ได้เก่งขึ้นด้วย นอกจากนี้ การที่ฝั่งข้อความเก่งอยู่แล้ว ทำให้โมเดลสามารถทำงานด้านภาพได้ระดับท็อป (state-of-the-art) โดยไม่ต้องใช้ข้อมูล Supervised Fine-Tuning (SFT) ของภาพเลย (Zero vision SFT) และการเทรนรวมแบบนี้ยังทำให้เกิดความสามารถล้ำๆ อย่างการเขียนโค้ดหน้าเว็บ (Front-end) ได้ทันทีจากการดูภาพดีไซน์หรือวิดีโอ
Attention Residue ในมิติความลึก (Depth Dimension)
มีแนวคิดหนึ่งที่บอกว่า โครงสร้างแบบ residual connection ทั่วๆ ไปนั้นมีความคล้ายคลึงกับ LSTM ที่ถูกจับมาหมุน 90 องศาในมิติของความลึก ทีมงานเลยต่อยอดด้วยการสร้าง Attention Residue ขึ้นมา แทนที่จะแค่เอาผลลัพธ์ของเลเยอร์ก่อนหน้ามาบวกดื้อๆ พวกเขาจับเอากลไก attention มากวาดดู hidden states ของทุกๆ เลเยอร์ก่อนหน้าเพื่อมาคำนวณผลลัพธ์ของเลเยอร์ปัจจุบัน (เหมือนจับ attention มาหมุน 90 องศา) การปรับโครงสร้างนี้ช่วยเพิ่ม Token Efficiency ได้อีกถึง 24% และทำให้โมเดลทำคะแนนเรื่องโค้ดดิ้งและคณิตศาสตร์ได้ดีขึ้นแบบก้าวกระโดด
การพลิกโฉมสถาปัตยกรรม (Architectural Paradigm Shifts)
สรุปง่ายๆ คือแนวทางการสร้างโมเดลนี้ได้เข้ามาเปลี่ยนเทคนิคพื้นฐานดั้งเดิมของวงการ Machine Learning ไปถึง 3 อย่างหลักๆ:
- Optimizer: เปลี่ยนจากที่เคยใช้ Adam มาเป็น MuonClip
- Context Mechanism: เปลี่ยนจากการใช้ Full Attention ล้วนๆ มาเป็น Kimi Linear
- Depth Processing: เปลี่ยนจาก Residual Connections แบบเดิมๆ มาเป็น Attention Residuals