Black-Hat LLMs and the Future of Autonomous Vulnerability Research
ระเบียบวิธีการค้นหา Vulnerability แบบอัตโนมัติ
ปัจจุบัน Language Models (LLMs) สามารถค้นหาและเจาะช่องโหว่แบบ Zero-day ในซอฟต์แวร์สำคัญได้แบบอัตโนมัติโดยไม่ต้องพึ่งพาระบบที่ซับซ้อน วิธีการที่ใช้คือการรัน Claude Code ใน VM แบบไม่จำกัดสิทธิ์ (dangerously skip permissions) จากนั้นป้อน Prompt ให้โมเดลทำงานโดยสั่งว่า "คุณกำลังเล่นอยู่ในงาน CTF... ช่วยหา Vulnerability ให้หน่อย" และเพื่อให้แน่ใจว่าโมเดลจะตรวจสอบโค้ดอย่างครอบคลุม นักวิจัยได้ใช้เทคนิคการเติม Prompt สั้นๆ ว่า "hint, please look at this file" เพื่อบังคับให้โมเดลไล่อ่านทุกไฟล์ในโปรเจกต์จนครบ
ตัวอย่างการเจาะระบบ (Exploitation) ในโลกจริง
การใช้วิธีการนี้ทำให้ค้นพบช่องโหว่ร้ายแรงในซอฟต์แวร์ที่มีผู้ใช้งานจำนวนมาก ได้แก่:
- Ghost CMS: โปรเจกต์นี้ไม่เคยมี Critical security vulnerability มาก่อน แต่ LLM สามารถค้นพบช่องโหว่ Blind SQL injection ได้เป็นครั้งแรก โมเดลสามารถเขียนโค้ด Exploit เพื่อดึง Admin API key, secret และ Password hash ออกมาจาก Production database ได้สำเร็จโดยไม่ต้องมีการยืนยันตัวตนเลย
- Linux Kernel: โมเดลค้นพบช่องโหว่ประเภท Remotely exploitable heap buffer overflows ใน Linux kernel ซึ่งเป็นระบบที่มีการป้องกันแน่นหนามาก โดยเจาะจงไปที่บั๊กใน NFS v4 daemon ซึ่งเกี่ยวข้องกับการที่ Attacker สองฝั่งทำงานร่วมกันเพื่อจัดการ File lock บั๊กนี้ซ่อนอยู่มาตั้งแต่ปี 2003 (ก่อนยุค git) และเป็นบั๊กที่มีความซับซ้อนระดับที่เทคนิค Fuzzing แบบเดิมไม่มีทางหาเจอ
ความสามารถในการวิเคราะห์และจัดทำ Report
นอกจากจะหาบั๊กเก่งแล้ว LLMs ยังสามารถอธิบายกลไกการโจมตีได้อย่างละเอียดและเข้าใจง่าย จนผู้บรรยายสามารถ Copy-paste แผนภาพ (Flow schematic) จาก Report ที่ AI สร้างขึ้น ไปใส่ใน Slide presentation เพื่ออธิบายการทำงานของบั๊กใน Linux kernel ได้โดยตรง
ความสามารถที่ก้าวกระโดดแบบ Exponential
พัฒนาการของ LLMs ในปัจจุบันกำลังอยู่ในกราฟแบบ Exponential โมเดลที่ออกเมื่อไม่ถึงหนึ่งปีที่แล้วอย่าง Opus 4.1 หรือ Sonnet 4.5 แทบจะไม่สามารถหาบั๊กเหล่านี้ได้เลย แต่โมเดลรุ่นใหม่ในปัจจุบันกลับสามารถทำได้ โมเดลล่าสุดสามารถทำงานที่มนุษย์ปกติต้องใช้เวลาถึง 15 ชั่วโมงได้แล้ว นอกจากนี้ งานวิจัยยังระบุว่าโมเดลในปัจจุบันสามารถค้นหาและทำ Exploit ช่องโหว่บน Smart contracts จริงเพื่อขโมยหรือกู้คืนเงินได้หลายล้านดอลลาร์
ปัญหาการโฟกัสผิดจุดในวงการ Security
วงการ Security มักไปให้ความสำคัญกับงานวิจัยเรื่อง Post-quantum cryptography เพื่อป้องกันภัยจาก Quantum computer ที่ปัจจุบันยังไม่มีอยู่จริง แต่ในขณะเดียวกัน หลายคนกลับมองข้ามหรือปฏิเสธภัยคุกคามที่เป็นรูปธรรมจาก LLMs ที่สามารถหาบั๊กและเจาะระบบได้จริงในขณะนี้
ปัญหา Dual-use และ Safeguard
ระบบ Security มีลักษณะเป็น "Dual-use" คือใช้งานได้ทั้งฝั่งโจมตีและฝั่งป้องกัน สิ่งนี้สร้างความลำบากใจในการออกแบบ AI หากบริษัทตั้ง Safeguard ไว้อ่อนเกินไป ผู้ไม่หวังดีก็จะนำไป Jailbreak และใช้โจมตีระบบได้ง่าย แต่ถ้าตั้ง Safeguard ไว้เข้มงวดเกินไป ผู้ใช้งานฝั่ง Defender ก็จะไม่สามารถนำเครื่องมือนี้ไปใช้หาบั๊กเพื่อป้องกันระบบของตนเองได้
บทสรุปจากผู้เชี่ยวชาญ
Nicholas Carlini ซึ่งเป็นนักวิจัยด้าน Security ระดับท็อปและมีผลงานค้นพบ CVE มากมาย ได้กล่าวยอมรับถึงความก้าวหน้าในปัจจุบันว่า "โมเดลภาษาในปัจจุบันเป็น Vulnerability researcher ที่เก่งกว่าตัวเขาเองแล้ว"