Retrieval Augmented Generation (RAG)

ต้นฉบับ : Retrieval Augmented Generation (RAG) การดึงข้อมูล Augmented Generation (RAG)

โมเดลภาษาสำหรับวัตถุประสงค์ทั่วไปสามารถปรับแต่งได้อย่างละเอียดเพื่อให้บรรลุงานทั่วไปหลายอย่าง เช่น การวิเคราะห์ความรู้สึก และการรับรู้เอนทิตีที่มีชื่อ โดยทั่วไปงานเหล่านี้ไม่จำเป็นต้องมีความรู้พื้นฐานเพิ่มเติม

สำหรับงานที่ซับซ้อนและต้องใช้ความรู้มาก คุณสามารถสร้างระบบตามแบบจำลองภาษาที่เข้าถึงแหล่งความรู้ภายนอกเพื่อทำงานให้เสร็จสิ้นได้ ซึ่งช่วยให้เกิดความสอดคล้องของข้อเท็จจริงมากขึ้น ปรับปรุงความน่าเชื่อถือของคำตอบที่สร้างขึ้น และช่วยบรรเทาปัญหา "ภาพหลอน"

นักวิจัย Meta AI ได้แนะนำวิธีการที่เรียกว่า Recovery Augmented Generation (RAG) เพื่อจัดการกับงานที่ต้องใช้ความรู้มากเช่นนี้ RAG รวมองค์ประกอบการดึงข้อมูลเข้ากับโมเดลตัวสร้างข้อความ RAG สามารถปรับแต่งได้อย่างละเอียด และความรู้ภายในสามารถปรับเปลี่ยนได้อย่างมีประสิทธิภาพ และไม่จำเป็นต้องฝึกอบรมโมเดลทั้งหมดใหม่

RAG รับอินพุตและดึงชุดของเอกสารที่เกี่ยวข้อง/สนับสนุนตามแหล่งที่มา (เช่น Wikipedia) เอกสารจะถูกต่อเข้าด้วยกันเป็นบริบทพร้อมกับพร้อมท์อินพุตต้นฉบับและป้อนไปยังตัวสร้างข้อความซึ่งสร้างเอาต์พุตสุดท้าย สิ่งนี้ทำให้ RAG มีการปรับตัวในสถานการณ์ที่ข้อเท็จจริงสามารถพัฒนาไปตามกาลเวลา สิ่งนี้มีประโยชน์มากเนื่องจากความรู้เชิงพารามิเตอร์ของ LLM เป็นแบบคงที่ RAG อนุญาตให้โมเดลภาษาข้ามการฝึกอบรมซ้ำ ทำให้สามารถเข้าถึงข้อมูลล่าสุดเพื่อสร้างผลลัพธ์ที่เชื่อถือได้ผ่านการสร้างตามการดึงข้อมูล

Lewis และคณะ (2021) เสนอสูตรการปรับแต่ง RAG แบบละเอียดสำหรับวัตถุประสงค์ทั่วไป โมเดล seq2seq ที่ได้รับการฝึกล่วงหน้าถูกใช้เป็นหน่วยความจำพาราเมตริก และดัชนีเวกเตอร์หนาแน่นของ Wikipedia ถูกใช้เป็นหน่วยความจำแบบไม่อิงพารามิเตอร์ (เข้าถึงได้โดยใช้รีทรีฟเวอร์ที่ได้รับการฝึกประสาทล่วงหน้า) ด้านล่างนี้คือภาพรวมของวิธีการทำงาน:

RAG มีประสิทธิภาพดีเยี่ยมในเกณฑ์มาตรฐานหลายประการ เช่น คำถามทั่วไป คำถามบนเว็บ และ CuratedTrec RAG สร้างคำตอบที่เป็นข้อเท็จจริง เฉพาะเจาะจง และหลากหลายมากขึ้นเมื่อทดสอบกับคำถาม MS-MARCO และ Jeopardy RAG ยังปรับปรุงผลลัพธ์ในการตรวจสอบข้อเท็จจริงของ FEVER

สิ่งนี้แสดงให้เห็นถึงศักยภาพของ RAG ในฐานะตัวเลือกที่เป็นไปได้ในการปรับปรุงผลลัพธ์ของแบบจำลองภาษาในงานที่ต้องใช้ความรู้มาก

เมื่อเร็วๆ นี้ วิธีการที่ใช้รีทรีฟเวอร์เหล่านี้ได้รับความนิยมมากขึ้น และได้รวมเข้ากับ LLM ยอดนิยม เช่น ChatGPT เพื่อปรับปรุงความสามารถและความสอดคล้องของข้อเท็จจริง

RAG Use Case: Generating Friendly ML Paper Titles กรณีการใช้งาน RAG: การสร้างชื่อกระดาษ ML ที่เป็นมิตร

References

• Retrieval-Augmented Generation for Large Language Models: A Survey (Dec 2023)

• Retrieval Augmented Generation: Streamlining the creation of intelligent natural language processing models (Sep 2020)