Automatic Prompt Engineer (APE)

ต้นฉบับ : Automatic Prompt Engineer (APE) วิศวกรพร้อมท์อัตโนมัติ (APE)

Zhou et al., (2022) เสนอกรอบการทำงานของวิศวกรพร้อมท์อัตโนมัติ (APE) สำหรับการสร้างและการเลือกคำสั่งอัตโนมัติ ปัญหาการสร้างคำสั่งถูกวางกรอบเป็นการสังเคราะห์ภาษาธรรมชาติ ซึ่งได้รับการแก้ไขโดยปัญหาการปรับให้เหมาะสมแบบกล่องดำโดยใช้ LLM เพื่อสร้างและค้นหาวิธีแก้ปัญหาของผู้สมัคร

ขั้นตอนแรกเกี่ยวข้องกับโมเดลภาษาขนาดใหญ่ (เป็นรูปแบบการอนุมาน) ที่ได้รับการสาธิตผลลัพธ์เพื่อสร้างผู้สมัครคำสั่งสำหรับงาน โซลูชันผู้สมัครเหล่านี้จะแนะนำขั้นตอนการค้นหา คำสั่งจะดำเนินการโดยใช้แบบจำลองเป้าหมาย จากนั้นเลือกคำสั่งที่เหมาะสมที่สุดตามคะแนนการประเมินที่คำนวณ

APE ค้นพบการแจ้งเตือนแบบ Zero-shot CoT ที่ดีกว่าการแจ้งเตือน "ลองคิดดูทีละขั้นตอน" ที่ออกแบบโดยมนุษย์ (Kojima et al., 2022).

ข้อความแจ้ง "มาดูรายละเอียดกันทีละขั้นตอนเพื่อให้แน่ใจว่าเราได้คำตอบที่ถูกต้อง" กระตุ้นการใช้เหตุผลแบบลูกโซ่และปรับปรุงประสิทธิภาพในการวัดประสิทธิภาพ MultiArith และ GSM8K:

บทความนี้กล่าวถึงหัวข้อสำคัญที่เกี่ยวข้องกับวิศวกรรมพร้อมท์ ซึ่งเป็นแนวคิดในการเพิ่มประสิทธิภาพพร้อมท์โดยอัตโนมัติ แม้ว่าเราจะไม่ลงลึกในหัวข้อนี้ในคู่มือนี้ แต่ต่อไปนี้เป็นเอกสารสำคัญบางส่วนหากคุณสนใจในหัวข้อนี้:

• Prompt-OIRL - เสนอให้ใช้การเรียนรู้การเสริมแรงแบบผกผันออฟไลน์เพื่อสร้างพรอมต์ที่ขึ้นอยู่กับแบบสอบถาม

• OPRO - แนะนำแนวคิดในการใช้ LLM เพื่อเพิ่มประสิทธิภาพการแจ้งเตือน: ให้ LLM "หายใจเข้าลึก ๆ" ปรับปรุงประสิทธิภาพในการแก้ปัญหาทางคณิตศาสตร์

• AutoPrompt - เสนอแนวทางในการสร้างพรอมต์โดยอัตโนมัติสำหรับชุดงานที่หลากหลายโดยอิงตามการค้นหาที่มีการไล่ระดับสี

• Prefix Tuning - ทางเลือกน้ำหนักเบาในการปรับแต่งแบบละเอียดที่เติมคำนำหน้าต่อเนื่องที่สามารถฝึกได้สำหรับงาน NLG

• Prompt Tuning - เสนอกลไกการเรียนรู้ soft prompts ผ่าน backpropagation