Automatic Reasoning and Tool-use (ART)

ต้นฉบับ : Automatic Reasoning and Tool-use (ART) การใช้เหตุผลอัตโนมัติและการใช้เครื่องมือ (ART)

การรวม CoT prompting และเครื่องมือต่างๆ เข้าด้วยกันได้แสดงให้เห็นว่าเป็นแนวทางที่แข็งแกร่งและแข็งแกร่งในการจัดการกับงานต่างๆ มากมายด้วย LLM โดยทั่วไปแนวทางเหล่านี้จำเป็นต้องมีการสาธิตงานหัตถกรรมด้วยมือโดยเฉพาะ และการเขียนสคริปต์ที่สลับซับซ้อนของการสร้างแบบจำลองด้วยการใช้เครื่องมือ Paranjape et al., (2023) เสนอกรอบงานใหม่ที่ใช้ LLM แช่แข็งเพื่อสร้างขั้นตอนการให้เหตุผลระดับกลางโดยอัตโนมัติเป็นโปรแกรม

ART ทำงานดังนี้:

• เมื่อได้รับงานใหม่ จะเลือกการสาธิตการใช้เหตุผลหลายขั้นตอนและการใช้เครื่องมือจากไลบรารีงาน

• ณ เวลาทดสอบ ระบบจะหยุดการสร้างชั่วคราวทุกครั้งที่มีการเรียกใช้เครื่องมือภายนอก และรวมเอาเอาท์พุตของเครื่องมือเหล่านั้นก่อนที่จะกลับมาสร้างต่อ

ART สนับสนุนให้แบบจำลองสรุปจากการสาธิตเพื่อแยกย่อยงานใหม่และ ใช้เครื่องมือในสถานที่ที่เหมาะสมในแบบศูนย์ช็อต นอกจากนี้ ART ยังสามารถขยายได้ เนื่องจากยังช่วยให้มนุษย์สามารถแก้ไขข้อผิดพลาดในขั้นตอนการให้เหตุผลหรือเพิ่มเครื่องมือใหม่ ๆ เพียงอัปเดตไลบรารีงานและเครื่องมือ กระบวนการนี้แสดงให้เห็นด้านล่าง:

ART ปรับปรุงอย่างมากจากการแจ้งเตือนไม่กี่ครั้งและ CoT อัตโนมัติกับงานที่มองไม่เห็นในเกณฑ์มาตรฐาน BigBench และ MMLU และเหนือกว่าประสิทธิภาพของการแจ้งเตือน CoT ที่จัดทำขึ้นด้วยมือเมื่อมีการรวมความคิดเห็นของมนุษย์เข้าด้วยกัน

ด้านล่างนี้เป็นตารางที่สาธิตประสิทธิภาพของ ART ในงาน BigBench และ MMLU: