Chain-of-Thought Prompting

ต้นฉบับ : Chain-of-Thought Prompting

Chain-of-Thought (CoT) Prompting การกระตุ้นห่วงโซ่แห่งความคิด (CoT)

การกระตุ้นลูกโซ่แห่งความคิด (CoT) ช่วยให้สามารถให้เหตุผลที่ซับซ้อนผ่านขั้นตอนการให้เหตุผลระดับกลาง คุณสามารถใช้ร่วมกับการแจ้งเตือนสั้นๆ เพื่อให้ได้ผลลัพธ์ที่ดีขึ้นในงานที่ซับซ้อนมากขึ้นซึ่งต้องใช้เหตุผลก่อนที่จะตอบสนอง

Prompt:

The odd numbers in this group add up to an even number: 4, 8, 9, 15, 12, 2, 1.

A: Adding all the odd numbers (9, 15, 1) gives 25. The answer is False.

The odd numbers in this group add up to an even number: 17,  10, 19, 4, 8, 12, 24.

A: Adding all the odd numbers (17, 19) gives 36. The answer is True.

The odd numbers in this group add up to an even number: 16,  11, 14, 4, 8, 13, 24.

A: Adding all the odd numbers (11, 13) gives 24. The answer is True.

The odd numbers in this group add up to an even number: 17,  9, 10, 12, 13, 4, 2.

A: Adding all the odd numbers (17, 9, 13) gives 39. The answer is False.

The odd numbers in this group add up to an even number: 15, 32, 5, 13, 82, 7, 1. 

A:

Output:

Adding all the odd numbers (15, 5, 13, 7, 1) gives 41. The answer is False.

ว้าว! เราจะเห็นผลลัพธ์ที่สมบูรณ์แบบเมื่อเราให้ขั้นตอนการให้เหตุผล ที่จริงแล้ว เราสามารถแก้ปัญหานี้ได้ด้วยการจัดเตรียมตัวอย่างให้น้อยลง กล่าวคือ แค่ตัวอย่างเดียวก็เพียงพอแล้ว:

Prompt:

The odd numbers in this group add up to an even number: 4, 8, 9, 15, 12, 2, 1.

A: Adding all the odd numbers (9, 15, 1) gives 25. The answer is False.

The odd numbers in this group add up to an even number: 15, 32, 5, 13, 82, 7, 1. 

A:

Output:

Adding all the odd numbers (15, 5, 13, 7, 1) gives 41. The answer is False.

โปรดทราบว่าผู้เขียนอ้างว่านี่เป็นความสามารถที่เกิดขึ้นเมื่อมีโมเดลภาษาที่มีขนาดใหญ่เพียงพอ

Zero-shot COT Prompting

แนวคิดหนึ่งล่าสุดที่ออกมาเมื่อเร็ว ๆ นี้ก็คือแนวคิดเรื่อง Zero-Shot CoT

(Kojima et al. 2022) โดยพื้นฐานแล้วเกี่ยวข้องกับการเพิ่ม "มาคิดกันทีละขั้นตอน" ลงในพรอมต์ต้นฉบับ เรามาลองปัญหาง่ายๆ แล้วดูว่าโมเดลทำงานอย่างไร:

Prompt: 

I went to the market and bought 10 apples. I gave 2 apples to the neighbor and 2 to the repairman. I then went and bought 5 more apples and ate 1. How many apples did I remain with?

Output: 

11 apples

คำตอบไม่ถูกต้อง! ตอนนี้เรามาลองใช้พร้อมท์พิเศษกัน

Prompt:

I went to the market and bought 10 apples. I gave 2 apples to the neighbor and 2 to the repairman. I then went and bought 5 more apples and ate 1. How many apples did I remain with?

Let's think step by step.

Output:

First, you started with 10 apples.

You gave away 2 apples to the neighbor and 2 to the repairman, so you had 6 apples left.

Then you bought 5 more apples, so now you had 11 apples.

Finally, you ate 1 apple, so you would remain with 10 apples.

เป็นเรื่องที่น่าประทับใจที่ข้อความแจ้งง่ายๆ นี้มีประสิทธิภาพในงานนี้ สิ่งนี้มีประโยชน์อย่างยิ่งในกรณีที่คุณไม่มีตัวอย่างมากเกินไปเพื่อใช้ในพรอมต์

Automatic Chain-of-Thought (Auto-CoT) ห่วงโซ่แห่งความคิดอัตโนมัติ (Auto-CoT)

เมื่อใช้การกระตุ้นเตือนแบบลูกโซ่กับการสาธิต กระบวนการจะเกี่ยวข้องกับการประดิษฐ์ตัวอย่างที่มีประสิทธิภาพและหลากหลายด้วยมือ ความพยายามด้วยตนเองนี้อาจนำไปสู่วิธีแก้ปัญหาที่ไม่เหมาะสม จางและคณะ (2022)

เสนอแนวทางในการกำจัดความพยายามด้วยตนเองโดยใช้ประโยชน์จาก LLM พร้อมข้อความ "ลองคิดทีละขั้นตอน" เพื่อสร้างห่วงโซ่การให้เหตุผลสำหรับการสาธิตทีละขั้นตอน กระบวนการอัตโนมัตินี้ยังสามารถจบลงด้วยข้อผิดพลาดในห่วงโซ่ที่สร้างขึ้น เพื่อลดผลกระทบของข้อผิดพลาด ความหลากหลายของการสาธิตจึงมีความสำคัญ งานนี้นำเสนอ Auto-CoT ซึ่งสุ่มตัวอย่างคำถามที่มีความหลากหลายและสร้างห่วงโซ่การให้เหตุผลเพื่อสร้างการสาธิต

Auto-CoT ประกอบด้วยสองขั้นตอนหลัก:

• ขั้นที่ 1): question clustering การจัดกลุ่มคำถาม: แบ่งคำถามของชุดข้อมูลที่กำหนดออกเป็น 2-3 กลุ่ม

• ขั้นที่ 2): demonstration sampling การสุ่มตัวอย่างสาธิต: เลือกคำถามที่เป็นตัวแทนจากแต่ละคลัสเตอร์ และสร้างห่วงโซ่การให้เหตุผลโดยใช้ Zero-Shot-CoT พร้อมการวิเคราะห์พฤติกรรมแบบง่าย

การวิเคราะห์พฤติกรรมแบบง่ายอาจมีความยาวของคำถาม (เช่น 60 โทเค็น) และจำนวนขั้นตอนในการให้เหตุผล (เช่น 5 ขั้นตอนการใช้เหตุผล) สิ่งนี้สนับสนุนให้โมเดลใช้การสาธิตที่ง่ายและแม่นยำ

กระบวนการนี้แสดงไว้ด้านล่าง:

แหล่งที่มาของภาพ: Zhang และคณะ (2022)

รหัสสำหรับ Auto-CoT มีอยู่ที่นี่