Few-Shot Prompting

ต้นฉบับ : Few-Shot Prompting

แม้ว่าโมเดลที่ใช้ภาษาขนาดใหญ่จะแสดงให้เห็นถึงความสามารถในการถ่ายภาพเป็นศูนย์ที่น่าทึ่ง แต่ก็ยังขาดงานที่ซับซ้อนมากขึ้นเมื่อใช้การตั้งค่าภาพเป็นศูนย์ การแจ้งเตือนแบบไม่กี่ช็อตสามารถใช้เป็นเทคนิคในการเปิดใช้งานการเรียนรู้ในบริบท โดยที่เราจัดให้มีการสาธิตในการแจ้งเตือนเพื่อกำหนดทิศทางแบบจำลองให้มีประสิทธิภาพดีขึ้น การสาธิตทำหน้าที่เป็นเงื่อนไขสำหรับตัวอย่างต่อมาซึ่งเราต้องการให้แบบจำลองสร้างการตอบสนอง

ตามที่ Touvron และคณะ 2023 คุณสมบัติช็อตบางอย่างปรากฏขึ้นครั้งแรกเมื่อมีการปรับขนาดแบบจำลองให้มีขนาดเพียงพอ (Kaplan et al., 2020)

มาสาธิตการกระตุ้นเตือนสั้นๆ ผ่านตัวอย่างที่นำเสนอใน Brown และคณะ 2020

ในตัวอย่าง ภารกิจคือการใช้คำใหม่ในประโยคอย่างถูกต้อง

Prompt: 

A "whatpu" is a small, furry animal native to Tanzania. An example of a sentence that uses the word whatpu is:

We were traveling in Africa and we saw these very cute whatpus.

To do a "farduddle" means to jump up and down really fast. An example of a sentence that uses the word farduddle is:

Output:

When we won the game, we all started to farduddle in celebration.

เราจะสังเกตได้ว่าโมเดลได้เรียนรู้วิธีการปฏิบัติงานโดยให้ตัวอย่างเพียงตัวอย่างเดียว (เช่น 1 ช็อต) สำหรับงานที่ยากขึ้น เราสามารถทดลองโดยเพิ่มการสาธิต (เช่น 3 นัด 5 นัด 10 นัด ฯลฯ)

ตามการค้นพบของ Min และคณะ (2022)

ต่อไปนี้เป็นเคล็ดลับเพิ่มเติมบางประการเกี่ยวกับการสาธิต/ตัวอย่างเมื่อทำการถ่ายภาพไม่กี่ครั้ง:

• "พื้นที่ป้ายกำกับและการกระจายข้อความอินพุตที่ระบุโดยการสาธิตมีความสำคัญทั้งคู่ (ไม่ว่าป้ายกำกับจะถูกต้องสำหรับอินพุตแต่ละรายการหรือไม่ก็ตาม)" 

• รูปแบบที่คุณใช้ยังมีบทบาทสำคัญในประสิทธิภาพ แม้ว่าคุณจะใช้ป้ายกำกับแบบสุ่ม แต่ก็ดีกว่าไม่มีป้ายกำกับเลย

• ผลลัพธ์เพิ่มเติมแสดงให้เห็นว่าการเลือกป้ายกำกับแบบสุ่มจากการกระจายฉลากที่แท้จริง (แทนที่จะกระจายแบบสม่ำเสมอ) ก็ช่วยได้เช่นกัน

เรามาลองดูตัวอย่างกัน ก่อนอื่นเรามาลองตัวอย่างโดยใช้ป้ายกำกับแบบสุ่ม (หมายถึงป้ายกำกับเชิงลบและบวกถูกกำหนดให้กับอินพุตแบบสุ่ม):

Prompt:

This is awesome! // Negative

This is bad! // Positive

Wow that movie was rad! // Positive

What a horrible show! //

Output:

Negative

เรายังคงได้คำตอบที่ถูกต้อง แม้ว่าฉลากจะถูกสุ่มก็ตาม โปรดทราบว่าเรายังเก็บรูปแบบไว้ซึ่งช่วยได้เช่นกัน ในความเป็นจริง จากการทดลองเพิ่มเติม ดูเหมือนว่าโมเดล GPT ใหม่ๆ ที่เรากำลังทดลองจะมีความแข็งแกร่งมากขึ้นแม้กระทั่งกับรูปแบบแบบสุ่ม ตัวอย่าง:

Prompt:

Positive This is awesome! 

This is bad! Negative

Wow that movie was rad!

Positive

What a horrible show! --

Output:

Negative

รูปแบบด้านบนไม่สอดคล้องกัน แต่แบบจำลองยังคงคาดการณ์ป้ายกำกับที่ถูกต้อง เราต้องทำการวิเคราะห์อย่างละเอียดมากขึ้นเพื่อยืนยันว่าสิ่งนี้ใช้ได้กับงานที่แตกต่างกันและซับซ้อนกว่าหรือไม่ รวมถึงการแจ้งเตือนในรูปแบบต่างๆ

Limitations of Few-shot Prompting ข้อจำกัดของ Few-shot Prompting

การแจ้งแบบไม่กี่ช็อตแบบมาตรฐานทำงานได้ดีกับหลายๆ งาน แต่ก็ยังไม่ใช่เทคนิคที่สมบูรณ์แบบ โดยเฉพาะอย่างยิ่งเมื่อต้องรับมือกับงานการให้เหตุผลที่ซับซ้อนมากขึ้น มาสาธิตกันว่าทำไมถึงเป็นเช่นนี้ คุณจำตัวอย่างก่อนหน้านี้ที่เราจัดเตรียมงานต่อไปนี้ได้ไหม:

The odd numbers in this group add up to an even number: 15, 32, 5, 13, 82, 7, 1. 

A: 

หากเราลองอีกครั้ง โมเดลจะแสดงผลดังต่อไปนี้:

Yes, the odd numbers in this group add up to 107, which is an even number.

นี่ไม่ใช่การตอบสนองที่ถูกต้อง ซึ่งไม่เพียงแต่เน้นถึงข้อจำกัดของระบบเหล่านี้เท่านั้น แต่ยังจำเป็นต้องมีวิศวกรรมขั้นสูงขั้นสูงอีกด้วย

ลองเพิ่มตัวอย่างเพื่อดูว่าการพร้อมท์เพียงไม่กี่ช็อตช่วยปรับปรุงผลลัพธ์หรือไม่

Prompt:

The odd numbers in this group add up to an even number: 4, 8, 9, 15, 12, 2, 1.

A: The answer is False.

The odd numbers in this group add up to an even number: 17,  10, 19, 4, 8, 12, 24.

A: The answer is True.

The odd numbers in this group add up to an even number: 16,  11, 14, 4, 8, 13, 24.

A: The answer is True.

The odd numbers in this group add up to an even number: 17,  9, 10, 12, 13, 4, 2.

A: The answer is False.

The odd numbers in this group add up to an even number: 15, 32, 5, 13, 82, 7, 1. 

A: 

Output:

The answer is True.

นั่นไม่ได้ผล ดูเหมือนว่าการแจ้งเพียงไม่กี่ขั้นตอนจะไม่เพียงพอที่จะรับคำตอบที่เชื่อถือได้สำหรับปัญหาการให้เหตุผลประเภทนี้ ตัวอย่างข้างต้นให้ข้อมูลพื้นฐานเกี่ยวกับงาน หากคุณพิจารณาให้ละเอียดยิ่งขึ้น ประเภทของงานที่เรานำเสนอเกี่ยวข้องกับขั้นตอนการให้เหตุผลเพิ่มเติมสองสามขั้นตอน กล่าวอีกนัยหนึ่ง อาจช่วยได้หากเราแบ่งปัญหาออกเป็นขั้นตอนและสาธิตให้โมเดลเห็น ล่าสุด ห่วงโซ่แห่งความคิด (CoT) กระตุ้นให้เกิด

ได้รับความนิยมเพื่อจัดการกับงานทางคณิตศาสตร์ สามัญสำนึก และการใช้เหตุผลเชิงสัญลักษณ์ที่ซับซ้อนมากขึ้น

โดยรวมแล้วดูเหมือนว่าการให้ตัวอย่างจะมีประโยชน์ในการแก้ปัญหาบางอย่าง เมื่อการแจ้งเตือนแบบ Zero-shot และการแจ้งเตือนแบบไม่กี่ช็อตไม่เพียงพอ อาจหมายความว่าอะไรก็ตามที่โมเดลได้เรียนรู้นั้นไม่เพียงพอที่จะทำงานได้ดี จากที่นี่ ขอแนะนำให้เริ่มคิดถึงการปรับแต่งโมเดลของคุณอย่างละเอียด หรือทดลองใช้เทคนิคการแจ้งเตือนขั้นสูงเพิ่มเติม ต่อไปเราจะพูดถึงเทคนิคการกระตุ้นเตือนยอดนิยมอย่างหนึ่งที่เรียกว่าการกระตุ้นเตือนแบบลูกโซ่ซึ่งได้รับความนิยมอย่างมาก