LLM Settings

ต้นฉบับ : LLM Settings

เมื่อออกแบบและทดสอบข้อความแจ้ง คุณมักจะโต้ตอบกับ LLM ผ่าน API คุณสามารถกําหนดค่าพารามิเตอร์สองสามตัวเพื่อให้ได้ผลลัพธ์ที่แตกต่างกันสําหรับข้อความแจ้งของคุณ การปรับแต่งการตั้งค่าเหล่านี้มีความสําคัญต่อการปรับปรุงความน่าเชื่อถือและความต้องการการตอบสนอง และต้องใช้เวลาทดลองเล็กน้อยเพื่อหาการตั้งค่าที่เหมาะสมสําหรับกรณีการใช้งานของคุณ ด้านล่างนี้คือการตั้งค่าทั่วไปที่คุณจะพบเมื่อใช้ผู้ให้บริการ LLM ที่แตกต่างกัน:

Temperature อุณหภูมิ - กล่าวโดยย่อ ยิ่ง temperature เท่าใด ผลลัพธ์ก็จะยิ่งเป็นตัวกําหนดมากขึ้นในแง่ที่ว่าโทเค็นถัดไปที่น่าจะเป็นไปได้สูงสุดจะถูกเลือกเสมอ อุณหภูมิที่เพิ่มขึ้นอาจนําไปสู่การสุ่มมากขึ้น ซึ่งส่งเสริมผลลัพธ์ที่หลากหลายหรือสร้างสรรค์มากขึ้น คุณกําลังเพิ่มน้ําหนักของโทเค็นอื่น ๆ ที่เป็นไปได้เป็นหลัก ในแง่ของการใช้งาน คุณอาจต้องการใช้ค่าอุณหภูมิที่ต่ํากว่าสําหรับงานต่างๆ เช่น QA ตามข้อเท็จจริงเพื่อส่งเสริมการตอบสนองที่เป็นข้อเท็จจริงและรัดกุมมากขึ้น สําหรับการสร้างบทกวีหรืองานสร้างสรรค์อื่นๆ การเพิ่มค่าอุณหภูมิอาจเป็นประโยชน์

Top P - เทคนิคการสุ่มตัวอย่างด้วยอุณหภูมิที่เรียกว่าการสุ่มตัวอย่างนิวเคลียสซึ่งคุณสามารถควบคุมวิธีการกําหนดแบบจําลองได้ หากคุณกําลังมองหาคําตอบที่แน่นอนและเป็นข้อเท็จจริง หากคุณกําลังมองหาคําตอบที่หลากหลายมากขึ้น ให้เพิ่มมูลค่าที่สูงขึ้น หากคุณใช้ Top P หมายความว่าเฉพาะโทเค็นที่ประกอบด้วยมวลความน่าจะเป็น top_p เท่านั้นที่ได้รับการพิจารณาสําหรับการตอบสนองดังนั้นค่า top_p ต่ําจะเลือกคําตอบที่มั่นใจที่สุด ซึ่งหมายความว่าค่า top_p ที่สูงจะช่วยให้แบบจําลองสามารถดูคําที่เป็นไปได้มากขึ้น รวมถึงคําที่มีโอกาสน้อย ซึ่งนําไปสู่ผลลัพธ์ที่หลากหลายมากขึ้น

Max Length ความยาวสูงสุด - คุณสามารถจัดการจํานวนโทเค็นที่โมเดลสร้างขึ้นได้โดยการปรับ max length การระบุความยาวสูงสุดช่วยป้องกันการตอบสนองที่ยาวนานหรือไม่เกี่ยวข้องและควบคุมค่าใช้จ่าย

Stop Sequences ลําดับการหยุด - stop sequence คือสตริงที่หยุดโมเดลจากการสร้างโทเค็น การระบุลําดับการหยุดเป็นอีกวิธีหนึ่งในการควบคุมความยาวและโครงสร้างของการตอบสนองของแบบจําลอง ตัวอย่างเช่น คุณสามารถบอกให้โมเดลสร้างรายการที่มีรายการไม่เกิน 10 รายการโดยเพิ่ม "11" เป็นลําดับการหยุด

Frequency Penalty การลงโทษความถี่ - frequency penalty จะใช้บทลงโทษกับโทเค็นถัดไปตามสัดส่วนของจํานวนครั้งที่โทเค็นนั้นปรากฏในการตอบกลับและข้อความแจ้ง ยิ่งโทษความถี่สูงเท่าใด โอกาสที่คําจะปรากฏอีกครั้งก็จะยิ่งน้อยลงเท่านั้น การตั้งค่านี้ช่วยลดการซ้ําของคําในการตอบสนองของโมเดลโดยให้โทเค็นที่ปรากฏมีโทษสูงกว่า

Presence Penalty บทลงโทษการแสดงตน - presence penalty ยังใช้บทลงโทษสําหรับโทเค็นที่ทําซ้ํา แต่แตกต่างจากการลงโทษความถี่ บทลงโทษจะเหมือนกันสําหรับโทเค็นที่ทําซ้ําทั้งหมด โทเค็นที่ปรากฏสองครั้งและโทเค็นที่ปรากฏ 10 ครั้งจะถูกลงโทษเหมือนกัน การตั้งค่านี้จะป้องกันไม่ให้โมเดลพูดวลีซ้ําบ่อยเกินไปในการตอบสนอง หากคุณต้องการให้โมเดลสร้างข้อความที่หลากหลายหรือสร้างสรรค์คุณอาจต้องการใช้บทลงโทษการแสดงตนที่สูงขึ้น หรือหากคุณต้องการให้โมเดลมีสมาธิ ให้ลองใช้บทลงโทษการแสดงตนที่ต่ํากว่า

เช่นเดียวกับ temperature และ top_p คําแนะนําทั่วไปคือการเปลี่ยนความถี่หรือการลงโทษการแสดงตน แต่ไม่ใช่ทั้งสองอย่าง

ก่อนที่จะเริ่มต้นด้วยตัวอย่างพื้นฐานโปรดทราบว่าผลลัพธ์ของคุณอาจแตกต่างกันไปขึ้นอยู่กับเวอร์ชันของ LLM ที่คุณใช้