ใช้ o1-mini ในการทำการพยากรณ์ห่วงโซ่อุปทาน: เราประหยัดค่าใช้จ่ายในการคำนวณได้ 62%, แต่ก็พลาดข้อผิดพลาดที่ร้ายแรงไป 2 ข้อ

เดือนที่แล้ว ในช่วงวัน Black Friday เราทีมเกือบจะล้มเหลวเลย
การคาดการณ์ความต้องการจัดจําหน่ายคลังสินค้าในอเมริกาเหนือได้รับการใช้แบบจําลองขนาดใหญ่ก่อนหน้านี้ มากกว่า 18% ของคําขอส่งกลับ 429 โดยตรงเป็นเวลา 3 วันติดต่อกันในช่วงระยะเวลาสูงสุด แผนการจัดเก็บสินค้าในตอนท้ายของการดําเนินงานมีความวุ่นวายจนสินค้าขายดีที่สุดใน 3 รัฐถูกส่งล่าช้า 48 ชั่วโมง
ความต้องการในการเปลี่ยนโมเดลนั้นถูกระบุไว้เป็น P0 ตั้งแต่แรก เราใช้เวลา 7 วันในการทดสอบโมเดลที่เตรียมไว้ 4 ตัว และสุดท้ายเราเลือกใช้ o1-mini ตั้งแต่นั้นมามันทำงานมาแล้ว 22 วัน ปัญหาทั้งหมดก็ได้รับการแก้ไขแล้ว แต่เราก็เจอกับปัญหาบางอย่างที่ไม่มีใครบอกล่วงหน้า

สำหรับคนที่ยังไม่เคยได้ยินมาก่อน ขออธิบายให้ชัดเจนนะครับ: o1-mini คืออะไรกันแน่

นี่คือโมเดลการอนุมานแบบเบา (lightweight inference model) ที่ OpenAI พัฒนาขึ้นมา ซึ่งได้รับการปรับแต่งเฉพาะเพื่อเพิ่มความเร็วในการประมวลผลงานที่เกี่ยวข้องกับตรรกะและการคำนวณความสามารถในการใช้เหตุผลเบื้องต้นต่างจากโมเดลขนาดใหญ่หลักไม่เกิน 8% และต้นทุนต่อโทเค็นเพียง 1/7 ของโมเดลขนาดใหญ่หลักเท่านั้น。
เราเริ่มต้นด้วยการมุ่งเน้นไปที่ความแตกต่างของต้นทุนนี้ เพราะในท้ายที่สุดแล้ว งานทำนายของเราต้องใช้ข้อมูลประวัติการสั่งซื้อมากกว่า 3,000 โทเค็น รวมถึงข้อมูลอากาศและวันหยุดต่างๆ ในแต่ละครั้ง และต้องทำการประมวลผลข้อมูลเหล่านี้เกือบ 20,000 ครั้งต่อวัน

3 ประโยชน์ที่เห็นได้ชัดเจนที่สุด เราได้รับมาจริงๆ

• ประการแรกคือปัญหาเรื่องการจำกัดการใช้งาน (throttling) หมดไปโดยสิ้นเชิง: ค่าเกณฑ์การจำกัดการใช้งานสำหรับบัญชีเดียวของ o1-mini นั้นสูงกว่า 12 เท่าของโมเดลที่เราใช้ก่อนหน้านี้ และในวัน Black Friday แม้ว่าจะมีการใช้งานสูงสุด ก็ไม่เคยเกิดปัญหา “429” เลย และข้อมูลที่ส่งออกจากฝั่งการดำเนินการก็ไม่มีความล่าช้าเลย
• ต้นทุนลดลงอย่างมาก: ตามข้อมูลใบแจ้งหนี้จากฝั่งเรา การทำงานที่เป็นการทำนายเดียวกันนั้นค่าใช้จ่ายในการคิดเชิงตรรกะต่อเดือนลดลงจาก 12,000 ดอลลาร์สหรัฐฯ เหลือ 4,500 ดอลลาร์สหรัฐฯเงินที่ประหยัดได้ เรานำไปเพิ่มจุดข้อมูลแบบเรียลไทม์ให้กับโกดัง (warehouse) อีก 3 แห่งเลย
• เร็วพอที่จะทําการปรับเปลี่ยนแบบเรียลไทม์: รูปแบบก่อนหน้านี้ใช้เวลามากกว่า 20 วินาทีในการคาดการณ์ แต่ตอนนี้คําขอส่วนใหญ่จะเสร็จสมบูรณ์ภายใน 15 ms ตอนนี้เราได้เปลี่ยนเป็นอัปเดตข้อมูลการคาดการณ์ทุก 2 ชั่วโมงแทนที่จะเป็นวันก่อนหน้านี้อัตราการขาดสต็อกลดลง 4 จุดโดยตรง

แต่มีปัญหาสองอย่าง ตอนที่เราเผชิญกับปัญหาเหล่านั้น เราเกือบจะต้องย้อนกลับไปใช้เวอร์ชันก่อนหน้าเลย

ปัญหาแรกคือความสามารถในการจัดการกับข้อมูลที่ไม่มีโครงสร้างของมันแย่มาก
การป้อนข้อมูลก่อนหน้านี้ของเราจะผสมคําหลักการอภิปรายของผู้ใช้บางส่วนในแพลตฟอร์มสังคมออนไลน์เพื่ออ้างอิงถึงความผันผวนของความต้องการ เป็นผลให้ o1-mini ถือเนื้อหาเหล่านี้โดยตรงว่าเป็นข้อมูลที่ไม่ถูกต้อง ข้อมูลการคาดการณ์ที่ออกใน 3 วันแรกต่ํากว่าความต้องการที่เกิดขึ้นจริง 20% โชคดีที่เรามีกลไกการตรวจสอบข้ามไม่ได้ใช้จริงๆ ในการจัดเตรียมสินค้า
สุดท้ายเราก็ต้องรันโมเดลการวิเคราะห์ข้อความขนาดเล็กแยกต่างหากเพื่อประมวลผลข้อมูลส่วนนี้ก่อน จากนั้นจึงแปลงข้อมูลเป็นคะแนนที่มีโครงสร้างชัดเจนและส่งไปยัง o1-mini เพื่อแก้ไขปัญหา

ข้อผิดพลาดประการที่สองคือการจัดการภาษาหลายภาษาของมันมีความเอนเอียงที่ซ่อนอยู่
การคาดการณ์ของเราในแคนาดามีชื่อสถานที่และชื่อการค้าในภาษาฝรั่งเศส o1-mini จะทําแผนที่หมวดหมู่ภาษาฝรั่งเศสบางส่วนเป็นหมวดหมู่ภาษาอังกฤษโดยประมาณโดยเริ่มต้นส่งผลให้การคาดการณ์ของอุปกรณ์สกีในควิเบกลดลงครึ่งหนึ่งโดยตรง ต่อมาเราเพิ่มกฎบังคับให้เก็บโลโก้ภาษาเดิมไว้ในพร็อปต์เพื่อแก้ไขปัญหานี้ไม่ได้กล่าวถึงในเอกสารอย่างเป็นทางการ

ใครควรใช้และใครไม่ควรใช้ เราได้ช่วยคุณแบ่งแยกไว้ให้แล้ว

ถ้าคุณทำเช่นเดียวกับเรา…การอนุมานเชิงตรรกะ การคำนวณเลข การตัดสินใจตามกฎเกณฑ์หากคุณมีงานที่ต้องการการประมวลผลข้อมูลที่มีความซับซ้อน มีข้อกำหนดด้านต้นทุนสูง และต้องการการทำงานพร้อมกัน (concurrency) ในระดับสูง โปรแกรม o1-mini ถือว่าเป็นตัวเลือกที่เหมาะสมอย่างยิ่ง
แต่ถ้าสิ่งที่คุณต้องการทำคือการสร้างเนื้อหา การเข้าใจข้อมูลแบบหลายรูปแบบ หรือการประมวลผลข้อมูลหลายภาษาที่ซับซ้อน ก็อย่าไปยุ่งกับมันเลย เพราะผลลัพธ์ที่ได้อาจทำให้คุณเจอปัญหาที่คาดไม่ถึงมากมาย และค่าใช้จ่ายในการแก้ไขปัญหานั้นอาจจะมากกว่าเงินที่คุณประหยัดได้เสียอีก

2 ข้อแนะนำสำหรับผู้ที่เริ่มต้นใช้งานเป็นครั้งแรก

ข้อแรก ก่อนที่จะเปิดให้บริการจริง คุณต้องทำการตรวจสอบความถูกต้องของระบบแบบแบ่งช่วงเวลา (parallel verification) เป็นเวลาอย่างน้อย 7 วัน และไม่ควรเปลี่ยนไปใช้งานจริงทันที
เราเริ่มต้นด้วยการพยายามทำให้ทุกอย่างง่ายขึ้นด้วยการทดลองใช้งานเพียง 3 วันเท่านั้น และโชคดีที่ไม่ได้เจอกับสถานการณ์ที่ต้องใช้ภาษาฝรั่งเศส ไม่อย่างนั้นคงจะมีปัญหาใหญ่แน่นอน วงจรการทดลองใช้งานที่มีระยะเวลา 7 วันนี้สามารถครอบคลุมสถานการณ์ขอบเขตส่วนใหญ่ในธุรกิจของคุณได้เลย

ที่สอง อย่าไปเปลี่ยนแปลงพารามิเตอร์อุณหภูมิของมันโดยไม่จำเป็น
ในตอนแรกเราต้องการที่จะทําให้ผลลัพธ์มีความยืดหยุ่นมากขึ้นปรับอุณหภูมิเป็น 0.7 ผลลัพธ์ที่ได้คือข้อมูลการคาดการณ์ที่มีความผันผวนมากจนไม่สามารถใช้งานได้ ต่อมาเราปรับกลับไปที่ช่วง 0.1-0.3 ที่แนะนําอย่างเป็นทางการเพื่อให้มีเสถียรภาพ ตําแหน่งของมันคือการทํางานการให้เหตุผลที่แน่นอน หากต้องการความคิดสร้างสรรค์คุณควรใช้แบบจําลองขนาดใหญ่โดยตรง

สุดท้ายนี้ ขอตอบคำถามที่หลายคนมักจะถามกันว่า: “ควรรอฉบับถัดไปหรือไม่?”
อย่างน้อยในสถานการณ์การพยากรณ์ห่วงโซ่อุปทาน โมเดล o1-mini ที่มีอยู่ในปัจจุบันก็เพียงพอแล้ว เราได้คำนวณแล้วว่า แม้ว่าเวอร์ชันถัดไปจะมีราคาถูกลงอีก 20% ก็ยังไม่สามารถชดเชยต้นทุนด้านแรงงานและค่าใช้จ่ายในการแก้ไขข้อบกพร่องที่เราประหยัดได้ ยิ่งใช้เร็วเท่าไหร่ เราก็ยิ่งได้กำไรเร็วเท่านั้น