Gunakan o1-mini untuk melakukan prediksi rantai pasokan: Kami menghemat 62% dari biaya penalaran, tetapi kami menemukan 2 kesalahan fatal.

Bulan lalu, saat Black Friday, tim kami hampir saja mengalami kegagalan.
Bulan lalu, saat Black Friday, tim kami hampir saja mengalami kegagalan. Sebelumnya, kami menggunakan model besar untuk memprediksi kebutuhan distribusi di wilayah Amerika Utara, dan selama periode puncak, lebih dari 18% permintaan langsung mendapatkan kode kesalahan “429”. Akibatnya, rencana persediaan di bagian operasional menjadi kacau, sehingga produk terlaris di tiga negara terlambat dikirim selama 48 jam.
Permintaan untuk mengubah model langsung ditandai P0 pada saat itu. Kami menghabiskan 7 hari untuk menguji 4 alternatif, dan akhirnya meninggalkan o1-mini. Sekarang telah berjalan selama 22 hari. Masalahnya telah diselesaikan, tetapi juga menginjak lubang yang tidak ada yang mengatakan sebelumnya.

Pada saat itu, kebutuhan untuk mengganti model langsung ditandai dengan kode P0. Kami menghabiskan 7 hari untuk menguji 4 opsi alternatif, dan akhirnya memilih o1-mini. Model tersebut telah berjalan selama 22 hari sekarang, dan semua masalah telah teratasi. Namun, kami juga menemukan beberapa kendala yang sebenarnya tidak disebutkan sebelumnya oleh siapa pun. Untuk yang belum pernah mendengarnya: Apa sebenarnya o1-mini itu?

Untuk yang belum tahu, o1-mini sebenarnya adalah model inferensi ringan yang dikembangkan oleh OpenAI, yang dirancang khusus untuk meningkatkan kecepatan pemrosesan tugas-tugas yang berkaitan dengan logika dan perhitungan.Ini adalah model inferensi ringan yang diperkenalkan oleh OpenAI, yang khusus dioptimalkan untuk meningkatkan kecepatan pemrosesan tugas-tugas logis dan komputasi. Kemampuan inferensi dasarnya hanya berbeda sekitar 8% dari model besar utama, dan biaya per token-nya hanya 1/7 dari model besar utama tersebut.。
Kami awalnya fokus pada perbedaan biaya ini, karena tugas prediksi kami memerlukan lebih dari 3000 token data pesanan historis, informasi cuaca, dan data hari raya untuk dimasukkan setiap kali, serta proses pemrosesan yang dilakukan hampir 20.000 kali setiap hari.

Kami awalnya fokus pada perbedaan biaya ini, karena tugas prediksi kami memerlukan lebih dari 3000 token data pesanan historis, informasi cuaca, dan data hari raya untuk dimasukkan setiap kali, serta proses tersebut dijalankan hampir 20.000 kali setiap hari. Tiga manfaat utama yang paling nyata telah kami peroleh secara langsung.

• Tiga manfaat paling nyata yang benar-benar kita dapatkan adalah: 1. Masalah pembatasan lalu lintas (traffic throttling) telah sepenuhnya teratasi: Ambang batas pembatasan lalu lintas per akun menggunakan model o1-mini adalah 12 kali lebih tinggi daripada model yang kita gunakan sebelumnya, dan selama hari Black Friday, tidak pernah terjadi kasus di mana sistem mengalami error 429 meskipun beban kerja mencapai puncaknya; output dari tim operasional berjalan tanpa ada keterlambatan sama sekali.
• Pertama-tama, masalah pembatasan lalu lintas (throttling) sudah sepenuhnya hilang: ambang batas pembatasan lalu lintas untuk satu akun pada o1-mini adalah 12 kali lipat dari model yang kita gunakan sebelumnya, dan bahkan pada hari Black Friday, ketika puncak aktivitas terjadi, tidak pernah terjadi kesalahan kode 429 (error code 429). Output dari sistem operasional berjalan tanpa ada keterlambatan sama sekali. Biaya juga telah dikurangi secara signifikan: Berdasarkan data tagihan dari sistem kami, untuk menjalankan tugas prediksi yang sama,Biayanya telah dikurangi secara signifikan: Berdasarkan data tagihan dari sistem kami, untuk menjalankan tugas prediksi yang sama, Biaya per bulan untuk proses penalaran telah turun dari 12.000 dolar Amerika menjadi 4.500 dolar AmerikaBiaya penalaran per bulan telah turun dari 12.000 dolar Amerika menjadi 4.500 dolar Amerika. Uang yang dihemat tersebut kami gunakan untuk menambahkan 3 titik data real-time di gudang (warehouse).
• Uang yang dihemat kami langsung digunakan untuk menambahkan 3 titik data real-time di gudang kami. Kecepatannya sangat tinggi sehingga memungkinkan penyesuaian yang dilakukan secara real-time: model sebelumnya membutuhkan waktu lebih dari 20 detik untuk melakukan satu prediksi, sedangkan sekarang sebagian besar permintaan dapat diselesaikan dalam waktu 15 milidetik. Kami telah mengubah frekuensi pembaruan data prediksi dari sekali sehari menjadi sekali setiap 2 jam, dan tingkat kekurangan stok langsung turun sebesar 4 persentase poin.

Kecepatannya sangat tinggi sehingga dapat melakukan penyesuaian secara real-time: Model sebelumnya membutuhkan waktu lebih dari 20 detik untuk melakukan satu prediksi, sedangkan sekarang sebagian besar permintaan diselesaikan dalam waktu 15 milidetik. Kami telah mengubah frekuensi pembaruan data prediksi dari sekali sehari menjadi sekali setiap 2 jam, dan tingkat kekurangan stok langsung turun sebesar 4 persentase poin. Namun, ada dua masalah kecil yang hampir membuat kami harus mengembalikan sistem ke versi sebelumnya.

Pertama-tama, kelemahannya terletak pada kemampuannya yang sangat buruk dalam memproses data tidak terstruktur.
Pertama-tama, masalahnya adalah kemampuan sistem tersebut dalam memproses data tidak terstruktur sangat buruk. Input sebelumnya kami mengandung beberapa kata kunci dari diskusi pengguna di platform sosial media, yang digunakan sebagai referensi untuk perubahan permintaan pasar. Namun, o1-mini menganggap semua konten tersebut sebagai informasi yang tidak valid, sehingga data prediksi yang dihasilkan selama 3 hari pertama ternyata 20% lebih rendah dari permintaan yang sebenarnya. Untungnya, kami memiliki mekanisme verifikasi silang, sehingga tidak benar-benar menggunakan data tersebut untuk proses pengadaan barang.
Kami sebelumnya memasukkan beberapa kata kunci dari diskusi pengguna di platform sosial ke dalam data masukan kami sebagai referensi untuk perubahan permintaan pasar. Namun, sistem o1-mini menganggap informasi tersebut sebagai tidak valid, sehingga data prediksi yang dihasilkan selama 3 hari terakhir berbeda 20% dari permintaan aktual. Untungnya, kami memiliki mekanisme verifikasi silang, sehingga tidak benar-benar menggunakan data tersebut untuk proses pengadaan barang. Akhirnya, kami harus menjalankan model analisis teks yang sederhana secara terpisah untuk memproses data tersebut terlebih dahulu, mengubahnya menjadi skor yang terstruktur, lalu memberikannya ke o1-mini, agar masalah dapat teratasi.

Pada akhirnya, kita hanya bisa menjalankan model analisis teks yang sederhana secara terpisah untuk memproses bagian data ini terlebih dahulu, mengubahnya menjadi skor yang terstruktur, lalu memberikannya ke o1-mini agar masalah dapat teratasi. Kesalahan kedua adalah adanya bias yang tidak terlihat dalam pengolahan berbagai bahasa oleh sistem tersebut.
Kesalahan kedua adalah adanya bias yang tidak terlihat dalam penanganan berbagai bahasa oleh sistem tersebut. Dalam prediksi untuk wilayah Kanada kami, terdapat nama tempat dan nama produk dalam bahasa Prancis. Secara default, fitur o1-mini akan mengubah beberapa kategori yang berbahasa Prancis menjadi kategori yang setara dalam bahasa Inggris, sehingga nilai prediksi untuk peralatan ski di wilayah Quebec berkurang hingga setengahnya. Kami baru berhasil memperbaiki masalah ini setelah menambahkan aturan untuk memastikan penjagaan identitas bahasa asli dalam prompt. Sayangnya, dokumen resmi tidak menyebutkan hal ini sama sekali.

Dalam prediksi untuk wilayah Kanada kami, terdapat nama tempat dan nama produk dalam bahasa Prancis. O1-mini secara default akan mengonversi beberapa kategori dalam bahasa Prancis menjadi kategori yang setara dalam bahasa Inggris, sehingga nilai prediksi untuk peralatan ski di wilayah Quebec berkurang hingga setengahnya. Setelah itu, kami menambahkan aturan untuk memastikan bahwa bahasa asli tetap dipertahankan dalam prompt, dan masalah tersebut berhasil diperbaiki. Sayangnya, dokumen resmi tidak menyebutkan hal ini sama sekali. Kami sudah menentukan siapa yang boleh dan tidak boleh menggunakan fitur tersebut untuk Anda.

Siapa yang seharusnya menggunakannya dan siapa yang tidak boleh, kami sudah menentukannya untuk Anda. Jika Anda seperti kami, yang melakukan hal yang sama…Jika Anda seperti kami, yang melakukan pekerjaan seperti penalaran logis, perhitungan numerik, dan pengambilan keputusan berdasarkan aturan,Tugas yang melibatkan penalaran logis, perhitungan numerik, dan pengambilan keputusan berbasis aturan, dengan input yang terutama berbentuk data terstruktur, serta memiliki persyaratan yang tinggi terhadap biaya dan kecepatan eksekusi (konvensi), maka o1-mini pada dasarnya bisa dianggap sebagai solusi yang cocok untuk tugas tersebut.
Jika tugas Anda berfokus pada pemrosesan data yang struktural, dengan persyaratan tinggi terhadap biaya dan kecepatan (konvensi), maka o1-mini bisa dianggap sebagai pilihan yang cukup baik. Namun, jika Anda memerlukan fitur seperti generasi konten, pemahaman multimodal, atau pemrosesan berbahasa yang kompleks, sebaiknya jangan gunakan o1-mini, karena hasilnya bisa penuh dengan kesalahan yang tidak terduga, dan biaya untuk memperbaiki kesalahan tersebut bisa lebih tinggi daripada penghematan yang Anda dapatkan.

Jika Anda ingin melakukan generasi konten, pemahaman multimodal, atau pemrosesan berbahasa yang kompleks, sebaiknya jangan mencobanya. Hasil yang dihasilkan bisa penuh dengan kesalahan yang tidak terduga, dan biaya untuk memperbaikinya bisa lebih mahal daripada uang yang Anda hemat. 2 saran spesifik untuk orang yang pertama kali mencobanya:

Dua saran spesifik untuk orang yang pertama kali melakukannya: Pertama, sebelum meluncurkan produk, pastikan untuk melakukan verifikasi paralel selama minimal 7 hari, dan jangan langsung memindahkan lalu lintas pengguna ke sistem baru.
Pertama, sebelum diluncurkan, pastikan untuk melakukan verifikasi paralel selama minimal 7 hari, jangan langsung memindahkan lalu lintas pengguna (traffic) ke sistem baru. Awalnya kami ingin menghemat waktu dan hanya melakukan verifikasi selama 3 hari, dan untungnya tidak menemui kasus di mana pengguna memasukkan teks dalam bahasa Prancis, sehingga hampir tidak terjadi masalah besar. Siklus verifikasi selama 7 hari pada dasarnya sudah cukup untuk mencakup sebagian besar skenario ekstrem dalam bisnis Anda.

Pada awalnya, kami ingin mempersingkat prosesnya dan hanya melakukan pengujian selama 3 hari, dan untungnya tidak menemui situasi di mana perlu menggunakan input berbahasa Prancis, sehingga hampir tidak terjadi masalah besar. Siklus pengujian selama 7 hari sebenarnya sudah cukup untuk mencakup sebagian besar skenario ekstrem dalam bisnis Anda. Kedua, jangan mengubah parameter suhu-nya secara sembarangan.
Kedua, jangan mengubah parameter suhunya secara sembarangan. Awalnya kami ingin membuat hasilnya lebih fleksibel, jadi kami menyetel suhu menjadi 0.7, tetapi data prediksi yang dihasilkan sangat tidak stabil dan tidak dapat digunakan. Setelah kami kembali menggunakan rentang suhu yang direkomendasikan oleh pihak resmi, yaitu 0.1-0.3, hasilnya menjadi stabil. Fungsi utama alat ini adalah untuk melakukan penalaran yang pasti (deterministic reasoning); jika Anda membutuhkan kreativitas, lebih baik menggunakan model besar saja.

Pada awalnya, kami ingin membuat hasilnya lebih fleksibel dengan menyetel suhu menjadi 0.7, tetapi data prediksi yang dihasilkan sangat tidak stabil dan tidak dapat digunakan. Setelah kami kembali menggunakan rentang suhu yang direkomendasikan oleh pihak resmi, yaitu 0.1-0.3, data menjadi lebih stabil. Fungsi utama alat ini adalah untuk melakukan penalaran yang pasti (deterministic reasoning); jika Anda membutuhkan kreativitas, lebih baik menggunakan model besar saja. Terakhir, ada pertanyaan yang sering diajukan: Apakah kita harus menunggu versi berikutnya?
Terakhir, ada pertanyaan yang sering diajukan: Apakah kita harus menunggu versi berikutnya? Setidaknya dalam skenario prediksi rantai pasokan, o1-mini yang kita gunakan saat ini sudah cukup. Kami telah menghitungnya, dan meskipun versi berikutnya harganya lebih murah 20%, itu tidak akan sebanding dengan penghematan biaya tenaga kerja dan pengurangan masalah yang bisa kita dapatkan sekarang. Semakin cepat kita menggunakannya, semakin cepat kita bisa mendapatkan keuntungan.