用o1-mini跑供應鏈預測：我們省了62%推理成本，但踩了2個致命的坑

上個月黑五我們團隊差點掛了。
之前一直用大模型跑北美地區的倉配需求預測，峰值期連續3天有超過18%的請求直接返回429，運營端的備貨計劃亂到有3個州的暢銷品晚發了48小時。
換模型的需求當時直接標了P0，我們花了7天測了4個備選，最後留了o1-mini，到現在跑了22天，問題全解決，但也踩了沒人提前說的坑。

先給沒聽過的人說清楚：o1-mini到底是甚麼

就是OpenAI推出的輕量級推理模型，專門優化了邏輯類、計算類任務的處理速度，基礎推理能力和主力大模型差8%以內，單token成本只有主力模型的1/7。
我們一開始就是衝著這個成本差去的，畢竟我們的預測任務一次要餵進去3000多token的歷史訂單、天氣、節假日數據，每天要跑近2萬次。

最直觀的3個收益，我們實打實拿到了

• 首先是限流問題徹底沒了：o1-mini的單賬號限流閾值是我們之前用的模型的12倍，黑五當天峰值跑滿也沒出現過一次429，運營端的計劃輸出零延遲。
• 成本砍了一大截：根據我們後台的賬單數據，跑同樣的預測任務，單月推理成本從1.2萬美元降到了4500美元，省下來的錢我們直接加了3個倉的實時數據點位。
• 速度快到可以做實時調整：之前的模型跑一次預測要等20多秒，現在多數請求在15ms內完成，我們現在已經改成每2小時更新一次預測數據，而不是之前的一天一次，缺貨率直接掉了4個百分點。

但有兩個坑，我們踩的時候差點直接回滾

第一個坑是它對非結構化數據的處理能力差得離譜。
我們之前的輸入裡會混一部分用戶在社交平台的討論關鍵詞，用來做需求波動的參考，結果o1-mini直接把這些內容當成了無效信息，前3天跑出來的預測數據比實際需求低了20%，還好我們有交叉校驗的機制，沒真的用去備貨。
最後我們只能單獨跑一個小的文本分析模型先處理這部分數據，轉成結構化的分值再餵給o1-mini，才解決問題。

第二個坑是它的多語言處理有隱形偏差。
我們加拿大區的預測里有法語的地名和商品名，o1-mini默認會把部分法語的品類映射成英語的近似品類，導致魁北克地區的滑雪裝備預測值直接少了一半，後來我們在prompt里加了強制保留原語言標識的規則才修好，這個問題官方文檔里半字沒提。

誰該用誰不該用，我們幫你划好線了

如果你和我們一樣，做的是邏輯推理、數值計算、規則類決策的任務，輸入以結構化數據為主，對成本和併發要求高，那o1-mini基本是閉眼入的水平。
但如果你要做的是內容生成、多模態理解、複雜多語言處理，那別碰，它出來的結果能給你搞出一堆意料之外的錯誤，排查成本比你省的錢還多。

給第一次上手的人2個具體建議

第一，上線前一定要跑至少7天的平行校驗，不要直接切流量。
我們一開始想省事兒只跑了3天，剛好沒碰上法語輸入的場景，差點出大問題，7天的週期基本能覆蓋你業務里大部分的邊緣場景。

第二，不要亂改它的溫度參數。
我們一開始想讓結果更靈活，把溫度調到了0.7，結果出來的預測數據波動大到沒法用，後來調回官方推薦的0.1-0.3區間才穩定，它的定位就是做確定性的推理任務，要創造性你不如直接用大模型。

最後說個大家常問的：要不要等下一個版本？
至少在供應鏈預測這個場景里，現在的o1-mini已經夠用了，我們算過，哪怕下一代版本再便宜20%，也抵不上你現在省下來的人力和故障成本，早用早賺。