用o1-mini跑供应链预测：我们省了62%推理成本，但踩了2个致命的坑

上个月黑五我们团队差点挂了。
之前一直用大模型跑北美地区的仓配需求预测，峰值期连续3天有超过18%的请求直接返回429，运营端的备货计划乱到有3个州的畅销品晚发了48小时。
换模型的需求当时直接标了P0，我们花了7天测了4个备选，最后留了o1-mini，到现在跑了22天，问题全解决，但也踩了没人提前说的坑。

先给没听过的人说清楚：o1-mini到底是什么

就是OpenAI推出的轻量级推理模型，专门优化了逻辑类、计算类任务的处理速度，基础推理能力和主力大模型差8%以内，单token成本只有主力模型的1/7。
我们一开始就是冲着这个成本差去的，毕竟我们的预测任务一次要喂进去3000多token的历史订单、天气、节假日数据，每天要跑近2万次。

最直观的3个收益，我们实打实拿到了

• 首先是限流问题彻底没了：o1-mini的单账号限流阈值是我们之前用的模型的12倍，黑五当天峰值跑满也没出现过一次429，运营端的计划输出零延迟。
• 成本砍了一大截：根据我们后台的账单数据，跑同样的预测任务，单月推理成本从1.2万美元降到了4500美元，省下来的钱我们直接加了3个仓的实时数据点位。
• 速度快到可以做实时调整：之前的模型跑一次预测要等20多秒，现在多数请求在15ms内完成，我们现在已经改成每2小时更新一次预测数据，而不是之前的一天一次，缺货率直接掉了4个百分点。

但有两个坑，我们踩的时候差点直接回滚

第一个坑是它对非结构化数据的处理能力差得离谱。
我们之前的输入里会混一部分用户在社交平台的讨论关键词，用来做需求波动的参考，结果o1-mini直接把这些内容当成了无效信息，前3天跑出来的预测数据比实际需求低了20%，还好我们有交叉校验的机制，没真的用去备货。
最后我们只能单独跑一个小的文本分析模型先处理这部分数据，转成结构化的分值再喂给o1-mini，才解决问题。

第二个坑是它的多语言处理有隐形偏差。
我们加拿大区的预测里有法语的地名和商品名，o1-mini默认会把部分法语的品类映射成英语的近似品类，导致魁北克地区的滑雪装备预测值直接少了一半，后来我们在prompt里加了强制保留原语言标识的规则才修好，这个问题官方文档里半字没提。

谁该用谁不该用，我们帮你划好线了

如果你和我们一样，做的是逻辑推理、数值计算、规则类决策的任务，输入以结构化数据为主，对成本和并发要求高，那o1-mini基本是闭眼入的水平。
但如果你要做的是内容生成、多模态理解、复杂多语言处理，那别碰，它出来的结果能给你搞出一堆意料之外的错误，排查成本比你省的钱还多。

给第一次上手的人2个具体建议

第一，上线前一定要跑至少7天的平行校验，不要直接切流量。
我们一开始想省事儿只跑了3天，刚好没碰上法语输入的场景，差点出大问题，7天的周期基本能覆盖你业务里大部分的边缘场景。

第二，不要乱改它的温度参数。
我们一开始想让结果更灵活，把温度调到了0.7，结果出来的预测数据波动大到没法用，后来调回官方推荐的0.1-0.3区间才稳定，它的定位就是做确定性的推理任务，要创造性你不如直接用大模型。

最后说个大家常问的：要不要等下一个版本？
至少在供应链预测这个场景里，现在的o1-mini已经够用了，我们算过，哪怕下一代版本再便宜20%，也抵不上你现在省下来的人力和故障成本，早用早赚。