Используя инструмент o1-mini для прогнозирования цепочек поставок, мы сэкономили 62% на затратах на расчеты, но столкнулись с двумя фатальными ошибками.

В прошлом месяце, во время акции Black Friday, наша команда чуть не потерпела крах.
Ранее для прогнозирования потребностей в складском обслуживании в Северной Америке использовались большие модели. В период пиковой нагрузки более 18% запросов в течение трех дней возвращали ошибку 429, что привело к хаосу в планах запасов на операционном уровне: популярные товары в трех штатах были отправлены с опозданием на 48 часов.
Требование по замене модели было обозначено как P0 сразу же. Мы потратили 7 дней на тестирование четырех альтернативных вариантов и в итоге выбрали o1-mini. С тех пор прошло 22 дня, и все проблемы были решены, но мы столкнулись с некоторыми непредвиденными трудностями, о которых никто заранее не сообщал.

Для тех, кто еще не слышал об этом: что же такое o1-mini?

Это легковесная модель интеллектуального анализа, разработанная OpenAI, которая специально оптимизирована для ускорения обработки задач логического и вычислительного характера.Базовые способности к рассуждению отличаются от способностей ведущих больших моделей не более чем на 8%, а стоимость обработки одного токена составляет всего 1/7 от стоимости обработки токена в ведущих моделях.。
Мы с самого начала ориентировались на эту разницу в затратах, ведь наша задача по прогнозированию требует обработки более 3000 исторических заказов, данных о погоде и праздниках, а также выполнения процессов почти 20 000 раз в день.

Три наиболее очевидных преимущества мы действительно получили.

• Во-первых, проблема ограничения трафика полностью исчезла: порог ограничения трафика для одного аккаунта в o1-mini в 12 раз превышает показатели предыдущей модели. Даже в день распродажи Black Friday не было ни одного случая получения ошибки 429, и планы операционной стороны выполнялись без каких-либо задержек.
• Затраты существенно снизились: согласно данным наших биллингов, при выполнении той же прогностической задачи...Затраты на ежемесячные расчеты снизились с 12 000 долларов США до 4 500 долларов США.Сэкономленные деньги мы использовали для приобретения дополнительных точек сбора данных в реальном времени для трех складов.
• Скорость настолько высока, что позволяет осуществлять реальное время корректировок: раньше моделим требовалось более 20 секунд для выполнения одного прогноза, теперь же большинство запросов обрабатываются менее чем за 15 миллисекунд. Мы также изменили схему обновления прогнозных данных с одного раза в день на одно обновление каждые 2 часа, в результате чего уровень нехватки товаров снизился на 4 процентных пункта.

Но было две проблемы, из-за которых мы чуть не вернулись к предыдущему состоянию (то есть не смогли продолжить работу).

Первая проблема заключается в том, что его способность обрабатывать неструктурированные данные крайне низка.
В наших предыдущих входных данных присутствовали ключевые слова из обсуждений пользователей в социальных сетях, которые использовались в качестве ориентира для анализа колебаний спроса. К сожалению, система o1-mini приняла эти данные за недействительную информацию, в результате чего прогнозы, полученные за последние 3 дня, оказались на 20% ниже фактического спроса. К счастью, у нас была система перекрестной проверки, поэтому мы не начали процесс закупок на основе этих прогнозов.
В конце концов, нам остается только запустить небольшую модель анализа текста, чтобы сначала обработать эту часть данных, преобразовать их в структурированные оценки, а затем передать их в o1-mini – так мы сможем решить проблему.

Вторая проблема заключается в том, что его механизм обработки нескольких языков содержит скрытые предвзятости (систематические ошибки в работе с разными языками).
В наших прогнозах для канадского региона содержатся французские названия мест и товаров. По умолчанию система o1-mini преобразует некоторые французские категории товаров в их английские аналоги, в результате чего прогнозы по лыжному снаряжению для региона Квебека сокращаются наполовину. Мы решили эту проблему, добавив в параметры запроса правило, обязывающее сохранять оригинальные языковые названия. Однако в официальных документациях об этом ни слова не сказано.

Кому следует использовать что, а кому нет – мы уже помогли вам это определить.

Если вы, как и мы, занимаетесь тем же, что и мы...Логическое рассуждение, числовые вычисления, принятие решений на основе правилЗадача, требующая обработки большого объема данных с высокими требованиями к затратам и одновременности выполнения операций, для o1-mini практически всегда решается без проблем.
Но если вам нужно генерировать контент, осуществлять мультимодальное понимание или работать с сложными многоязычными данными, лучше не использовать это средство – результаты могут содержать множество неожиданных ошибок, а затраты на их устранение превысят сэкономленные средства.

Два конкретных совета для тех, кто впервые берется за это дело:

Во-первых, перед запуском системы необходимо провести по меньшей мере 7 дней параллельной проверки ее работоспособности, и ни в коем случае не следует сразу переключать трафик на новую версию системы.
Изначально мы решили сэкономить время и работали всего 3 дня, и к счастью нам не попались сценарии с вводом текста на французском языке, иначе могли бы возникнуть серьезные проблемы. Цикл в 7 дней позволяет покрыть большинство редких или маргинальных сценариев в вашем бизнесе.

Во-вторых, не изменяйте параметры температуры без необходимости.
Изначально мы хотели сделать результаты более гибкими, поэтому установили значение температуры в 0.7, но предсказанные данные оказались слишком нестабильными для использования. После возвращения к официально рекомендуемому диапазону 0.1-0.3 ситуация стабилизировалась. Этот инструмент предназначен для выполнения задач с точным выводом, и если вам нужно творчество, лучше использовать более мощные большие модели.

В заключение, давайте ответим на вопрос, который многие задают: стоит ли ждать следующей версии?
По крайней мере, в сценарии прогнозирования цепочки поставок текущая версия o1-mini уже достаточно хороша. Мы рассчитали, что даже если следующая версия будет на 20% дешевле, это не компенсирует сэкономленных затрат на рабочую силу и уменьшение числа неисправностей. Чем раньше мы начнем использовать эту систему, тем раньше сможем заработать.