Наша команда перевела процесс распознавания адресов на модель GPT-5, и количество ошибок типа 429 снизилось с 13% до 0,2%, однако мы столкнулись с двумя неожиданными проблемами.

В прошлом месяце большой рекламный акционный период только что закончился, и наши три сервера обработки данных провели у мониторинговых панелей целых 72 часа. В прошлом году во время акции 13% запросов на разбор адресов приводили к ошибке 429, связанной с ограничением количества запросов; в этом году такой проблемы больше не возникло. Единственная существенная изменение заключалась в замене ранее использовавшейся универсальной большой модели на GPT-5 для структуризации адресов.

Для тех, кто ещё не пробовал: что же на самом деле представляет собой GPT-5 в нашем контексте?

Это многомодальная большая модель от OpenAI, обновленная в этом году. Для нас наиболее полезным параметром является только один:Максимальное количество структурированных запросов, которые может обрабатывать один аккаунт в минуту, в 12 раз превышает показатели предыдущей версии модели.Кроме того, точность распознавания нестандартных входных данных улучшилась на порядок.

Мы занимаемся трансграничными логистическими перевозками в Европе и ежедневно обрабатываем 500 тысяч адресов, введенных пользователями. Многие люди путают названия улиц, почтовые индексы и названия городов; кроме того, они иногда добавляют эмодзи или допускают ошибки в написании. Прежние модели либо неправильно распознавали эти данные, либо требовались три запроса к интерфейсу для получения результата. Во время акций с большим объемом трафика система сразу же сталкивалась с ограничениями в работе.

После перехода на GPT-5 мы действительно получили три конкретных преимущества (преимущества или выгоды).

Первое и самое очевидное решение: проблема ограничения потока данных решается непосредственно.В период пиковых скидок уровень ошибок 429 снизился до 0,2%.Мы даже не используем кэш бекапных моделей, что позволяет сэкономить 30% времени на обслуживание, которое раньше тратилось на распределение нагрузки.

Во-вторых, улучшилась точность распознавания адресов: ранее примерно 8% адресов требовали дополнительной проверки вручную, теперь этот показатель снизился до менее 1%, что позволяет команде обслуживания клиентов еженедельно сократить количество обработанных запросов на коррекцию адресов на 2000.

Третий вариант, наоборот, мало кто упоминает: он позволяет напрямую загружать фотографии рукописных квитанций для распознавания, без необходимости использования отдельных сервисов OCR для преобразования в текст. Это экономит два шага в процессе обработки запросов, и результаты возвращаются более чем за 15 миллисекунд в большинстве случаев. Только в редких случаях, когда изображение слишком размытое, время обработки может увеличиться.

Не смотрите только на плюсы — эти две ошибки, на которые мы наступили, скорее всего, тоже возникнут и у вас.

Первая проблема касается несоответствия способности системы к распознаванию диалектов местных языков между различными регионами. Мы думали, что её мультиязычные функции достаточно сильны, но на прошлой неделе уровень ошибок при распознавании адресов на баскском языке в Испании внезапно вырос до 12%. После проверки выяснилось, что в обучающих данных очень мало примеров адресов на таких редких диалектах. Теперь нам приходится применять специальные локальные правила для обработки этих адресов.

Вторая проблема касается затрат. Ранее мы рассчитывали, что стоимость токена за один запрос увеличится всего на 20% по сравнению с предыдущей версией, но забыли, что количество структурированных полей, возвращаемых по умолчанию, увеличилось на 3, в результате чего фактические затраты на токены выросли на 40%. Позже мы ограничили количество возвращаемых полей в промпте только теми, которые действительно необходимы (5 полей), и тогда затраты снова снизились до уровня, на 10% выше, чем раньше.

Какие команды следует сразу вовлечь в работу, а с какими вообще нет смысла заниматься?

• Необходимо использовать решение, которое позволяет обрабатывать более 100 000 запросов на структуризацию нестандартизированного текста/изображений ежедневно. Команды, ранее сталкивавшиеся с ограничениями из-за низкой точности моделей (например, в сферах электронной коммерции, логистики или обработки клиентских запросов в малых и средних предприятиях), увидят значительное улучшение эффективности после перехода на это решение. Рентабельность (ROI) станет очевидной сразу после внедрения.
• Не стоит тратить деньги на это: если вы используете только простые функции вопросов и ответов, генерации контента или если количество запросов менее 10 000 в день, предыдущее поколение моделей вполне подойдет, и это даже позволит сэкономить значительные средства.

Два конкретных совета для тех, кто впервые берется за это дело

Во-первых, вам следует взять исторические данные о реальных запросах за последние 7 дней и использовать их для создания тестового набора. Не ограничивайтесь только примерами, предоставленными официально; особенно это касается контента на малоизвестных языках или из небольших регионов. Обязательно проверьте точность модели перед ее запуском в производственной среде, чтобы избежать проблем с неправильным распознаванием запросов после запуска системы.

Во-вторых, при первом вызове необходимо напрямую указать в параметре prompt все необходимые возвращаемые поля, не давая системе производить дополнительные вычисления. В противном случае дополнительно сгенерированный контент приведет к ненужному расходу токенов.

Кто-то спросил: нужно ли сейчас стоять в очереди, чтобы подать заявку на использование GPT-5?

Мы имеем учетную запись корпоративного разработчика, и срок действия нашей подтвержденной квалификации истек через 3 дня. Личным разработчикам, возможно, потребуется ждать 1-2 недели. Однако в случае срочной необходимости можно воспользоваться корпоративным “зеленым коридором”, и аккаунт будет активирован в тот же день.