Наша команда с помощью GPT-3.5 снизила затраты на разбор адресов на 62% и одновременно решила проблему ограничения пропускной способности во время акций с большими скидками.

В прошлом месяце, во время акции Black Friday, наша трехчеловеческая команда, занимающаяся логистикой международных доставок мелких посылок в Нидерландах, впервые не провела всю ночь рядом с серверами, работая без перерыва. В прошлом году в это же время точность нашей собственной модели коррекции адресов составляла менее 80%, и нам приходилось выделять отдельного сотрудника, который круглосуточно следил за логами ошибок. Только из-за неправильно введенных адресов уровень возврата посылок достигал 11%.

Для тех, кто ещё не сталкивался с этим, давайте объясним простыми словами: что такое GPT-3.5?

Это большой языковой модель, представленный OpenAI в 2022 году. В настоящее время, в 2026 году, он все еще находится в стадии развития и является стабильной версией. Он поддерживает контекстное окно размером до 16 тысяч символов и обычно отвечает на запросы к нестримовым структурированным данным менее чем за 200 миллисекунд, что полностью соответствует требованиям к легкому семантическому обработке в условиях высокой конкурентности в реальном времени.

Мы выбрали его для решения проблем с анализом адресов, и это принесло нам три реальных преимущества.

• Первое – это точность при использовании сразу после распаковки: не требуется самостоятельное маркирование миллионов адресов из разных стран для обучения. Мы использовали всего 200 примеров исторически аномальных адресов для выполнения алгоритма типа “few-shot”, и точность распознавания сразу достигла высокого уровня.98.7%Скорость ошибок снизилась прямо до менее 1%.
• Во-вторых, затраты на использование этого сервиса значительно ниже, чем на разработку собственных решений: раньше ежемесячные расходы на обслуживание собственной модели и 3 серверов с GPU составляли 1200 евро, теперь, используя GPT-3.5 для обработки 500 000 запросов в день, ежемесячные затраты снизились до 450 евро, что означает сокращение расходов на 62%.
• В-третьих, расширение мощностей системы совершенно не требует от нас усилий: во время праздника Black Friday количество запросов увеличилось в три раза. Ранее наш собственный модельный алгоритм мог выдерживать максимум в 1,5 раза большее количество запросов, после чего начиналась сбойная работа системы. На этот раз мы просто заранее подали заявку на временное увеличение лимита в базе данных OpenAI, и в течение всего процесса не возникло ни одной ошибки типа 429.

Не смотрите только на плюсы: за первые 3 месяца мы столкнулись с большим количеством проблем, чем получили выгоды.

Изначально мы просто передавали поле с исходным адресом в модель, и часто возникали проблемы с тем, что адреса деревень и городов в маленьких европейских странах ошибочно идентифицировались как адреса американских городов. Только после недели работы мы обнаружили, что в стандартном подсказочном тексте (Prompt) не было добавлено правило, предписывающее приоритетное сопоставление с полями, указывающими страну назначения, которые содержатся в запросах на логистические услуги.

Еще один раз мы случайно активировали режим потокового вывода, из-за чего время возврата всех результатов обработки увеличилось в три раза. В период пиковой нагрузки возникло более двадцати тысяч просроченных запросов. Только спустя долгое время мы выяснили, что коллега, изменяя параметры, забыл вернуть систему в исходное состояние.

Самая большая проблема была связана с выписками о платежах: сначала мы не выполняли обрезку вводимых данных, и все лишние заметки, которые пользователи вводили при указании адреса, попадали в модель. В результате в конце месяца сумма платежа оказалась на 30% выше ожидаемой. Позже мы ввели правило обрезки входных данных на 100 символов, и в следующем месяце ситуация вернулась в норму.

В конце концов, GPT-3.5 не является панацеей от всех проблем, и я советую вам не спешить с объединением этих двух типов команд без тщательного обдумывания.

Если ваша команда работает с данными, имеющими высокий уровень конфиденциальности, такими как медицинские записи или платежная информация, не используйте публичную версию GPT-3.5. Несмотря на то, насколько она дешева и удобна в использовании, риски нарушения данных и соответствия нормативам вы не сможете себе позволить принять.

Если вам нужно создать профессиональный документ объемом в десятки тысяч слов или выполнить сложные логические вычисления, лучше выбрать GPT-4o или Claude 3. Уровень точности GPT-3.5 в таких задачах значительно ниже, и экономия на нескольких долларах не окупится.

Наоборот, если вам нужно выполнять такие легкие семантические задачи, как классификация пользовательских намерений, коррекция коротких текстов, извлечение структурированной информации и у вас нет высоких требований к сложности расчетов, GPT-3.5 останется наиболее выгодным вариантом до 2026 года — без сомнения.

Три практических совета для тех, кто использует это впервые – все они основаны на наших собственных ошибках и опыте.

• Перед запуском необходимо провести семидневное тестирование с использованием “теневого трафика”: отправляйте запросы одновременно как вашему существующему решению, так и модели GPT-3.5. Сравнивайте только результаты, не переносите трафик. Убедитесь, что точность и скорость соответствуют ожиданиям, прежде чем производить полную замену.
• Добавьте предварительную фильтрацию ко всем входным данным: удаляйте лишние пробелы, ненужные примечания и специальные символы заранее. Это позволит сэкономить не менее 20% ресурсов, используемых для обработки токенов, а также снизить вероятность ошибок в работе модели.
• Обязательно должен быть запланирован план действий на случай отказа: если интерфейс OpenAI перестанет работать, у вас должен быть альтернативный, менее мощный вариант решения проблемы. Даже если точность будет ниже, это всё равно лучше, чем полное отключение всей службы.

FAQ

Сейчас уже 2026 год, существует столько новых моделей, нужно ли всё ещё использовать GPT-3.5?
Для легких задач это абсолютно необходимо. Мы сравнили его с открытыми моделями того же ценового сегмента, и GPT-3.5 показал точность на 5 процентных пунктов выше. Кроме того, не требуется самостоятельное обслуживание и развертывание, что в итоге снижает общие затраты.

Нужно ли беспокоиться о ограничении количества вызовов (лимитинге) при использовании данного функционала?
Если ежедневный трафик не увеличивается в 10 раз и более внезапно, то стандартный лимит обычно достаточен. Для увеличения лимита достаточно подать заявку за 3 дня до крупной акции. Мы уже подавали заявки три раза, и в самые быстрые случаи разрешение было выдано за 2 часа.