Мы использовали GPT-4 для обработки миллионов послепродажных заявок, сэкономив 32% рабочих ресурсов. Не попадайте в эти 3 ошибки.

В пик акции Black Friday прошлого месяца наша команда из трех человек следила за панелями мониторинга и стала свидетелями того, как уровень ошибок в запросах на послепродажное обслуживание (429 ошибок) вырос с 1% до 12%. Прежний маленький модель не справлялся с объемом многоязычных запросов в 1,2 миллиона в день, и количество жалоб от клиентов увеличилось в четыре раза за 24 часа. В конце концов мы временно переключились на использование трафика GPT-4, и только тогда уровень ошибок снизился до менее 0,3%.

Сначала нужно понять: на что именно может помочь GPT-4 малым и средним командам.

Проще говоря, это самый сбалансированный большой модель от OpenAI, доступный для предприятий на данный момент. Он поддерживает ввод контекста длиной до 128 килобайт и обладает точностью понимания на нескольких языках, на 40% выше, чем у большинства специализированных малых моделей. Вам не потребуется много дополнительной настройки, чтобы использовать его для решения сложных задач.

Для нашей небольшой команды из 20 человек, занимающейся международным розничным продажом бытовой техники, три самых очевидных преимущества (без необходимости сложных расчетов ROI) следующие:

• Во-первых, с помощью многоязычных систем обработки заказов больше не нужно нанимать специальных переводчиков. Они могут напрямую понимать вопросы клиентов на испанском, французском и польском языках и выдавать стандартные ответы на соответствующих языках.Наша служба послепродажного обслуживания позволила сэкономить 32% рабочих ресурсов.
• Показатель точности диагностики сложных неисправностей значительно выше, чем у предыдущих, более простых моделей. Ранее 17% заявок требовали дополнительной проверки вручную, теперь этот процент снизился до менее 4%.
• Не нужно накапливать слишком много подготовительных данных для микрорегулировок — достаточно добавить инструкции к новым продуктам, и система сможет адаптироваться к соответствующим вопросам послепродажного обслуживания за 2 часа. Эффективность значительно улучшается во время крупных акций.

Не смотрите только на преимущества, мы столкнулись с несколькими реальными проблемами, с которыми пришлось справляться.

Первая проблема заключается в потере контроля над затратами. Когда мы перешли на GPT-4, мы не выполняли обрезку входных данных; текст, полученный из нескольких десятков страниц снимков экрана с ошибками, загруженных пользователями, просто добавлялся в систему. В результате расходы на токены в течение одного дня превысили расходы за предыдущую неделю. Позже мы добавили предварительный фильтр, который удалял ненужную и избыточную информацию, и затраты сразу же сократились вдвое.

Во-вторых, ограничения действительно болят голова.Если это временная пиковая реклама, напрямую переключающаяся на официальный интерфейс, легко встретить верхний предел одновременности, мы столкнулись с 10-минутным ограничением потока в день черной пятницы, позже за 3 дня до того, как мы обратились к менеджеру заказчика с заявкой на временное расширение емкости, чтобы решить это, не ждите, как придет трафик, прежде чем подать заявку.

Третий проблемный аспект — это ложное определение содержимого как чувствительного. Один пользователь просто спросил: «Не может ли корпус духовки взорваться, когда она нагревается?», и его запрос был сразу же заблокирован системой безопасности контента с возвратом ошибки. Позже мы добавили предварительную проверку на наличие чувствительных слов, чтобы сначала отфильтровать нормальные вопросы о неисправностях, и только после этого уровень ложных определений снизился до приемлемого уровня.

Стоит ли сейчас переходить на GPT-4? Давайте сначала рассмотрим эти два критерия.

Ситуации, в которых это может быть использовано:Если вам нужно работать с мультиязычным контентом, выполнять сложные задачи по анализу длинных текстов (например, составление резюме документов из нескольких десятков страниц, ведение нескольких раундов послепродажного обслуживания, отладка кода), или если у вашей команды нет специалистов по алгоритмам для настройки малых моделей, использование GPT-4 значительно экономит время и ресурсы по сравнению с разработкой собственных моделей.

Ситуации, когда использование нецелесообразно:Если ваша сценария действительно очень проста — например, если вы используете только ответы на ключевые слова, генерацию текстовых сообщений по фиксированной шаблону или если все данные не могут покидать определенные границы — то нет никакой необходимости в использовании дорогих моделей или сложных систем. Для таких задач вполне подойдут более дешевые варианты, такие как простые модели или системы на основе правил. Тратить деньги на это — просто пустая трата.

Два конкретных совета для команды, которая впервые берется за это дело:

Во-первых, необходимо использовать 10% от общего объема трафика для проведения градационного тестирования в течение 7 дней, чтобы оценить реальную точность, затраты и скорость отклика системы. Не стоит сразу переключать всю систему на новую версию – именно так мы столкнулись с проблемами ограничения пропускной способности трафика. Сейчас градационное тестирование стало неотъемлемой частью нашего процесса обновления моделей.

Во-вторых, обязательно необходимо добавить слой предварительного распределения трафика, чтобы простые запросы направлялись на более дешевые малые модели, а только сложные запросы, с которыми не могут справиться малые модели, передавались в GPT-4. Благодаря этому общая стоимость использования моделей снизилась на 28%, при этом качество результатов не ухудшилось.

Два распространенных небольших проблемы

Вопрос: Может ли произойти утечка данных? Ответ: Если используется корпоративная версия API, OpenAI ясно заявляет, что пользовательские данные не будут использоваться для обучения моделей. Мы провели проверку на соответствие требованиям, и сервис соответствует положениям ГДРП Евросоюза, так что можете использовать его с уверенностью.

Вопрос: Будет ли скорость ответа очень медленной? Ответ: Большинство запросов на консультации по рабочим талонах возвращаются в течение 150 миллисекунд; только обработка особенно длинных текстов может занять до 1 секунды, но это вполне достаточно для сценариев послепродажного обслуживания.