Мы перенесли обработку клиентских запросов на систему Claude 3.5 Sonnet, благодаря чему за три месяца сэкономили 21 000 евро на затратах на персонал.

В прошлом месяце наша европейская команда по обслуживанию клиентов в сфере электронной коммерции чуть не рухнула: за неделю до большой акции Black Friday мы получали более 1200 писем от пользователей на разных языках в день. Несмотря на то, что три сотрудника службы поддержки работали без перерыва, 40% запросов приходилось отвечать более чем через 24 часа, что привело к росту уровня негативных отзывов пользователей на 18%. Временное найме сотрудников на временную работу не только не позволило сократить время обучения, но и увеличило ежемесячные расходы почти на 20 000 евро.

Для тех, кто еще не слышал об этом: это краткое объяснение сути.

Claude 3.5 Sonnet – это мультимодальная большая модель, выпущенная компанией Anthropic в 2024 году.В два раза быстрее, чем предыдущее поколение, при поддержке 200K контекстных оконЭто вполне достаточно, чтобы вместить всю информацию о нашем отдельном заказе, а также данные о заказах пользователей за последние почти 3 месяца и записи общения.

Три основных критерия оценки эффективности, которые мы используем, каждый из которых направлен на решение конкретных проблем (требований пользователей).

• Уровень понимания на нескольких языках: Наши пользователи говорят на немецком, французском, испанском и итальянском языках. Ранее при обработке неанглийских запросов маленькие модели часто путали термины «возврат денег» и «обмен товара». С помощью системы Sonnet процент ошибок составляет менее 2%, и обработка запросов возможна непосредственно без использования дополнительных инструментов перевода.
• Обработка длинных документов происходит стабильно: когда пользователи подают заявления на возврат товара, они часто прилагают 5–6 фотографий с повреждениями товара и несколько сотен слов описания. Система Sonnet может одновременно просмотреть все фотографии, текст и записи о предыдущих заказах, а затем автоматически сгенерировать план действий, соответствующий нашим правилам послепродажного обслуживания, без необходимости дополнительной проверки информации вручную.
• Затраты достаточно низкие: по нашим расчетам, стоимость обработки 1000 заявок составляет менее 10 евро. Даже если учесть расходы на использование гибридных систем и необходимость доработок, общие месячные затраты не превысят одной пятой зарплаты полноценного сотрудника службы поддержки.

К началу первого месяца работы с системой Sonnet среднее время ответа на наши запросы сократилось с 17 часов до 1,5 часа.Клиентское обслуживание больше не нужно заниматься обработкой повторных возвратов товаров и запросов о статусе доставки; оно должно сосредоточиться только на решении примерно 10% сложных споров. Во время акций по стимулированию продаж также не проводилось набора дополнительного персонала.

Не смотрите только на плюсы: за последние две недели мы столкнулись с двумя настоящими проблемами/ошибками.

Первая проблема касалась распознавания сложных правил: у нас было необычное правило, согласно которому на заказанные товары можно было вернуть деньги в течение 7 дней даже в случае наличия проблем с качеством. Изначально мы просто передавали это правило в модель, и она отклоняла запросы пользователей, следуя общему правилу “заказанные товары не подлежат возврату или обмену”. Позже мы разделили это специальное правило на отдельный триггерный промпт (prompt) и начали использовать его при появлении соответствующих ключевых слов, что позволило решить проблему.

Во-вторых, это ограничение пропускной способности: в день акции пиковое количество запросов в 3 раза превышает обычное. Изначально мы не реализовывали стратегию снижения нагрузки, в результате чего некоторые запросы возвращали ошибку 429. Позже мы добавили простую систему очередей, которая откладывала обработку несрочных заявок на 10 минут, и с тех пор проблем с отказами больше не возникало.

Четко говоря: кому это подходит, тому совершенно не обязательно этим заниматься; кому же нет – тому тоже не стоит этого делать.

Если ваша команда соответствует хотя бы одному из этих двух условий, использование данного инструмента будет правильным решением: во-первых, если вам необходимо обрабатывать большие объемы длинного текста и мультимодальные структурированные данные, такие как службы поддержки клиентов, проверка контрактов, создание резюме длинных документов; во-вторых, если ваш бизнес охватывает многоязычные регионы, и вы не хотите отдельно настраивать модели для каждого языка.

Если вам нужно только выполнять простые ключевые ответы, классификацию коротких текстов, или если у вас очень высокие требования к конфиденциальности данных и вы не можете передавать их сторонним моделям, тогда нет необходимости выбирать это решение; для таких задач подойдут более простые модели или даже системы на основе правил.

Два практических совета для тех, кто использует это впервые

Во время первого тестирования не стоит сразу переключать на полный режим работы системы. Сначала нужно применить данные исторических заявок, обработанных за последний месяц, и сравнить результаты, полученные с помощью модели, с результатами ручной обработки. Когда точность сопоставления достигнет более 90%, систему можно запустить в производственной среде. Таким образом можно избежать около 80% проблем, связанных с адаптацией правил.

Если у вас сильные колебания в объеме запросов, обязательно создайте простую очередь для выполнения задач с более низким приоритетом: бесплатный лимит пропускной способности сервиса Sonnet довольно строгий. В периоды пиковых нагрузок отложите задачи с низким приоритетом на более позднее время. Так вы сможете удовлетворить потребности большинства малых и средних предприятий, не тратя дополнительных средств на приобретение эксклюзивной пропускной способности.

Некоторые вопросы, которые вы могли бы задать:

Вопрос: Необходимо ли проводить специальную настройку (тонкую настройку) системы? Ответ: Мы просто включили правила послепродажного обслуживания в текст запроса (prompt), и без какой-либо дополнительной настройки точность работы системы уже достаточна. Если только ваши бизнес-правила не являются особенно сложными, нет необходимости тратить деньги на дополнительные настройки.

Вопрос: Что выгоднее использовать — GPT-4o или Sonnet? Ответ: По нашим данным, при обработке одинаковых задач стоимость использования Sonnet на 30% ниже, при этом точность примерно такая же. Для малых и средних предприятий, чувствительных к затратам, более подходящим вариантом будет Sonnet.