Nós transferimos o processamento dos pedidos de atendimento ao cliente para o Claude 3.5 Sonnet, economizando 21 mil euros em custos de mão de obra em 3 meses.

No mês passado, nosso time de atendimento ao cliente para comércio eletrônico na Europa quase entrou em colapso: na semana anterior ao grande evento promocional de Black Friday, recebíamos mais de 1200 e-mails diários de usuários de vários idiomas. Mesmo com três atendentes trabalhando em turnos contínuos, 40% dos pedidos demoravam mais de 24 horas para serem respondidos, o que levou a um aumento de 18% na taxa de avaliações negativas dos usuários. Contratar funcionários temporários não só atrasou o processo de treinamento, como também aumentou os custos em quase 20.000 euros por mês.

Para quem nunca ouviu falar disso, aqui está uma explicação:

O Claude 3.5 Sonnet é um grande modelo multimodal lançado pela Anthropic em 2024.Com suporte a uma janela de contexto de 200K, a velocidade de inferência é duas vezes mais rápida do que a geração anterior.Isso é suficiente para conter todas as informações de um único ticket nosso, além de quase três meses de pedidos históricos dos usuários e registros de comunicação.

Os três principais benefícios que utilizamos atingem diretamente as principais dores dos usuários (pontos problemáticos).

• Precisão de compreensão multilíngue: Nossos usuários falam alemão, francês, espanhol e italiano. Anteriormente, modelos menores costumavam confundir termos como "reembolso" e "troca" em solicitações não em inglês, mas a taxa de erros do Sonnet é inferior a 2%. Isso significa que podemos processar essas solicitações diretamente, sem a necessidade de ferramentas de tradução adicionais.
• Tratamento de documentos longos de forma eficiente: Quando os usuários solicitam a devolução de um produto, muitas vezes anexam de 5 a 6 fotos dos danos no produto, juntamente com uma descrição de algumas centenas de palavras. O Sonnet consegue visualizar todas as imagens, o texto e os registros de pedidos anteriores de uma só vez, gerando automaticamente uma solução de tratamento que atende às nossas regras de pós-venda, sem a necessidade de verificação manual das informações.
• Custo baixo o suficiente: Nós verificamos que o custo por token para processar 1000 pedidos é de menos de 10 euros. Mesmo incluindo as despesas com o gateway e os ajustes finos, o custo total mensal é inferior a 1/5 do salário mensal de um atendente de suporte ao cliente em tempo integral.

No primeiro mês com o Sonnet, o tempo médio de resposta aos nossos pedidos caiu de 17 horas para 1,5 horas.Os funcionários de atendimento ao cliente não precisam mais lidar com devoluções repetidas ou consultas sobre o acompanhamento dos pedidos; eles só precisam resolver cerca de 10% dos casos mais complexos. Além disso, não foram contratados mais funcionários durante as promoções.

Não olhe apenas para os benefícios; nas últimas duas semanas, encontramos dois problemas reais.

O primeiro problema era relacionado à identificação de regras complexas: tínhamos uma regra específica que dizia “produtos personalizados podem ser reembolsados mesmo após mais de 7 dias, desde que haja problemas de qualidade”. No início, simplesmente fornecemos essa regra ao modelo, e ele continuava recusando os pedidos de reembolso de acordo com a regra geral de que “produtos personalizados não são reembolsáveis nem trocáveis”. Mais tarde, criamos um prompt específico para esse tipo de regra, que era acionado sempre que palavras-chave relacionadas apareciam, o que resolveu o problema.

O segundo ponto é o controle de tráfego: no dia da promoção, o número de solicitações atingiu um pico que era três vezes maior do que o normal. No início, não foi implementada nenhuma estratégia de redução de carga, o que resultou em algumas solicitações recebendo o código de erro 429. Mais tarde, adicionamos um mecanismo simples de fila de espera, adiando o processamento das solicitações não urgentes em 10 minutos, e desde então não houve mais falhas.

Dito de forma clara: quem é adequado para usar isso, não precisa nem sequer cogitar em tocar nisso.

Se a sua equipe atende a uma dessas duas condições, não há erro em usar diretamente: primeiro, quando é necessário lidar com uma grande quantidade de textos longos e tarefas estruturadas multimodais, como tickets de atendimento ao cliente, revisão de contratos, resumos de documentos extensos; segundo, quando o negócio abrange regiões multilíngues e não se deseja ajustar o modelo para cada idioma individualmente.

Se você só precisa de respostas com palavras-chave simples, classificação de textos curtos, ou se tem requisitos extremamente altos de privacidade dos dados e não pode de forma alguma transferir os dados para modelos de terceiros, então não há necessidade de escolher essa opção; modelos menores ou até mesmo mecanismos baseados em regras são suficientes.

Duas dicas práticas para quem usa pela primeira vez

Na primeira vez que fizerem o teste, não mudem tudo de uma vez. Comecem com os pedidos de suporte históricos que foram processados no último mês e comparem os resultados do modelo com os resultados do processamento manual. Quando a precisão atingir mais de 90%, então lancem o sistema. Dessa forma, vocês poderão evitar cerca de 80% dos problemas relacionados à adaptação das regras.

Se as suas solicitações tiverem grandes flutuações, é essencial criar uma fila de downgrade simples: a quantidade de licenças gratuitas do Sonnet é bastante limitada, então durante os períodos de pico, você pode adiar as tarefas de menor prioridade. Assim, sem gastar mais dinheiro para obter uma capacidade de processamento exclusiva, você conseguirá atender às necessidades da maioria das pequenas e médias empresas.

Algumas perguntas que você pode fazer:

P: É necessário fazer ajustes finos (micro-tuning) específicos? R: Nós simplesmente incluímos as regras de pós-venda no prompt, e a precisão já é suficiente. A menos que as regras do seu negócio sejam particularmente complexas, não há necessidade de gastar dinheiro com isso.

P: Qual é mais econômico em comparação com o GPT-4o? R: Nossos testes mostraram que, para lidar com os mesmos pedidos de suporte, o Sonnet custa cerca de 30% a menos, e a precisão é semelhante. Para pequenas e médias empresas que são sensíveis aos custos, o Sonnet é uma opção mais adequada.