As empresas de comércio eletrônico de produtos frescos no Sudeste Asiático utilizam o Claude para a inspeção de pedidos, o que economizou 3 vagas de atendimento ao cliente, mas também levou a 2 problemas graves.

Na semana passada, nossa equipe enfrentou um acidente inesperado: no dia da grande promoção, 18% dos pedidos de pós-venda ficaram presos na fila de espera devido a um erro no formato de saída de dados gerado por Claude, o que causou a demora de 4 horas no atendimento aos pedidos de reembolso por frutas estragadas. Como resultado, a taxa de cancelamentos do dia aumentou em 2 pontos percentuais.

Para quem não tem conhecimento sobre o assunto, vamos esclarecer: o que é exatamente o Claude?

É um grande modelo de linguagem desenvolvido pela Anthropic, e a sua versão mais recente, 3.5 Sonnet, suporta uma janela de contexto única com capacidade de processar 200 mil tokens, o que corresponde a aproximadamente 150 mil palavras em chinês. Nós o escolhemos inicialmente porque permitia inserir de uma só vez todo o histórico de pedidos, os resultados da OCR das imagens fornecidas pelos usuários e as regras de compensação da plataforma, sem a necessidade de dividir o processo em várias solicitações.

Os três benefícios reais que obtivemos com isso

O mais direto é a redução dos custos com mão de obra: dos 6 funcionários de atendimento ao cliente que antes eram responsáveis pela qualidade das encomendas, agora só precisamos manter 3 para lidar com exceções e problemas, o que economiza 4200 dólares por mês apenas em despesas com pessoal.

O segundo ponto é que a velocidade de processamento aumentou: antes, a revisão manual de um pedido levava em média 2 minutos, mas agora a maioria dos pedidos é concluída em menos de 15 milissegundos. Após o usuário enviar o pedido de indenização, o resultado é obtido em aproximadamente 5 segundos. Constatamos que a satisfação dos usuários aumentou diretamente em 17%.

O terceiro ponto é a execução mais uniforme das regras: antes, a revisão manual frequentemente resultava em situações problemáticas, como o mesmo erro sendo corrigido de maneira diferente para diferentes usuários (alguns recebendo uma compensação completa, outros apenas 30%). Havia dezenas de reclamações por mês devido a julgamentos injustos. Após a implementação do sistema Claude para a aplicação uniforme das regras, esse tipo de reclamação caiu para menos de 3 por mês.

Não olhe apenas para os benefícios; esses dois problemas quase nos fizeram parar de oferecer o serviço.

O primeiro problema foi o limite de tráfego: no início, conectamos diretamente à API oficial sem implementar nenhum mecanismo de redução de carga. No dia da promoção, o número de solicitações aumentou em três vezes, e a API retornou um erro 429. Como não tínhamos um mecanismo de intervenção manual, milhares de pedidos ficaram bloqueados. Mais tarde, adicionamos um modelo menor com o mesmo efeito como plano de contingência; se três solicitações consecutivas falhassem, o sistema automaticamente alternava para o modelo menor e só recorria à intervenção humana se isso também falhasse. Desde então, nunca mais tivemos casos de bloqueio em massa de pedidos.

O segundo problema é a instabilidade na saída estruturada: no início, pedíamos que retornasse os resultados das decisões em formato JSON, mas em cerca de 2% dos casos, adicionava-se um monte de informações explicativas fora do formato JSON, o que causava erros no nosso script de análise. Mais tarde, adicionamos uma frase no final do prompt que dizia “Se a sua saída não for em formato JSON puro, você será desativado”, e a frequência desse problema caiu para menos de 0,1%.

Para quem é adequado? Quem não deve usar?

Se a sua equipe costuma lidar com um grande volume de trabalho repetitivo com regras claras e um volume significativo de texto, como a revisão de pedidos de compras online, a classificação de tickets de atendimento ao cliente ou a revisão preliminar de cláusulas de contratos, e estiver disposta a gastar de 1 a 2 semanas ajustando os prompts e implementando mecanismos de redução de custos, o Claude pode ajudar a economizar muito dinheiro e tempo.

Se a sua situação exige uma precisão de 100% nos resultados, como em diagnósticos médicos, revisões finais de transações financeiras, ou se a sua equipe não possui nem pessoal de operações nem desenvolvedores especializados e você quer usar o sistema sem nenhum tipo de ajuste, então não tente. A probabilidade de problemas é muito maior do que você imagina.

Duas dicas práticas para quem usa pela primeira vez

Primeiro, ao começar, não vá direto para o modo de produção; execute o modo “shadow” por 7 dias: todos os pedidos serão processados tanto por humanos quanto pelo sistema Claude. Compare a consistência dos resultados dos dois métodos e, quando a consistência atingir mais de 95%, então transfira o tráfego. Nós executamos o modo “shadow” por 10 dias e descobrimos 3 discrepâncias na compreensão das regras; corrigimos os prompts com antecedência, o que evitou problemas.

Em segundo lugar, não force todos os pedidos a usar a versão mais avançada; use Haiku apenas nos casos em que isso é realmente necessário. Depois de categorizarmos os pedidos de trabalho simples para Haiku, o custo por token caiu diretamente em 60%, e a velocidade dobrou, sem que houvesse diferença no resultado.

Perguntas Frequentes

• Haverá algum problema de vazamento de dados?Se seus dados são sensíveis, compre diretamente a versão empresarial e assine o acordo de processamento de dados. A Anthropic não usará os dados das solicitações da versão empresarial para treinar seus modelos. Nós utilizamos essa versão há 8 meses e nunca tivemos problemas com os dados.
• Qual é melhor do que o GPT?Se a sua cena exigir o processamento de textos longos e um alto entendimento do contexto, escolha o Claude; se precisar de geração multimodal, como desenho, escolha o GPT. Nós estamos usando ambos atualmente, cada um para diferentes cenários.