Utilizamos o GPT-4 para processar milhões de pedidos de pós-venda, economizando 32% da mão de obra. Evite cair nestes 3 erros comuns.

Durante o pico da promoção do Black Friday do mês passado, nosso time de três pessoas ficou de olho nos painéis de monitoramento e viu a taxa de erros (429) nas solicitações de atendimento ao cliente aumentar de 1% para 12%. O modelo pequeno que estávamos usando não conseguia suportar o volume de consultas em vários idiomas de 1,2 milhão por dia, e o número de reclamações dos clientes aumentou em quatro vezes em 24 horas. No final, tivemos que alternar temporariamente para o uso do GPT-4 para reduzir a taxa de erros para menos de 0,3%.

Primeiro, vamos entender: o que exatamente o GPT-4 pode economizar para equipes de pequeno e médio porte?

Em resumo, é o maior modelo da OpenAI atualmente disponível para empresas, com uma capacidade equilibrada de processamento. Suporta entradas com até 128 mil contextos e tem uma precisão de compreensão em múltiplas línguas 40% superior à maioria dos modelos especializados. Você não precisa fazer muitos ajustes adicionais para lidar com cenários complexos diretamente.

Para nossa pequena equipe de 20 pessoas que atua no varejo de eletrodomésticos internacional, os três benefícios mais diretos não precisam nem ser calculados em termos de ROI (Retorno sobre Investimento) complexo:

• Primeiro, os tickets multilíngues não precisam mais de tradutores dedicados; o suporte pós-venda em espanhol, francês e polonês pode ser compreendido diretamente, e respostas em línguas correspondentes também podem ser geradas automaticamente.Nossa força de trabalho de pós-venda economizou diretamente 32%.
• A taxa de acurácia no diagnóstico de falhas complexas é muito maior do que a dos modelos anteriores. Antes, 17% dos casos exigiam verificação manual adicional, enquanto agora essa proporção é inferior a 4%.
• Não é necessário acumular muitos dados de treinamento para ajustes finos; basta inserir os manuais dos novos produtos, e em 2 horas eles estarão prontos para atender às consultas de pós-venda correspondentes. A eficiência aumenta significativamente durante as grandes promoções.

Não se preocupe apenas com as vantagens; esses problemas reais nós já enfrentamos.

O primeiro problema é o controle descontrolado dos custos. Quando mudamos para o GPT-4, não realizamos o corte do texto de entrada; o texto gerado a partir de dezenas de páginas de capturas de tela de falhas enviadas pelos usuários foi inserido diretamente, resultando em um consumo diário de tokens maior do que o de uma semana inteira anterior. Mais tarde, adicionamos um passo de filtragem preliminar para eliminar as informações redundantes e desnecessárias, o que reduziu os custos pela metade.

O segundo problema é que o controle de tráfego (throttling) é realmente um aborrecimento. Se você utilizar a interface oficial diretamente durante picos de demanda temporários, é muito provável que encontre limitações de concorrência. No dia do Black Friday, tivemos um problema de throttling que durou 10 minutos. Para resolver isso, solicitamos uma expansão temporária do sistema com 3 dias de antecedência ao gerente de cliente. Nunca espere até que o tráfego aumente para fazer o pedido.

O terceiro problema é o erro de classificação de conteúdo sensível. Um usuário simplesmente perguntou “O exterior do forno fica um pouco quente quando está aquecendo; isso pode causar uma explosão?”, e a resposta foi bloqueada pelo sistema de segurança de conteúdo, retornando um erro. Mais tarde, adicionamos uma verificação prévia de palavras sensíveis para filtrar as perguntas normais sobre falhas, o que reduziu a taxa de erros para um nível aceitável.

Devo realmente trocar para o GPT-4 agora? Vamos dar uma olhada nestes dois critérios primeiro.

Caso de uso:Se você precisar lidar com conteúdo em múltiplas línguas, realizar raciocínio em textos longos e complexos (como resumos de documentos de dezenas de páginas, consultas de pós-venda em várias rodadas, ou depuração de código), ou se sua equipe não tiver especialistas em algoritmos para fazer o ajuste fino de pequenos modelos, usar o GPT-4 é muito mais econômico do que tentar desenvolver seus próprios modelos.

Circunstâncias em que não deve ser usado:Se a sua cena for particularmente simples, como apenas responder a perguntas com palavras-chave, gerar mensagens de texto com modelos fixos, ou se todos os dados não puderem sair de um determinado domínio, então realmente não há necessidade disso. Modelos pequenos e baratos, ou até mesmo mecanismos baseados em regras, são suficientes para resolver o problema. Gastar dinheiro nisso seria pura perda.

Duas sugestões específicas para equipes que estão começando pela primeira vez

Primeiro, use 10% do tráfego para realizar um teste em modo de graduação (grayscale), durante 7 dias, para ver se a precisão, o custo e a velocidade de resposta atendem às suas expectativas. Não faça a mudança completa de imediato; foi exatamente isso que causou problemas com o limite de tráfego naquela época. Agora, o teste em modo de graduação se tornou um processo padrão para a troca de modelos.

Em segundo lugar, é essencial adicionar uma camada de agendamento de tráfego na frente, para direcionar as solicitações simples para modelos menores e mais baratos. Apenas as solicitações complexas, que os modelos menores não conseguem processar, são enviadas para o GPT-4. Depois de implementarmos essa medida, o custo total do modelo caiu mais 28%, sem que a qualidade do resultado seja afetada.

Dois pequenos problemas comuns

Pergunta: Haverá vazamento de dados? Resposta: Se você escolher a versão empresarial do API, a OpenAI afirma claramente que não usará os dados de entrada dos usuários para treinar os modelos. Nós realizamos uma auditoria de conformidade e atendemos aos requisitos do GDPR da União Europeia, então pode usar com confiança.

Pergunta: A velocidade de resposta será muito lenta? Resposta: A maioria das solicitações de consulta de tíquetes é respondida em menos de 150 milissegundos; apenas o processamento de textos muito longos pode levar até 1 segundo, o que é mais do que suficiente para cenários de pós-venda.