Usamos o Claude 3 Opus para processar a identificação de declarações aduaneiras transfronteiriças, economizando 60% dos custos de revisão manual, mas encontramos 3 problemas.

No mês passado, durante a grande promoção na Europa, o nosso grupo de três pessoas responsável pelo despacho aduaneiro internacional quase não teve tempo para descansar: as novas políticas de conformidade exigem que a declaração aduaneira de cada lote de mercadorias corresponda ao código do produto, à prova de origem e ao número de identificação fiscal da União Europeia. O modelo pequeno que usávamos tinha uma taxa de reconhecimento de menos de 70%, o que resultou em 1200 declarações anormais que precisavam ser revisadas em uma semana, atrasando todo o processo de desembaraço em dois dias.

O que é o Claude 3 Opus?

É o modelo de linguagem maior e mais poderoso da Anthropic atualmente,É possível processar até 2 milhões de tokens de uma vez, o que equivale a inserir diretamente um manual completo de conformidade comercial de 1500 páginas para referência de contexto.Não é necessário dividir o conteúdo em solicitações segmentadas.

Os três principais benefícios que observamos em nossos testes práticos são:

O primeiro é a melhoria significativa na precisão do reconhecimento de documentos complexos. Os modelos anteriores costumavam confundir as anotações manuais em declarações de embarque de várias páginas e os códigos de origem dos anexos. Após a adoção do Opus, incorporamos as regras de conformidade acumuladas pela empresa ao longo de 3 anos, juntamente com a lista de todos os produtos daquele lote.A taxa de precisão na identificação aumentou diretamente para 98%, e a quantidade de revisão manual caiu em 60%.Durante o pico da promoção da semana passada, também não houve acumulo excessivo de pedidos anormais.

O segundo ponto é a dispensa da necessidade de trabalhar com complexos sistemas de geração de prompts. Antes, para fazer com que os pequenos modelos gerassem dados estruturados que atendessem aos requisitos aduaneiros, levamos meio mês apenas para ajustar os prompts, além de ter que adicionar várias camadas de verificação de regras; com o Opus, basta fornecer três exemplos de formato corretos, e o conteúdo gerado pode ser diretamente integrado ao nosso sistema de declaração aduaneira, economizando pelo menos uma semana de trabalho de desenvolvimento.

O terceiro ponto é que o tratamento de dados sensíveis é muito mais fácil. No nosso negócio transnacional, temos muito medo de que informações fiscais dos usuários e dados de qualificação empresarial sejam vazados. O Opus suporta o processamento de dados sem necessidade de treinamento prévio (zero-shot), o que significa que não é necessário usar dados sensíveis para ajustes finos. Basta adicionar uma regra de processamento na solicitação para obter o resultado, o que está em total conformidade com as exigências do GDPR, sem a necessidade de aprovações adicionais de conformidade de dados.

Não se apresse em entrar no carro, nós já passamos por esses buracos antes.

Primeiro, o custo é realmente alto. Antes, usar um modelo comum para processar 1000 declarações de importação custava cerca de 2 dólares, mas depois de mudarmos para o Opus, o custo subiu para 15 dólares. Se você processar menos de 100 documentos por dia, esse custo é mais caro do que contratar um revisor freelancer.

Em segundo lugar, a taxa de congestionamento durante os períodos de pico foi mais grave do que o esperado. No dia da grande promoção, aumentamos o número de solicitações concorrentes para 10, e imediatamente 12% delas retornaram o erro 429. Por isso, tivemos que adicionar uma camada de fila de tarefas para processar as solicitações não urgentes durante a noite, o que ajudou a aliviar o problema.

Outra pequena questão: a taxa de reconhecimento de conteúdo escrito em línguas minoritárias e muito pouco comuns cai drasticamente. Encontramos um certificado de origem escrito em português, e o Opus reconheceu erradamente o código nele contido. Foi necessário uma revisão manual para corrigir o problema. Se o seu negócio envolve muitos documentos escritos em línguas não comuns, é melhor testar a precisão do sistema com o seu próprio conjunto de dados antes de usá-lo.

Quem deve usar? Quem realmente não precisa sequer tocar nisso?

Os cenários adequados são muito claros: se você precisar lidar com documentos longos, conteúdo complexo e multimodal, como a revisão de contratos legais, a reconhecimento de formulários com várias páginas, ou a depuração de grandes bibliotecas de código, e se exigir uma alta precisão, onde o custo de um erro for muito maior do que o custo de chamar um modelo, então o Opus certamente pode ajudar a economizar muito tempo e esforço.

Se você só precisa usar isso para respostas ao atendimento ao cliente, geração de texto comum ou extração simples de palavras-chave, então realmente não há necessidade disso; modelos pequenos comuns são mais do que suficientes para atender às suas necessidades, e ainda economizam mais de 80% no custo.

Duas dicas práticas para equipes que estão começando pela primeira vez

Primeiro, não faça uma substituição completa de imediato. Comece com 10% das solicitações mais complexas do seu negócio, aquelas que têm o maior custo de erro, e migre-as para o Opus. Analise os dados por uma semana para calcular o retorno sobre investimento (ROI) antes de aumentar gradualmente a proporção. Nós começamos testando os formulários de declaração aduaneira em vários idiomas, que são os mais propensos a erros, e só após confirmar os benefícios é que realizamos a migração completa.

Em segundo lugar, é essencial adotar uma estratégia de downgrade. Quando ocorrer limitação de tráfego ou a confiabilidade da identificação for inferior a 90%, é necessário alternar automaticamente para um modelo de baixo custo ou para um processo de tratamento manual. Não deve-se depender exclusivamente desse modelo para todos os negócios.

Finalmente resolvemos um problema sobre o qual nossa equipe discutiu por muito tempo: deveríamos esperar por uma nova versão mais barata? Nossa conclusão é que, se o seu negócio já está enfrentando problemas de eficiência no processamento de documentos complexos, começar a usar a nova versão agora economizará custos de mão de obra. O dinheiro que economizamos com a redução dos custos de revisão neste mês já é suficiente para cobrir os custos de chamada dos modelos nos próximos seis meses.