Nous utilisons Claude 3 Opus pour le traitement de la reconnaissance des déclarations de douane transfrontalières, ce qui nous a permis d'économiser 60 % des coûts de révision manuelle. Cependant, nous avons rencontré trois problèmes importants.

Lors de la grande promotion du mois dernier sur le site européen, notre équipe de trois personnes chargée du dédouanement transfrontalier a été tellement occupée qu’elle a travaillé sans arrêt : les nouvelles politiques de conformité exigent que chaque déclaration de douane corresponde aux codes des produits, aux certificats d’origine et aux numéros d’identification fiscale de l’UE. Le petit modèle que nous utilisions auparavant avait un taux de reconnaissance inférieur à 70 %, ce qui a entraîné l’accumulation de 1200 déclarations anormales à revoir en une seule semaine, ralentissant ainsi tout le processus de dédouanement de deux jours.

Qu’est-ce que Claude 3 Opus ?

C'est le modèle de langage large le plus puissant d'Anthropic pour l'instant.Une seule fois, il est possible d'entrer jusqu'à 2 millions de tokens, ce qui équivaut à pouvoir fournir directement un manuel complet de conformité commerciale de 1500 pages comme référence contextuelle.Il n'est pas nécessaire de diviser le contenu en segments pour effectuer la demande de traduction.

Les trois principaux bénéfices que nous avons constatés dans nos tests

Le premier point concerne l'amélioration significative de la précision de reconnaissance des documents complexes. Les modèles précédents avaient tendance à confondre les notes manuscrites présentes dans les déclarations de douane sur plusieurs pages ainsi que les codes d'origine des annexes. Avec l'utilisation d'Opus, nous avons intégré les règles de conformité accumulées par l'entreprise au cours des trois dernières années ainsi que la liste de tous les produits de la commande en question.La précision de l'identification est passée directement à 98 %, et la quantité de relecture manuelle a diminué de 60 %.Pendant la période de forte promotion de la semaine dernière, aucun cas d'accumulation anormale de commandes n'a été enregistré.

Le deuxième avantage est l'évitement de la complexité des travaux sur les mots-clés de suggestion. Auparavant, pour faire en sorte que de petits modèles produisent des données structurées conformes aux exigences douanières, nous avons passé un demi-mois à ajuster les mots-clés et à mettre en place plusieurs niveaux de vérification des règles ; avec Opus, il suffit de fournir trois exemples de format corrects, et le contenu généré peut être directement intégré à notre système de déclaration, ce qui nous épargne au moins une semaine de travail de développement.

Le troisième avantage est que le traitement des données sensibles est beaucoup plus simple. Lorsque nous menons des activités transfrontalières, nous craignons particulièrement la fuite d'informations fiscales des utilisateurs et de données relatives aux qualifications des entreprises. Opus prend en charge le traitement des données sans aucune préparation préalable (zero-shot processing), ce qui signifie qu'il n'est pas nécessaire de utiliser des données sensibles pour les ajustements finaux. Il suffit d'ajouter une règle de traitement dans la demande pour obtenir le résultat, ce qui est entièrement conforme aux exigences du GDPR et évite tout besoin de procédures supplémentaires de conformité des données.

Ne vous pressez pas de monter dans la voiture, nous avons déjà franchi ces obstacles.

Tout d’abord, les coûts sont vraiment élevés. Auparavant, nous utilisions un modèle standard pour traiter 1000 déclarations de douane, et les coûts étaient d’environ 2 dollars. Après avoir adopté Opus, les coûts ont directement augmenté à 15 dollars. Si vous traitez moins de 100 documents par jour, ce coût est même plus élevé que celui d’embaucher un réviseur à temps partiel.

Ensuite, le ratio de débit de données pendant les périodes de pointe est plus grave que prévu. Le jour de la grande promotion, nous avons augmenté le nombre de requêtes simultanées à 10, et 12 % des requêtes ont retourné une erreur 429. Nous avons dû ajouter une file d'attente pour les tâches pour traiter les requêtes non urgentes tôt le matin, ce qui a permis de résoudre ce problème.

Il y a encore un petit problème : le taux de reconnaissance des écritures manuscrites dans des langues très rares chute considérablement. Nous avons rencontré un cas où Opus a mal reconnu le code d'une attestation d'origine écrite en portugais, et il a fallu une vérification manuelle pour corriger l'erreur. Si votre activité implique de nombreux documents manuscrits dans des langues non courantes, il serait préférable de tester d'abord le taux de précision avec votre propre ensemble de données.

À qui devrait-il être destiné ? À qui n’est-il absolument pas nécessaire de s’en occuper ?

Les scénarios appropriés sont clairs : si vous avez besoin de travailler avec des documents longs ou des contenus complexes et multimodaux, tels que l'examen de contrats juridiques, la reconnaissance de formulaires sur plusieurs pages ou le débogage de grands codebases, et que vous exigez une très haute précision, avec un coût des erreurs bien supérieur au coût de l'appel du modèle, Opus peut certainement vous aider à économiser beaucoup de temps et d'efforts.

Si vous l'utilisez uniquement pour des questions-réponses en service client, la génération de texte courant ou l'extraction de mots-clés simples, alors ce n'est vraiment pas nécessaire. De petits modèles standard peuvent parfaitement répondre à ces besoins, et vous pouvez économiser plus de 80 % des coûts.

Deux conseils pratiques pour une équipe qui commence pour la première fois

Premièrement, ne procédez pas à un remplacement complet dès le début. Commencez par mettre en œuvre Opus pour 10 % des demandes les plus complexes dans votre activité, celles qui entraînent les coûts d’erreur les plus élevés, et suivez une période d’une semaine pour analyser clairement le retour sur investissement (ROI). Ensuite, augmentez progressivement la proportion. Nous avons commencé par tester les déclarations douanières multilingues, qui sont les plus susceptibles de rencontrer des erreurs, et nous n’avons procédé au remplacement complet qu’après avoir confirmé les bénéfices.

Deuxièmement, il est essentiel d'intégrer une stratégie de dégradation. Lorsque des problèmes de limitation de débit sont rencontrés ou que le degré de confiance dans l'identification est inférieur à 90 %, il faut passer automatiquement à un modèle à faible coût ou à un processus de traitement manuel, afin de ne pas reposer tous les services sur le même modèle.

Voici la traduction en français du texte donné : <<><MG_SEG_73240662A0B8_SOURCE>>> Résolution finale d'un problème sur lequel notre équipe s'est longuement interrogée : devrions-nous attendre une nouvelle version plus économique ? Notre conclusion est que si votre activité est déjà ralentie par le traitement de documents complexes, il est avantageux de l'utiliser dès maintenant pour économiser des coûts de main-d'œuvre. Le coût en main-d'œuvre épargné au cours de ce mois grâce aux révisions effectuées avec cette nouvelle version est déjà suffisant pour couvrir les frais de mise en œuvre du modèle pour les six prochains mois. <<><MG_SEG_73240662A0B8_END>>>