Les entreprises de commerce électronique de produits frais en Asie du Sud-Est utilisent Claude pour la qualité des commandes, ce qui leur permet d’économiser trois postes de service client, mais elles ont également rencontré deux problèmes graves.

La semaine dernière, notre équipe a dû gérer un incident inattendu : le jour d'une grande promotion, 18 % des demandes d'assistance après-vente sont restées bloquées dans la file d'attente en raison d'un format d'exportation incorrect de la part de Claude. La réponse aux demandes d'indemnisation pour les fruits frais avariés a pris 4 heures de plus, ce qui a entraîné une augmentation de 2 points de pourcentage du taux de retours des commandes le même jour.

Pour ceux qui ne sont pas familiers avec le sujet, expliquons clairement : qu'est-ce que Claude, au juste ?

Il s'agit d'un grand modèle linguistique développé par Anthropic, et la dernière version, 3.5 Sonnet, permet d'utiliser une fenêtre de contexte unique de 200 000 tokens, ce qui équivaut à environ 150 000 mots en chinois. Nous l'avons choisi dès le début parce qu'il permettait d'intégrer en une seule fois l'intégralité des flux de commandes, les résultats de l'OCR des images présentées par les utilisateurs et les règles de compensation de la plateforme, sans avoir à effectuer plusieurs demandes séparées.

Les trois bénéfices concrets que nous avons obtenus en l'utilisant

Le plus direct est la réduction des coûts de main-d'œuvre : sur les 6 postes de service client qui étaient auparavant chargés de la qualité des commandes, il n'en reste plus que 3 pour gérer les cas exceptionnels. Cela permet d'économiser 4200 dollars par mois en dépenses de personnel.

Le deuxième point concerne l'amélioration de la vitesse de traitement : alors qu'auparavant, l'examen manuel d'une demande prenait en moyenne 2 minutes, la plupart des demandes sont maintenant traitées en moins de 15 millisecondes. Les résultats sont disponibles en seulement 5 secondes après que l'utilisateur a soumis sa demande d'indemnisation, ce qui a entraîné une augmentation directe de 17 % du niveau de satisfaction des utilisateurs selon nos données internes.

Le troisième point est l'uniformité de l'exécution des règles : auparavant, lors des audits manuels, il arrivait fréquemment que des erreurs similaires soient commises, entraînant des indemnisations différentes selon les cas (par exemple, certaines personnes recevaient une indemnisation complète tandis que d'autres n'en recevaient que 30 %). Les plaintes des utilisateurs concernant des décisions jugées injustes étaient nombreuses, atteignant plusieurs dizaines par mois. Après l'introduction de la règle unifiée Claude, le nombre de ces plaintes a chuté à moins de trois par mois.

Ne vous contentez pas que des avantages : nous avons failli devoir fermer le service à cause de ces deux problèmes.

Le premier problème était celui de la limitation de la charge : au début, nous nous sommes directement connectés à l'API officielle sans mettre en place de mécanismes de dégradation. Le jour de la grande promotion, le nombre de demandes a triplé, et l'API a directement retourné un code d'erreur 429. Comme nous n'avions pas de mécanisme de déclenchement manuel de remplacement, des milliers de tickets de support ont été bloqués. Par la suite, nous avons ajouté un petit modèle ayant le même effet comme plan de dégradation : si trois demandes échouent consécutivement, le système passe automatiquement au petit modèle, et seulement en cas d'échec supplémentaire, il demande de l'aide humaine. Depuis, il n'y a plus eu de blocage massif des demandes.

Le deuxième problème est l’instabilité de la sortie structurée : au début, nous lui demandions de retourner les résultats des jugements sous forme de JSON, mais dans environ 2 % des cas, il ajoutait un ensemble d’informations explicatives en dehors du format JSON, ce qui provoquait des erreurs dans notre script de traitement. Plus tard, nous avons ajouté une phrase à la fin de la commande d’invite disant « Si votre sortie n’est pas du JSON pur, vous serez fermé », et le taux de survenance de ce problème est tombé en dessous de 0,1 %.

À qui cela convient-il ? À qui ne faut-il absolument pas s'y attaquer ?

Si votre équipe doit régulièrement gérer de nombreuses tâches répétitives avec des règles bien définies et une quantité importante de texte, comme l'examen des commandes en ligne, la classification des tickets de service client ou la première vérification des clauses de contrats, et si vous êtes prêts à consacrer 1 à 2 semaines à ajuster les prompts et à mettre en place des mécanismes de dégradation, Claude peut vous aider à économiser beaucoup d'argent et de temps.

Si votre scénario exige une précision de 100 % dans les résultats, comme dans le diagnostic médical ou l'examen final des transactions financières, ou si votre équipe ne dispose même pas de personnel spécialisé en maintenance ou en développement et que vous souhaitez utiliser le système sans aucune modification préalable, alors ne vous y aventurez pas : les risques de problèmes sont bien plus élevés que vous ne le pensez.

Deux conseils pratiques pour ceux qui utilisent cela pour la première fois

Premièrement, lors du lancement, ne passez pas directement en mode de production. Commencez plutôt par 7 jours en mode “shadow” : toutes les demandes seront traitées à la fois par des opérateurs humains et par le système Claude. Comparez la cohérence des résultats des deux approches et ne transférez le trafic que lorsque cette cohérence atteint plus de 95 %. Nous avons utilisé ce mode pendant 10 jours et avons détecté trois erreurs dans la compréhension des règles ; nous avons donc modifié les prompts à temps pour éviter tout problème.

Deuxièmement, ne confiez pas toutes les demandes à la version la plus performante ; utilisez Haiku uniquement dans les cas où c’est vraiment nécessaire. Nous avons par la suite déplacé les demandes de classification de tickets simples vers Haiku, ce qui a permis de réduire directement les coûts liés aux tokens de 60 % et d’accélérer les performances de moitié, tout en conservant un résultat identique.

Questions fréquentes

• Y a-t-il un risque de fuite de données ?Si vos données sont sensibles, achetez directement la version entreprise et signez un accord de traitement des données. Anthropic ne utilisera pas les données des demandes de la version entreprise pour entraîner ses modèles. Nous l'avons utilisée pendant 8 mois sans aucun problème de données.
• Quel est meilleur que GPT ?Si votre scénario nécessite le traitement de longs textes et une compréhension approfondie du contexte, choisissez Claude ; si vous avez besoin de génération multimodale, comme la création de dessins, choisissez GPT. Nous utilisons les deux actuellement, chacun pour des scénarios différents.