Nous avons déplacé le traitement des tickets de service client vers Claude 3.5 Sonnet, ce qui nous a permis d'économiser 21 000 euros en coûts de main-d'œuvre sur une période de 3 mois.

Le mois dernier, notre équipe de service client pour le commerce électronique en Europe a été à deux doigts de l’effondrement : une semaine avant la grande promotion de Black Friday, nous recevions en moyenne plus de 1200 e-mails par jour de la part d’utilisateurs de différentes langues. Malgré le travail acharné de trois agents de service client, 40 % des demandes ont dû être traitées dans plus de 24 heures, ce qui a entraîné une augmentation de 18 % du taux de mauvaises critiques des utilisateurs. Recruter des employés temporaires n’a pas seulement ralenti le processus de formation, mais a également coûté près de 20 000 euros de plus par mois.

Pour ceux qui n’ont jamais entendu parler de cela, voici une explication en une phrase :

Claude 3.5 Sonnet est un grand modèle multimodal lancé par Anthropic en 2024.Dans le contexte de la fenêtre de commande `200K`, la vitesse de raisonnement est deux fois plus rapide que celle de la génération précédente.Cela peut tout juste contenir toutes les informations de notre ticket individuel, ainsi que les commandes historiques des utilisateurs sur une période de près de 3 mois et les enregistrements de communication.

Les trois principaux bénéfices que nous utilisons ciblent tous des problèmes réels (des « points douloureux » dans le processus).

• Précision de la compréhension multilingue : Nos utilisateurs parlent allemand, français, espagnol et italien. Auparavant, les petits modèles utilisés pour gérer les demandes non en anglais confondaient fréquemment les termes "remboursement" et "échange de produit". Avec Sonnet, le taux d'erreur est inférieur à 2 %, permettant de gérer ces demandes directement sans avoir besoin d'outils de traduction supplémentaires.
• Gestion des documents longs : Lorsque les utilisateurs demandent un retour, ils accompagnent souvent leur demande de 5 à 6 photos des produits endommagés ainsi que d'une description de quelques centaines de mots. Sonnet est capable de consulter en une seule fois les images, le texte et les historiques des commandes précédentes, et de générer directement une solution de traitement conforme à nos règles de service après-vente, sans nécessiter de vérification manuelle des informations.
• Les coûts sont suffisamment bas : nos tests ont montré que le coût par token pour traiter 1000 tickets est inférieur à 10 euros. Même en incluant les frais de passerelle et de fine-tuning, le coût total mensuel est inférieur à un cinquième du salaire mensuel d'un agent de service client à plein temps.

Dès le premier mois avec Sonnet, le temps moyen de réponse à nos demandes d'assistance est passé de 17 heures à 1,5 heure.Les agents de service client n'ont plus à gérer les retours répétés ou les demandes d'information sur la livraison ; ils ne doivent s'occuper que d'environ 10 % des litiges complexes. De plus, aucun nouvel employé n'a été recruté pendant les périodes de promotions importantes.

Ne vous contentez pas de regarder les avantages ; les deux dernières semaines, nous avons fait face à deux vrais problèmes concrets.

Le premier problème concerne la reconnaissance de règles complexes : nous avions une règle spécifique qui disait que les produits personnalisés pouvaient être remboursés même s’ils présentaient des défauts après plus de 7 jours. Au début, lorsque nous avons appliqué cette règle directement au modèle, celui-ci refusait les demandes d’annulation ou d’échange conformément à la règle générale selon laquelle les produits personnalisés ne sont ni remboursés ni échangés. Plus tard, nous avons créé un prompt dédié pour cette règle spéciale, qui est appelé en priorité lorsque des mots-clés correspondants apparaissent, ce qui a permis de résoudre le problème.

Le deuxième point concerne la limitation du trafic : le nombre de demandes au pic pendant la journée de promotion était trois fois supérieur à la normale. Au début, aucune stratégie de dégradation n'avait été mise en place, ce qui a entraîné le retour d'erreurs 429 pour certaines demandes. Par la suite, nous avons ajouté un simple mécanisme de file d'attente pour différer le traitement des tickets non urgents de 10 minutes, et les échecs ne se sont plus produits.

Pour être clair : ceux pour qui c'est adapté peuvent l'utiliser sans aucun problème, tandis que pour d'autres, il est complètement inutile de s'y attaquer.

Si votre équipe répond à l'un de ces deux critères, il ne fera pas de mal d'utiliser cette solution : soit vous avez besoin de gérer de grandes quantités de textes longs et structurés dans plusieurs modalités, comme les tickets de service client, l'examen des contrats ou la rédaction de résumés de documents longs ; soit votre activité couvre des régions multilingues et vous ne souhaitez pas ajuster le modèle pour chaque langue individuellement.

Si vous avez simplement besoin de réponses basées sur des mots-clés simples, de la classification de textes courts, ou si vous avez des exigences très élevées en matière de confidentialité des données et que vous ne pouvez pas du tout transmettre ces données à des modèles externes, il n'est pas nécessaire de choisir cette solution ; des petits modèles ou même des moteurs de règles suffiront.

Deux conseils pratiques pour ceux qui l'utilisent pour la première fois

Lors du premier test, ne procédez pas à un changement complet d’un coup. Commencez par utiliser les tickets historiques qui ont déjà été traités au cours du dernier mois pour effectuer une première analyse. Comparez les résultats fournis par le modèle avec ceux obtenus par le traitement manuel. Lorsque la précision atteint plus de 90 %, vous pourrez mettre le système en ligne, ce qui permettra d’éviter environ 80 % des problèmes d’adaptation des règles.

Si vos demandes présentent de fortes fluctuations, il est essentiel de mettre en place une file d'attente de dégradation simple : la limite de débit gratuite offerte par Sonnet est assez stricte. Pendant les périodes de pointe, vous pouvez repousser les tâches de moindre priorité pour répondre aux besoins de la plupart des petites et moyennes entreprises sans avoir à dépenser de frais supplémentaires pour un débit plus élevé.

Quelques questions que vous pourriez vous poser

Q : Est-il nécessaire de faire des ajustements spécifiques (micro-tuning) ? R : Nous avons simplement inclus les règles d'après-vente dans le prompt, et la précision est déjà suffisante. À moins que vos règles commerciales ne soient particulièrement complexes, il n'est pas nécessaire de dépenser de l'argent pour cela.

Q : Lequel est plus avantageux que GPT-4o ? A : Selon nos tests, le traitement des mêmes tickets par Sonnet coûte environ 30 % de moins, avec une précision similaire. Pour les petites et moyennes entreprises sensibles aux coûts, le premier choix est plus approprié.