Nous avons économisé 32 % de main-d'œuvre en utilisant GPT-4 pour traiter des millions de tickets d'après-vente, évitez donc ces 3 erreurs.

Pendant la période de pointe de la promotion du Black Friday du mois dernier, notre équipe de trois personnes surveillait les panneaux de contrôle et a vu le taux d'erreurs (code 429) des demandes d'assistance clientèle passer de 1 % à 12 %. Le petit modèle que nous utilisions auparavant ne pouvait pas gérer le volume élevé de demandes multilingues, soit plus de 1,2 million par jour, ce qui a entraîné une augmentation de quatre fois du nombre de plaintes des clients en 24 heures. Finalement, nous avons déplacé temporairement le trafic vers GPT-4, ce qui a permis de réduire le taux d'erreurs en dessous de 0,3 %.

D'abord, il faut comprendre ce que GPT-4 peut vraiment apporter d'économies aux petites et moyennes entreprises.

En bref, c'est le plus grand modèle d'OpenAI actuellement ouvert aux entreprises, avec une capacité de contexte allant jusqu'à 128 k caractères. Sa précision dans la compréhension multilingue est supérieure de plus de 40 % à celle de la plupart des petits modèles spécialisés. Vous pouvez l'utiliser directement pour gérer des scénarios complexes sans avoir à effectuer de nombreux ajustements supplémentaires.

Pour notre petite équipe de 20 personnes qui s’occupe de la vente de gros électroménagers à l’échelle internationale, les trois bénéfices les plus directs ne nécessitent même pas de calcul complexe de ROI (Return on Investment) :

• Tout d’abord, les tickets multilingues n’ont plus besoin d’être accompagnés de traducteurs spécifiques. L’assistance après-vente en espagnol, français et polonais peut être comprise directement, et des réponses standard dans les langues correspondantes peuvent être générées.Notre personnel après-vente a été directement réduit de 32 %.
• Le taux de précision dans le diagnostic des pannes complexes est beaucoup plus élevé que celui des petits modèles utilisés précédemment. Auparavant, 17 % des demandes nécessitaient une vérification manuelle secondaire, tandis que maintenant, ce pourcentage est inférieur à 4 %.
• Il n'est pas nécessaire d'accumuler une grande quantité de données d'entraînement pour les micro-ajustements. Il suffit d'ajouter les manuels d'utilisation des nouveaux produits, et en 2 heures, le système peut être adapté pour répondre aux questions d'après-vente correspondantes. L'efficacité s'améliore particulièrement pendant les périodes de promotions importantes.

Ne vous contentez pas que des avantages ; nous avons également rencontré quelques vrais problèmes que nous avons dû surmonter.

Le premier problème est celui du contrôle des coûts. Lorsque nous avons passé à GPT-4, nous n'avons pas effectué de troncage des données entrantes ; les textes générés à partir de dizaines de pages de captures d'écran d'erreurs téléchargées par les utilisateurs ont été directement intégrés, entraînant des dépenses en tokens supérieures à celles de la semaine précédente. Plus tard, nous avons ajouté une étape de filtrage préliminaire pour éliminer les informations redondantes inutiles, ce qui a permis de réduire les coûts de moitié.

Le deuxième problème est vraiment problématique : la limitation de la vitesse de traitement des requêtes. Si l'on utilise directement l'interface officielle pendant des périodes de forte affluence, il est très facile de rencontrer une limite de concurrence. Le jour du Black Friday, nous avons rencontré une limitation de la vitesse de traitement pendant 10 minutes. Nous avons dû contacter le responsable client trois jours à l'avance pour demander une expansion temporaire de la capacité, et c'est seulement après cela que le problème a été résolu. Il ne faut absolument pas attendre que le trafic augmente pour faire la demande.

Le troisième problème est le mauvais détecteur de contenu sensible. Un utilisateur a simplement demandé si la coque de l'four devenait trop chaude lorsqu'il était en marche et si cela pouvait provoquer une explosion, mais la demande a été immédiatement bloquée par l'interface de sécurité du contenu, renvoyant une erreur. Plus tard, nous avons ajouté une vérification préalable des mots sensibles pour filtrer d'abord les mots-clés liés aux demandes d'assistance normales, ce qui a permis de réduire le taux de faux positifs à un niveau acceptable.

Devrions-nous vraiment passer à GPT-4 maintenant ? Regardons d’abord ces deux critères.

Cas d'utilisation :Si vous avez besoin de gérer du contenu multilingue, de réaliser des raisonnements sur des textes longs et complexes (comme la rédaction de résumés de documents de plusieurs dizaines de pages, des consultations après-vente en plusieurs étapes, ou le débogage de code), ou si votre équipe n'a pas de spécialistes en algorithmes pour ajuster les petits modèles, utiliser directement GPT-4 est beaucoup plus rentable que de créer vos propres modèles.

Cas où il ne faut pas l'utiliser :Si votre scénario est particulièrement simple, par exemple si vous vous contentez de générer des réponses basées sur des mots-clés, des messages texte avec des modèles prédéfinis, ou si tous les données ne doivent pas quitter votre domaine, alors il n’est vraiment pas nécessaire d’utiliser un modèle complexe. Un petit modèle moins coûteux ou même un moteur de règles suffiront amplement. Dépenser de l’argent pour cela serait purement une perte.

Deux conseils concrètes pour une équipe qui commence pour la première fois

Premièrement, utilisez 10 % du trafic pour effectuer des tests en mode gris pendant 7 jours afin de vérifier si les taux de précision, les coûts et la vitesse de réponse correspondent à vos attentes. Ne procédez pas à un changement complet d’un coup. Nous avons rencontré des problèmes de limitation de trafic lors du changement complet, et maintenant les tests en mode gris font partie de notre processus standard pour mettre à jour les modèles.

Deuxièmement, il est essentiel d'ajouter une couche de planification du trafic avant de l'envoi des requêtes. Les demandes simples sont acheminées vers des petits modèles moins coûteux, tandis que seules les requêtes complexes, que les petits modèles ne peuvent pas gérer, sont envoyées à GPT-4. Après avoir adopté cette approche, le coût total du modèle a de nouveau diminué de 28 %, sans pour autant que la qualité des résultats ne soit affectée.

Deux petits problèmes courants

Question : Y a-t-il un risque de fuite de données ? Réponse : Si vous choisissez l'API Enterprise, OpenAI indique clairement qu'ils ne utiliseront pas les données saisies par les utilisateurs pour entraîner les modèles. Nous avons effectué une vérification de conformité et nous respectons les exigences du RGPD de l'Union européenne, vous pouvez donc l'utiliser en toute confiance.

Question : La vitesse de réponse sera-t-elle lente ? Réponse : La plupart des demandes d'information concernant les tickets sont retournées en moins de 150 ms ; seuls les textes particulièrement longs peuvent prendre jusqu'à 1 seconde à être traités, ce qui est tout à fait suffisant pour les scénarios post-vente.