Notre équipe a déplacé le traitement de l'identification des adresses sur GPT-5, ce qui a permis de réduire l'erreur 429 de 13 % à 0,2 %. Cependant, nous avons rencontré deux problèmes inattendus.

Le mois dernier, la grande promotion de Black Friday s'est terminée, et nos trois équipes de développement backend ont passé 72 heures entières à surveiller les panneaux de contrôle. L'année dernière, pendant la promotion, 13 % des demandes d'analyse d'adresses ont directement rencontré le problème de limitation de débit (429 errors), mais cette année, ce problème ne s'est pas reproduit. La seule modification majeure concerne le remplacement de tous les modèles généraux utilisés précédemment par GPT-5 pour le traitement structuré des adresses.

Pour ceux qui n’ont pas encore essayé, expliquons clairement ce que GPT-5 représente dans notre type de scénarios.

Il s'agit du modèle multimodal mis à jour par OpenAI cette année, et le seul paramètre qui nous est le plus utile est l'ancrage des paramètres :La limite maximale de demandes de traitement structuré par compte par minute est 12 fois supérieure à celle du modèle précédent.De plus, le taux de reconnaissance des entrées non standard a été amélioré d'un ordre de grandeur.

Nous nous occupons du transport transfrontalier en Europe et traitons chaque jour 500 000 adresses saisies par les utilisateurs. Beaucoup de personnes mélangent les rues, les codes postaux et les villes, ou ajoutent même des emoji de manière aléatoire, ou épellent incorrectement. Les modèles précédents soit ne reconnaissaient pas correctement ces informations, soit il fallait appeler l'interface trois fois pour obtenir un résultat. Lorsque le trafic augmente pendant les promotions, le système est immédiatement limité en capacité.

Après le passage à GPT-5, les trois bénéfices concrets que nous avons obtenus sont les suivants :

Le premier aspect le plus évident : le problème de la limitation du débit est directement résolu.Pendant la période de forte promotion, le taux d'erreurs 429 a chuté à 0,2 %.Nous n'avons même pas besoin d'ajouter de file d'attente pour les modèles de rechange, ce qui nous permet d'économiser 30 % du temps d'exploitation consacré auparavant au balancement des charges.

Le deuxième point concerne l'amélioration de la précision de la reconnaissance des adresses. Auparavant, environ 8 % des adresses nécessitaient une vérification manuelle secondaire, tandis que maintenant ce pourcentage est tombé en dessous de 1 %. Par conséquent, l'équipe de service client gère moins de 2000 demandes de correction d'adresses par semaine.

Seul le troisième point n’a pas été beaucoup mentionné : il permet de télécharger directement des photos de bons de commande manuscrits pour les reconnaître, sans avoir à utiliser un service OCR séparément pour convertir les images en texte. Cela économise deux étapes dans le processus, et la plupart des demandes reçoivent un résultat en moins de 15 millisecondes. Seuls les bons de commande très flous peuvent prendre un peu plus de temps.

Ne vous concentrez pas seulement sur les avantages ; les deux erreurs que nous avons commises, vous risquez fort de les rencontrer également.

Le premier problème concerne l'adaptation de l'orthographe des dialectes dans les régions linguistiquement petites. Nous pensions que la capacité multilingue de l'outil était suffisamment forte, mais la semaine dernière, le taux d'erreur de reconnaissance des adresses en basque dans la région espagnole est soudainement monté à 12 %. Après investigation, nous avons découvert que les données d'entraînement contenaient très peu d'exemples d'adresses en ces dialectes peu répandus. Nous n'avons donc d'autre choix que d'ajouter des règles locales pour gérer ces adresses.

Le deuxième problème est le coût. Auparavant, nous avions calculé que le coût par token pour une seule demande n’était supérieur de 20 % seulement à celui de la génération précédente, mais nous avions oublié que le nombre de champs structurés retournés par défaut avait augmenté de 3. En conséquence, le coût réel par token était en fait de 40 % plus élevé. Plus tard, nous avons imposé que les champs retournés dans le prompt ne soient que les 5 nécessaires, ce qui a permis de ramener le coût à un niveau supérieur de seulement 10 % par rapport à la génération précédente.

Quelles équipes devraient agir immédiatement, et lesquelles ne devraient absolument pas être impliquées ?

• Il s'agit d'une solution qui répond à une demande importante : plus de 100 000 requêtes par jour pour le traitement structuré de textes et d'images non standardisés. Cela concerne notamment les petites et moyennes entreprises travaillant dans les domaines du e-commerce, de la logistique ou du traitement des tickets d'assistance client, qui avaient auparavant des problèmes de congestion due à la limitation de débit des modèles et à une précision insuffisante. Avec cette nouvelle solution, le retour sur investissement (ROI) deviendra très clair et mesurable.
• Ce qui ne devrait pas être utilisé : pour les équipes qui ne font que des questions-réponses simples, génèrent du contenu, ou dont le volume de demandes est inférieur à 10 000 par jour, il n’est absolument pas nécessaire de dépenser cet argent. Le modèle de la génération précédente est suffisant et peut même permettre d’économiser beaucoup de coûts.

Deux conseils concrets pour ceux qui commencent pour la première fois

Premièrement, utilisez les demandes réelles de vos utilisateurs des 7 derniers jours pour créer un ensemble de données de test. Ne vous contentez pas des exemples fournis par les autorités ; concentrez-vous en particulier sur les contenus concernant les langues minoritaires et les régions peu fréquentées. Effectuez d’abord une vérification de l’exactitude des résultats, car découvrir des erreurs de classification après le lancement du système pourrait être très problématique.

Deuxièmement, lors de la première appelation, indiquez directement dans le prompt les champs de retour dont vous avez besoin, sans laisser la fonction générer du contenu de manière aléatoire. Sinon, le contenu supplémentaire généré entraînera des coûts inutiles en termes de tokens.

Quelqu'un demande : Doit-on encore faire la queue pour obtenir GPT-5 aujourd'hui ?

Nous sommes des comptes de développeurs d'entreprise, et les qualifications sont validées après seulement 3 jours. Les développeurs individuels peuvent attendre de 1 à 2 semaines. Cependant, en cas d'urgence, il est possible d'utiliser la voie rapide pour les entreprises, ce qui permet d'obtenir l'accès le même jour.