Il nostro team è riuscito a ridurre i costi di analisi degli indirizzi del 62% grazie a GPT-3.5, e nel frattempo abbiamo anche risolto il problema del limitazione del traffico durante le promozioni.

Durante la promozione di Black Friday dello scorso mese, il nostro team di tre persone che si occupa della logistica di piccoli pacchi transfrontalieri nei Paesi Bassi non ha trascorso tutta la notte accanto ai server. L’anno scorso, a questa stessa epoca, l’accuratezza del nostro modello di correzione degli indirizzi sviluppato internamente era inferiore al 80%; inoltre, era necessario dedicare una persona interamente alle 24 ore per monitorare i log di errori. Solo a causa di errori negli indirizzi, il tasso di ritorno dei pacchi era del 11%.

Per spiegarlo in modo semplice a chi non ne ha mai sentito parlare: GPT-3.5 è un modello di intelligenza artificiale sviluppato da Google che è in grado di generare testi, risposte a domande, e altro ancora in modo molto naturale. In altre parole, è come se GPT-3.5 avesse una grande capacità di comprensione del linguaggio umano e potesse rispondere alle nostre domande come se fosse una persona reale.

È un modello di linguaggio di grandi dimensioni lanciato da OpenAI nel 2022; la versione stabile, ancora in fase di aggiornamento nel 2026, supporta finestre di contesto fino a 16.000 caratteri. La velocità di risposta alle richieste di output strutturato non in tempo reale è generalmente inferiore a 200 millisecondi, il che lo rende perfettamente adatto per le esigenze di elaborazione semantica leggera in ambienti online con elevata concorrenza.

Abbiamo scelto di utilizzarlo per risolvere i problemi di risoluzione degli indirizzi, e ci sono stati tre vantaggi concreti principali.

• Il primo aspetto è l’accuratezza immediata all’uso: non è necessario etichettare personalmente milioni di dati di indirizzi provenienti da diversi paesi per l’addestramento; abbiamo utilizzato soltanto 200 esempi di indirizzi anomali storici per un training “few-shot”, e l’accuratezza di analisi è migliorata immediatamente.98.7%La percentuale di errori è scesa direttamente al di sotto dell’1%.
• Il secondo vantaggio è che i costi sono molto più bassi rispetto allo sviluppo interno: in precedenza, il mantenimento del nostro modello autonomo e di 3 server GPU ci costava 1200 euro al mese; ora, utilizzando GPT-3.5 per elaborare 500.000 richieste al giorno, i costi mensili sono scesi a soli 450 euro, il che rappresenta una riduzione diretta del 62%.
• Il terzo aspetto positivo è che non dobbiamo preoccuparci affatto dell’espansione delle capacità: durante il periodo del Black Friday, il volume delle nostre richieste è aumentato di tre volte. In precedenza, il modello che avevamo sviluppato internamente riusciva a gestire al massimo un aumento del traffico del 150%, dopodiché si verificavano problemi di prestazioni. Questa volta, abbiamo semplicemente presentato una richiesta temporanea di aumento delle risorse al server di OpenAI in anticipo, e non si è verificato nemmeno un singolo errore di tipo 429 durante tutto il processo.

Non guardiamo solo i vantaggi: nei primi 3 mesi abbiamo fatto più errori di quanti guadagni abbiamo ottenuto.

All’inizio inviavamo direttamente i campi di indirizzo originali al modello, e spesso si verificava il problema che gli indirizzi di piccoli villaggi in Europa venivano riconosciuti come città negli Stati Uniti. Dopo una settimana di tentativi, abbiamo scoperto che la regola “dare priorità alla corrispondenza con il campo del paese di destinazione presente nella richiesta di logistica” non era stata inclusa nel prompt predefinito.

Un'altra volta abbiamo attivato accidentalmente l'output in streaming, il che ha causato un aumento del tempo di ritorno di tutti i risultati di analisi di tre volte. Durante il picco, sono stati generati oltre ventimila richieste che hanno raggiunto il limite di tempo di attesa; abbiamo impiegato mezza giornata per scoprire che un collega, modificando i parametri, aveva dimenticato di riattivare la configurazione corretta.

Il problema più complicato è stato quello delle fatture: all’inizio non abbiamo implementato alcun meccanismo per troncare i dati inseriti dagli utenti, quindi anche tutte le note irrilevanti che includevano nell’indirizzo sono state inviate al modello di elaborazione. Di conseguenza, la fattura di fine mese era del 30% più alta del previsto. Successivamente abbiamo aggiunto una regola che troncava i dati iniziali dopo 100 caratteri, e il mese successivo la situazione è tornata alla normalità.

In definitiva, GPT-3.5 non è la panacea; vi consiglio di non unirvi a questi due tipi di team senza una ragione precisa.

Se il tuo team deve lavorare con dati di alta riservatezza, come registri medici o informazioni finanziarie, non utilizzare la versione pubblica di GPT-3.5, per quanto possa essere economica e conveniente: i rischi per la conformità dei dati sono troppo grandi da affrontare.

Se il tuo obiettivo è generare documenti professionali di migliaia di parole o effettuare ragionamenti logici complessi, scegli direttamente GPT-4o o Claude 3. La precisione di GPT-3.5 in queste attività è molto inferiore, e risparmiare quei pochi soldi non è sufficiente nemmeno per pulirti il sedere.

Al contrario, se ciò che devi fare è la classificazione delle intenzioni degli utenti, la correzione di testi brevi, l'estrazione di informazioni strutturate e altri compiti semantici di tipo leggero, e non hai bisogno di un livello elevato di ragionamento, GPT-3.5 rimarrà la scelta più conveniente fino al 2026, senza alcun dubbio.

3 consigli pratici per chi lo utilizza per la prima volta, tutti basati sugli errori che abbiamo commesso noi

• Prima di lanciare il servizio, esegui per 7 giorni il traffico di test: invia le richieste sia al tuo solito sistema che a GPT-3.5, e confronta solo i risultati senza distribuire il traffico effettivo. Assicurati che l’accuratezza e la velocità siano entrambe all’altezza delle aspettative prima di effettuare il passaggio completo.
• Aggiungi un filtro iniziale a tutti gli input: elimina gli spazi in eccesso, le note irrilevanti e i caratteri speciali in anticipo. Questo può ridurre di almeno il 20% il consumo di token e anche diminuire la probabilità di errori nel modello.
• È essenziale predisporre un piano di backup: nel caso in cui l’interfaccia di OpenAI dovesse smettere di funzionare, è necessario disporre di una soluzione alternativa di livello inferiore in grado di prendere il suo posto. Anche se la precisione potrebbe essere inferiore, è comunque meglio di un servizio completamente inutilizzabile.

FAQ

Ora siamo nel 2026, ci sono così tanti nuovi modelli disponibili… C’è ancora bisogno di utilizzare GPT-3.5?
È assolutamente necessario per compiti di piccola entità; abbiamo confrontato modelli open source di pari costo e il GPT-3.5 presenta un tasso di accuratezza almeno del 5% più alto. Inoltre, non richiede alcuna manutenzione o configurazione da parte dell’utente, il che riduce ulteriormente i costi totali.

Devo preoccuparmi del throttling quando lo chiamo?
Il traffico quotidiano, a meno che non aumenti improvvisamente di più del 10%, di solito è sufficiente con la quota standard. Per richiedere un aumento della quota in occasione di promozioni importanti, basta inviare una richiesta 3 giorni in anticipo. Abbiamo fatto questa richiesta 3 volte e in tutti i casi l’approvazione è arrivata in meno di 2 ore.