Abbiamo risparmiato il 32% della manodopera elaborando milioni di ticket di assistenza clienti con GPT-4, evitando di commettere questi 3 errori comuni.

Durante il picco della promozione del Black Friday dello scorso mese, i tre membri del nostro team hanno monitorato attentamente i pannelli di controllo e hanno assistito all’aumento del tasso di errori (429) nelle richieste di assistenza clienti, che è passato dal 1% al 12%. Il modello precedente non riusciva affatto a gestire il volume elevato di consultazioni multilingue, pari a 1,2 milioni al giorno; inoltre, il numero di reclami da parte dei clienti è aumentato di quattro volte in 24 ore. Solo dopo aver temporaneamente attivato il traffico fornito dal GPT-4 siamo riusciti a ridurre il tasso di errori al di sotto del 0,3%.

Prima di tutto: cosa può davvero risparmiare alle piccole e medie imprese il GPT-4?

In parole semplici, è il modello di grande dimensione più equilibrato attualmente disponibile da OpenAI per le aziende: supporta un input di contesto fino a 128.000 caratteri, offre una precisione nella comprensione di più lingue superiore del 40% rispetto alla maggior parte dei modelli verticali, e permette di gestire facilmente scenari complessi senza dover effettuare molti aggiustamenti aggiuntivi.

Per il nostro piccolo team di 20 persone che opera nel settore della vendita al dettaglio di elettrodomestici a livello internazionale, i tre benefici più immediati non richiedono nemmeno di calcolare un ROI complesso:

• Prima di tutto, non è più necessario assegnare personale dedicato alla traduzione per le richieste in più lingue: il sistema è in grado di comprendere direttamente le domande in spagnolo, francese e polacco relative al servizio post-vendita e di fornire risposte standard nella rispettiva lingua.Il nostro personale addetto al servizio post-vendita ha risparmiato direttamente il 32%.
• La precisione nel riconoscimento dei guasti complessi è molto più alta rispetto ai modelli precedenti; in passato, il 17% delle richieste richiedeva una verifica manuale secondaria, mentre ora questa percentuale è inferiore al 4%.
• Non è necessario accumulare molti dati di addestramento per i microaggiustamenti: basta inserire le istruzioni per i nuovi prodotti nel sistema, e in 2 ore sarà possibile adattare il servizio di assistenza clienti di conseguenza. L’efficienza aumenta in modo particolarmente evidente durante le promozioni.

Non guardate solo i vantaggi: abbiamo già incontrato alcuni problemi reali in passato.

Il primo problema è quello del controllo incontrollato dei costi. Quando abbiamo passato a GPT-4, non abbiamo effettuato la troncatura degli input; il testo ottenuto da decine di pagine di screenshot di guasti caricati dagli utenti è stato inserito direttamente, causando un consumo di token giornaliero superiore a quello di un intero settimana precedente. In seguito, abbiamo aggiunto un passaggio di filtraggio preliminare per eliminare le informazioni ridondanti e inutili, riducendo i costi della metà.

Il secondo problema è sicuramente il throttling, che rappresenta davvero una scocciatura. Se si utilizza direttamente l’interfaccia ufficiale durante picchi di traffico causati da promozioni temporanee, è facile raggiungere il limite di concorrenza. Il giorno del Black Friday abbiamo incontrato un problema di throttling che ha durato 10 minuti; per risolverlo, abbiamo contattato il responsabile del cliente 3 giorni in anticipo per richiedere un’espansione temporanea delle risorse. Non aspettate mai che il traffico aumenti prima di richiedere un intervento.

Il terzo problema è il falso riconoscimento di contenuti sensibili. Un utente ha semplicemente chiesto: “Il guscio del forno diventa un po’ caldo quando è in funzione; potrebbe esplodere?”, ma la richiesta è stata bloccata immediatamente dall’interfaccia di sicurezza dei contenuti, restituendo un errore. Successivamente abbiamo aggiunto un livello di verifica preliminare per le parole sensibili, filtrando prima le parole chiave relative a normali richieste di assistenza, e solo allora il tasso di falsi riconoscimenti è sceso a un livello accettabile.

Dovremmo davvero passare a GPT-4? Prima diamo un’occhiata a questi due criteri.

Casi in cui può essere utilizzato:Se hai bisogno di gestire contenuti in più lingue, di effettuare ragionamenti su testi lunghi e complessi (ad esempio, riassumere documenti di decine di pagine, gestire più round di assistenza clienti, o debuggare codice), o se il tuo team non dispone di specialisti in algoritmi per il fine-tuning di modelli, utilizzare direttamente GPT-4 è molto più conveniente rispetto a creare i tuoi modelli da solo.

Casi in cui non dovrebbe essere utilizzato:Se la tua situazione è particolarmente semplice, ad esempio se ti limiti a fornire risposte basate su parole chiave, a generare messaggi di testo in formati predefiniti, o se tutti i dati non possono essere condivisi con terze parti, allora non c’è davvero bisogno di utilizzare soluzioni più complesse. Modelli di machine learning economici o semplici motori basati su regole possono bastare; spendere soldi in questo modo sarebbe semplicemente uno spreco.

Due suggerimenti concreti per un team che sta iniziando per la prima volta

Prima di tutto, utilizziamo il 10% del traffico per un test in modalità “grayscale” (graduale) per verificare per 7 giorni se l’accuratezza, i costi e la velocità di risposta soddisfano le tue aspettative. Non effettuare il passaggio completo all’improvviso: in passato abbiamo incontrato problemi legati ai limiti di traffico proprio a causa di questo. Ora, il test in modalità grayscale è diventato una parte fissa del nostro processo di aggiornamento dei modelli.

In secondo luogo, è essenziale aggiungere uno strato di pianificazione del traffico preliminare per indirizzare le richieste semplici ai modelli più economici, trasmettendo soltanto quelle complesse che i modelli più semplici non riescono a gestire al GPT-4. Dopo aver adottato questa soluzione, il costo complessivo dei modelli è diminuito del 28%, senza alcun compromesso sulle prestazioni.

Due piccoli problemi comuni

Domanda: Potrebbe verificarsi una fuga di dati? Risposta: Se si utilizza l’API per aziende, OpenAI specifica chiaramente che i dati forniti dagli utenti non verranno utilizzati per l’addestramento dei modelli. Abbiamo effettuato controlli di conformità e rispettiamo i requisiti del GDPR dell’Unione Europea, quindi potete utilizzarlo con fiducia.

Domanda: La velocità di risposta sarà molto lenta? Risposta: La maggior parte delle richieste di consulenza relative ai ticket viene restituita in meno di 150 millisecondi; solo il trattamento di testi molto lunghi potrebbe richiedere fino a 1 secondo, il che è più che sufficiente per le situazioni post-vendita.