Abbiamo trasferito l’elaborazione delle richieste di assistenza clienti al sistema Claude 3.5 Sonnet, risparmiando 21.000 euro in costi di personale in soli 3 mesi.

Il mese scorso, il nostro team di assistenza clienti per l’e-commerce europeo è stato sull’orlo del collasso: nella settimana precedente alla grande promozione di Black Friday, ricevevamo in media oltre 1200 email da utenti di diverse lingue al giorno. Nonostante i tre addetti all’assistenza lavorassero senza sosta, il 40% delle richieste richiedeva più di 24 ore per essere risposto, e il tasso di recensioni negative è aumentato del 18%. Assumere personale a tempo determinato non solo ha comportato problemi con i tempi di formazione, ma ha anche aumentato i costi di quasi 20.000 euro al mese.

Per chi non l’avesse mai sentito prima, ecco una spiegazione:

Claude 3.5 Sonnet è un grande modello multimodale lanciato da Anthropic nel 2024.Con il supporto di una finestra di contesto di 200K, la velocità di inferenza è raddoppiata rispetto alla generazione precedente.Riuscirebbe a contenere tutte le informazioni relative a un singolo ticket, nonché a quasi 3 mesi di ordini storici degli utenti e registri di comunicazione.

I tre principali benefici che utilizziamo si basano tutti su punti di dolore (problematiche esistenti nei processi o nelle situazioni).

• Precisione nella comprensione multilingue: I nostri utenti parlano tedesco, francese, spagnolo e italiano. In precedenza, l’utilizzo di modelli più semplici per gestire le richieste non in inglese portava spesso a confusione tra i termini “rimborso” e “sostituzione del prodotto”. Con Sonnet, il tasso di errori è inferiore al 2%, permettendoci di gestire queste richieste direttamente senza l’ausilio di strumenti di traduzione aggiuntivi.
• Trattamento efficace di documenti lunghi: Quando gli utenti richiedono il rimborso, spesso allegano 5-6 foto di prodotti danneggiati accompagnate da una descrizione di poche centinaia di parole. Sonnet è in grado di visualizzare simultaneamente le immagini, il testo e i record degli ordini precedenti, generando direttamente una soluzione di gestione conforme alle nostre regole di assistenza clienti, senza la necessità di ulteriori controlli manuali delle informazioni.
• I costi sono abbastanza bassi: abbiamo calcolato che il costo per elaborare 1000 ticket è inferiore a 10 euro. Anche includendo le spese per il gateway e i piccoli aggiustamenti, il costo totale mensile è inferiore al 1/5 dello stipendio di un addetto al servizio clienti a tempo pieno.

Nel primo mese di utilizzo di Sonnet, il tempo medio di risposta alle nostre richieste è diminuito da 17 ore a 1,5 ore.I clienti non devono più occuparsi di resi ripetute o di richieste di informazioni sui trasporti; devono gestire soltanto circa l’10% dei casi più complessi. Durante le promozioni, non è stato nemmeno necessario assumere nuovi dipendenti.

Non guardiamo solo i vantaggi: nelle ultime due settimane abbiamo inciampato in due problemi concreti.

Il primo problema riguarda l’identificazione di regole complesse: abbiamo una regola specifica che prevede il rimborso per prodotti personalizzati anche se il problema di qualità persiste per più di 7 giorni. All’inizio, quando abbiamo fornito questa regola direttamente al modello, esso rifiutava l’utente seguendo la regola generale che stabilisce che i prodotti personalizzati non possono essere restituiti o scambiati. Successivamente, abbiamo creato un prompt specifico per questa categoria di regole, che viene attivato automaticamente quando compaiono le parole chiave correlate, risolvendo così il problema.

Il secondo aspetto riguarda il controllo del traffico: il numero di richieste massime durante le promozioni è tre volte superiore al normale. All’inizio non abbiamo adottato alcuna strategia di riduzione del carico, il che ha causato il rientro di alcune richieste con il codice di errore 429. In seguito abbiamo implementato un semplice meccanismo di coda, posticipando l’elaborazione delle richieste non urgenti di 10 minuti, e da allora non si sono più verificati fallimenti.

Diciamo chi è adatto all’uso di questo prodotto, e chi invece non ha affatto bisogno di provarlo.

Se il tuo team soddisfa uno di questi due requisiti, è sicuramente una scelta valida utilizzare questo approccio: primo, se hai bisogno di gestire grandi quantità di testi lunghi e struturati in modalità multi-modale, come ticket di assistenza clienti, revisioni di contratti o riassunti di documenti lunghi; secondo, se il tuo business copre aree geografiche in diverse lingue e non vuoi adattare separatamente i modelli per ciascuna lingua.

Se hai bisogno solo di risposte basate su parole chiave semplici, di classificazione di testi brevi, o se hai requisiti molto elevati in termini di privacy dei dati e non puoi assolutamente trasmetterli a modelli di terze parti, allora non c’è bisogno di utilizzarlo; modelli più piccoli o addirittura motori basati su regole sono sufficienti.

Due suggerimenti pratici per chi lo utilizza per la prima volta

Per il primo test, non procedere con il passaggio completo dei dati all’improvviso. Inizialmente, utilizza i ticket storici che sono stati elaborati nell’ultimo mese per eseguire un test. Confronta i risultati ottenuti dal modello con quelli ottenuti tramite l’elaborazione manuale e, una volta che l’accuratezza raggiunge oltre il 90%, puoi lanciare il sistema in produzione. In questo modo, riuscirai ad evitare circa l’80% dei problemi legati all’adattamento delle regole.

Se i tuoi requisiti di traffico sono molto variabili, è consigliabile creare una semplice coda di attesa per le richieste di livello inferiore: la quota gratuita di Sonnet è piuttosto limitata in termini di capacità di elaborazione. Durante i periodi di punta, puoi posticipare le attività a priorità più bassa, in modo da non dover spendere ulteriori costi per ottenere una capacità di elaborazione dedicata. In questo modo, riuscirai a soddisfare le esigenze della maggior parte delle piccole e medie imprese.

Alcune domande che potresti porre

Q: È necessario fare un fine-tuning specifico? A: Abbiamo semplicemente inserito le regole post-vendita nel prompt; senza effettuare alcun fine-tuning, l’accuratezza è già sufficiente. A meno che le regole del tuo business non siano particolarmente complesse, non c’è bisogno di spendere soldi per questo.

Q: Qual è più conveniente rispetto a GPT-4o? A: Dopo i nostri test, abbiamo riscontrato che Sonnet costa circa il 30% in meno per l’elaborazione degli stessi ticket, con un tasso di accuratezza simile. Per le piccole e medie imprese sensibili ai costi, Sonnet rappresenta una scelta più appropriata.