Hemos trasladado el procesamiento de las solicitudes de atención al cliente a Claude 3.5 Sonnet, lo que nos ha ahorrado 21,000 euros en costos laborales en los últimos 3 meses.

El mes pasado, nuestro equipo de atención al cliente en comercio electrónico de Europa estuvo al borde del colapso: una semana antes de la gran promoción del Black Friday, recibíamos más de 1200 correos electrónicos diarios de usuarios de varios idiomas. A pesar de que tres empleados del servicio al cliente trabajaban sin descanso, el 40% de las solicitudes tardaban más de 24 horas en ser respondidas, lo que provocó un aumento del 18% en la tasa de reseñas negativas de los usuarios. Contratar personal a tiempo parcial de forma temporal no solo significó que no pudimos completar el proceso de capacitación a tiempo, sino que también tuvimos que incurrir en gastos adicionales de casi 20,000 euros al mes.

Para quienes no lo hayan escuchado antes, aquí hay una explicación:

Claude 3.5 Sonnet es un gran modelo multimodal lanzado por Anthropic en 2024.Con soporte para una ventana de contexto de 200K, la velocidad de inferencia es el doble en comparación con la generación anterior.Puede abarcar toda la información de nuestro único caso de trabajo, así como los pedidos históricos de los usuarios de los últimos casi 3 meses y los registros de comunicación.

Los tres beneficios principales que utilizamos cada uno de ellos aborda una necesidad o problema específico (un “punto de dolor” de los usuarios).

• Precisión en la comprensión multilingüe: Nuestros usuarios hablan alemán, francés, español e italiano. Anteriormente, al utilizar modelos pequeños para manejar solicitudes en idiomas distintos del inglés, a menudo se confundían términos como "reembolso" y "reemplazo de producto". Con Sonnet, la tasa de errores es inferior al 2%, lo que permite procesar estas solicitudes directamente sin la necesidad de herramientas de traducción adicionales.
• Tratamiento de documentos largos sin problemas: Cuando los usuarios solicitan la devolución de un producto, a menudo adjuntan de 5 a 6 fotos de daños en el artículo junto con una descripción de unas pocas cientos de palabras. Sonnet puede visualizar de una vez las imágenes, el texto y los registros de pedidos anteriores, y generar directamente una solución de acuerdo con nuestras reglas de postventa, sin necesidad de que alguien verifique la información manualmente.
• Los costos son lo suficientemente bajos: hemos determinado que el costo por token para procesar 1000 tickets es de menos de 10 euros. Incluso si se incluyen los costos del gateway y los ajustes finales, el gasto total mensual es de menos de una quinta parte del salario mensual de un empleado de atención al cliente a tiempo completo.

Desde que comenzamos a trabajar con Sonnet en el primer mes, el tiempo promedio de respuesta a nuestras solicitudes de soporte técnico disminuyó de 17 horas a 1.5 horas.Los clientes no necesitan lidiar más con devoluciones repetidas ni consultas sobre el seguimiento del envío; solo tienen que ocuparse de alrededor del 10% de las disputas más complejas. Además, no se ha contratado personal adicional durante las promociones.

No solo hay ventajas; las últimas dos semanas hemos tropezado con dos problemas reales.

El primer problema era el reconocimiento de ilusiones en las reglas complejas: teníamos una regla específica que decía que los productos personalizados podían ser reembolsados si había problemas de calidad incluso después de más de 7 días. Al principio, simplemente proporcionamos esta regla al modelo, y este rechazaba a los usuarios de acuerdo con la regla general de que los productos personalizados no se pueden devolver ni cambiar. Más tarde, creamos un prompt específico para este tipo de regla que se activaba automáticamente cuando aparecían las palabras clave relacionadas, lo que resolvió el problema.

El segundo punto es la limitación de tráfico: el pico de solicitudes en el día de la promoción es tres veces mayor que el habitual. Al principio no se implementó ninguna estrategia de reducción de carga, lo que causó que algunas solicitudes devolvieran un código de error 429. Más tarde, agregamos un simple mecanismo de cola para retrasar el procesamiento de las solicitudes no urgentes en 10 minutos, y desde entonces no se han vuelto a producir fallos.

En otras palabras: Quienes son adecuados para usarlo, no necesitan ni siquiera tocarlo.

Si tu equipo cumple con una de estas dos condiciones, no te equivocarás al seguir este enfoque: primero, si necesitas manejar grandes cantidades de texto largo y tareas estructuradas de múltiples modalidades, como tickets de atención al cliente, revisión de contratos o resúmenes de documentos extensos; segundo, si tu negocio abarca áreas multilingües y no quieres ajustar los modelos individualmente para cada idioma.

Si solo necesitas realizar respuestas basadas en palabras clave, clasificación de textos cortos, o si tienes requisitos muy estrictos en cuanto a la privacidad de los datos y no puedes enviarlos a modelos de terceros, entonces no es necesario elegir este método. Un modelo más pequeño o incluso un motor de reglas serían suficientes.

Dos consejos prácticos para quienes lo usan por primera vez

En la primera prueba, no cambies todo de una vez; comienza por ejecutar los tickets históricos que ya se han procesado en el último mes y compara los resultados del modelo con los resultados del procesamiento manual. Solo lanza el sistema cuando la tasa de precisión alcance más del 90%, así podrás evitar alrededor del 80% de los problemas de adaptación de las reglas.

Si tus solicitudes tienen grandes fluctuaciones, definitivamente debes implementar una cola de degradación sencilla: el límite de uso gratuito de Sonnet es bastante estricto. Durante los períodos de mayor demanda, puedes posponer las tareas de menor prioridad para que no se requiera pagar una tarifa adicional por una mayor capacidad de procesamiento, lo que satisfará las necesidades de la mayoría de las pequeñas y medianas empresas.

Algunas preguntas que podrías hacer:

P: ¿Es necesario realizar un ajuste fino (micro-tuning) específico? R: Simplemente hemos incluido las reglas de postventa en el prompt; no hemos realizado ningún ajuste fino, y la precisión ya es suficiente. A menos que tus reglas de negocio sean particularmente complejas, no es necesario gastar dinero en ello.

P: ¿Cuál es más económico en comparación con GPT-4o? R: Hemos medido que, para procesar los mismos tickets, el costo de Sonnet es aproximadamente un 30% más bajo, mientras que la precisión es similar. Para las pequeñas y medianas empresas que son sensibles al costo, Sonnet es la opción más adecuada.