Con GPT-4 hemos procesado millones de tickets de servicio postventa, ahorrando un 32% de mano de obra. Evita cometer estos 3 errores comunes.

Durante el pico de la promoción del Black Friday del mes pasado, nuestro equipo de tres personas estuvo atento a los paneles de monitoreo y vimos cómo la tasa de errores en las solicitudes de servicio posventa aumentó del 1% al 12%. El modelo pequeño que estábamos utilizando no podía soportar la cantidad enorme de consultas en varios idiomas, que superaba los 1,2 millones al día, lo que provocó que el número de quejas de clientes aumentara cuatro veces en 24 horas. Al final, tuvimos que pasar temporalmente al uso de GPT-4 para reducir la tasa de errores a menos del 0,3%.

Primero, entendamos qué puede aportar realmente GPT-4 a los equipos pequeños y medianos.

En resumen, es el modelo más equilibrado de OpenAI que está actualmente disponible para empresas. Soporta entradas de contexto de hasta 128k caracteres y su precisión en el entendimiento de múltiples idiomas es superior en más del 40% en comparación con la mayoría de los modelos especializados. Puede manejar escenarios complejos directamente, sin la necesidad de realizar muchos ajustes adicionales.

Para un pequeño equipo de 20 personas que se dedica al comercio minorista de electrodomésticos a nivel internacional, los tres beneficios más directos no requieren ni siquiera un cálculo complejo del ROI (Retorno de Inversión):

• Lo primero es que ya no es necesario asignar personal de traducción dedicado para los casos multilingües; el sistema puede comprender las consultas de servicio al cliente en español, francés y polaco y generar respuestas estándar en los respectivos idiomas.Nuestro personal de servicio posventa ha ahorrado un 32% directamente.
• La tasa de precisión en el diagnóstico de fallos complejos es mucho más alta que la de los modelos anteriores; anteriormente, el 17% de los casos requerían verificación adicional por parte de un humano, mientras que ahora este porcentaje es inferior al 4%.
• No es necesario acumular demasiados datos de entrenamiento para microajustes; simplemente añade las instrucciones del nuevo manual del producto y en 2 horas se podrá adaptar al servicio de asistencia al cliente correspondiente. La eficiencia aumenta significativamente durante las promociones importantes.

No solo mires los aspectos positivos; hemos tropezado con varios problemas reales en el camino.

El primer problema es el control incontrolado de los costos. Cuando pasamos a usar GPT-4, no realizamos el corte de la entrada; simplemente insertábamos el texto generado a partir de las decenas de páginas de capturas de pantalla de fallos que los usuarios subían, lo que resultaba en un costo diario de tokens mucho más alto que el de la semana anterior. Más tarde, agregamos un paso de filtrado preliminar para eliminar la información redundante e innecesaria, lo que redujo los costos en un 50%.

El segundo problema es que el control de la cantidad de solicitudes (throttling) es realmente frustrante. Si se utiliza la interfaz oficial directamente durante picos de tráfico repentinos, es muy probable que se alcance el límite de concurrencia. El día del Black Friday, nos enfrentamos a un límite de solicitudes durante 10 minutos; para resolverlo, tuvimos que contactar al gerente de clientes 3 días antes para solicitar una ampliación temporal del servicio. Jamás esperes a que el tráfico aumente para hacer la solicitud.

El tercero problema es el error en la identificación de contenido sensible. Un usuario simplemente preguntó si “la carcasa del horno se calienta demasiado y podría explotar”, pero la interfaz de seguridad de contenido lo bloqueó inmediatamente y devolvió un error. Más tarde, agregamos una verificación previa de palabras sensibles para filtrar las consultas normales sobre fallos, lo que redujo la tasa de errores a un nivel aceptable.

¿Deberíamos cambiar a GPT-4 ahora mismo? Primero, echemos un vistazo a estos dos criterios.

Circunstancias en las que se debe utilizar:Si necesitas trabajar con contenido en múltiples idiomas, realizar inferencias en textos largos y complejos (como resumir documentos de varias páginas, manejar consultas de postventa en múltiples rondas, o depurar código), o si tu equipo no cuenta con especialistas en algoritmos para el ajuste de modelos pequeños, usar GPT-4 directamente es mucho más rentable que intentar desarrollar tus propios modelos.

Circunstancias en las que no se debe usar:Si tu escenario es especialmente simple, como responder a preguntas con palabras clave, generar mensajes de texto con plantillas fijas, o asegurarte de que no se salgan datos de los límites establecidos, entonces realmente no hay necesidad de usar modelos avanzados. Un modelo económico o incluso un motor de reglas serían más que suficientes para cumplir con tus requisitos. Gastar dinero en algo así sería simplemente un derroche.

Dos sugerencias concretas para un equipo que está comenzando por primera vez

Primero, utilizamos el 10% del tráfico para realizar pruebas en modo gris durante 7 días para ver si la precisión, el costo y la velocidad de respuesta cumplen con tus expectativas. No debes realizar el cambio completo de inmediato; nosotros nos encontramos con problemas de limitación de tráfico al hacerlo de manera inmediata. Ahora, las pruebas en modo gris se han convertido en un proceso estándar para cambiar nuestros modelos.

En segundo lugar, es esencial agregar una capa adicional de gestión de tráfico que distribuya las solicitudes sencillas a modelos más económicos, y solo las solicitudes complejas que no pueden ser procesadas por estos modelos se envíen al GPT-4. Después de implementar esta medida, el costo total del modelo disminuyó un 28% sin que se redujera en absoluto la calidad del resultado.

Dos pequeños problemas comunes

Pregunta: ¿Puede haber una fuga de datos? Respuesta: Si se elige la versión empresarial de la API, OpenAI indica claramente que no utilizará los datos de entrada de los usuarios para entrenar los modelos. Hemos realizado una auditoría de cumplimiento y cumplimos con los requisitos del GDPR de la Unión Europea, así que puede usarla con confianza.

Pregunta: ¿Será muy lenta la velocidad de respuesta? Respuesta: La mayoría de las solicitudes de consulta de tickets se devuelven en menos de 150 ms; solo los casos de texto especialmente largo pueden demorar hasta 1 segundo, lo cual es más que suficiente para escenarios de postventa.