Las empresas de comercio electrónico de productos frescos en el Sudeste Asiático utilizan Claude para la calidad de control de pedidos, lo que les ahorra 3 puestos de atención al cliente, pero también han tropezado con 2 problemas graves.

La semana pasada, nuestro equipo se enfrentó a un incidente inesperado: el 18% de los tickets de servicio posventa se quedaron atascados en la cola de espera debido a un error en el formato de salida de Claude, lo que causó que las reclamaciones de compensación por frutas frescas dañadas de los usuarios tardaran 4 horas en ser atendidas. Como resultado, la tasa de devoluciones aumentó en un 2% ese mismo día.

Para quienes no están familiarizados con esto, expliquemos qué es Claude:

Es un modelo de lenguaje grande desarrollado por Anthropic, y la versión más reciente, 3.5 Sonnet, tiene una ventana de contexto única que puede manejar hasta 200k tokens, lo que equivale a aproximadamente 150,000 palabras en chino. La razón por la que lo seleccionamos inicialmente fue porque nos permitía enviar de una vez todo el flujo de pedidos completo, los resultados del OCR de las imágenes de prueba proporcionadas por los usuarios y las reglas de compensación de la plataforma, sin necesidad de dividirlo en múltiples solicitudes.

Los tres beneficios reales que hemos obtenido con su uso

Lo más directo es la reducción en los costos laborales: de los 6 puestos de atención al cliente que antes se encargaban de la calidad de los pedidos, ahora solo se necesitan 3 para manejar las excepciones, lo que ahorra 4200 dólares al mes en gastos laborales.

El segundo punto es que la velocidad de procesamiento ha aumentado: antes, la revisión manual de cada solicitud tomaba en promedio 2 minutos, pero ahora la mayoría de las solicitudes se completan en menos de 15 milisegundos. Después de que el usuario envía su solicitud de indemnización, el resultado se obtiene en aproximadamente 5 segundos. Según nuestras estadísticas, la satisfacción de los usuarios ha aumentado en un 17%.

El tercero punto es que la ejecución de las reglas es más uniforme: antes, durante las revisiones manuales, a menudo se producían situaciones similares de errores, donde algunas personas recibían el reembolso completo y otras solo el 30%. Había decenas de quejas de usuarios cada mes sobre la injusticia de las decisiones. Después de implementar las reglas unificadas con Claude, este tipo de quejas se redujo a menos de tres al mes.

No solo hay que ver los beneficios; estos dos problemas casi nos causaron la interrupción del servicio.

El primer problema fue el límite de tráfico: al principio, nos conectamos directamente a la API oficial sin implementar ninguna estrategia de degradación. El día de la gran promoción, el número de solicitudes aumentó tres veces, y la API devolvió un error 429. Como no teníamos un mecanismo de respaldo manual para manejar estos casos, miles de solicitudes se bloquearon. Más tarde, agregamos un modelo más simple con el mismo funcionamiento como plan de contingencia; si tres solicitudes consecutivas fallaban, el sistema automáticamente pasaba al modelo simplificado y solo recurría a la intervención humana si eso también fallaba. Desde entonces, no hemos vuelto a tener problemas de bloqueo masivo de solicitudes.

El segundo problema es la inestabilidad de la salida estructurada: al principio le pedíamos que devolviera los resultados de las penalizaciones en formato JSON, pero en aproximadamente el 2% de los casos añadía un montón de texto explicativo fuera del formato JSON, lo que causaba que nuestro script de análisis generara errores. Más tarde, agregamos una frase al final del prompt que decía «Si tu salida no es puramente JSON, serás cerrado», y la frecuencia de este problema disminuyó drásticamente, a menos del 0.1%.

¿Quién es adecuado para usarlo? ¿Y quién definitivamente no debería tocarlo?

Si tu equipo suele tener que manejar una gran cantidad de tareas repetitivas con reglas claras y un volumen considerable de texto, como la revisión de pedidos de comercio electrónico, la clasificación de tickets de atención al cliente o la revisión preliminar de cláusulas de contratos, y estás dispuesto a dedicar de 1 a 2 semanas a ajustar los prompts y desarrollar mecanismos de degradación, entonces Claude puede ahorrarte mucho dinero y tiempo.

Si en tu escenario se requiere una tasa de precisión del 100% en los resultados, como en diagnósticos médicos, la revisión final de transacciones financieras, o si tu equipo no cuenta con personal especializado en operaciones de mantenimiento o desarrollo y deseas utilizar el sistema sin necesidad de ninguna configuración adicional, entonces no lo intentes. La probabilidad de que surjan problemas es mucho mayor de lo que imaginas.

Dos consejos prácticos para quienes lo usan por primera vez

Primero, al comenzar, no pongas el sistema en modo de producción de inmediato; primero ejecuta el modo “shadow” durante 7 días. Durante este tiempo, todas las solicitudes serán procesadas tanto por personal humano como por el sistema Claude. Compara la consistencia de los resultados de ambos métodos y, una vez que esta consistencia alcance más del 95%, entonces transfiere el tráfico al sistema Claude. En nuestro caso, ejecutamos el modo “shadow” durante 10 días y detectamos 3 discrepancias en la interpretación de las reglas. Corrigimos los prompts a tiempo, lo que evitó problemas.

En segundo lugar, no intentes cargar todas las solicitudes en la versión más avanzada; utiliza Haiku solo en aquellos casos en los que sea realmente necesario. Más tarde, reorientamos las solicitudes de tipo ticket sencillas hacia Haiku, lo que nos permitió reducir el costo por token en un 60% y duplicar la velocidad de procesamiento, sin que la calidad del servicio se viera afectada en absoluto.

Preguntas frecuentes

• ¿Podría haber un problema de filtración de datos?Si tus datos son sensibles, simplemente compra la versión empresarial y firma un acuerdo de procesamiento de datos. Anthropic no utilizará los datos de las solicitudes de la versión empresarial para entrenar sus modelos. Hemos estado utilizando esta versión durante 8 meses y no hemos tenido ningún problema con los datos.
• ¿Cuál es mejor que GPT?Si tu escenario requiere el manejo de textos largos y una comprensión detallada del contexto, elige a Claude; si necesitas generación multimodal, como la creación de imágenes, elige a GPT. Actualmente estamos utilizando ambos en escenarios diferentes.