Utilizamos Claude 3 Opus para el procesamiento de declaraciones aduaneras transfronterizas, lo que nos ha ahorrado un 60% en costos de revisión manual, pero hemos tropezado con tres problemas.

El mes pasado, durante la gran promoción en la plataforma europea, el equipo de tres personas encargado del despacho aduanero transfronterizo estuvo a punto de trabajar sin parar: las nuevas políticas de cumplimiento exigían que la declaración aduanera de cada lote de mercancías coincidiera con el código del producto, el certificado de origen y el número de identificación fiscal de la Unión Europea. El modelo pequeño que utilizábamos antes tenía una tasa de reconocimiento de menos del 70%, lo que resultó en la acumulación de 1200 declaraciones anormales que necesitaban revisión en una sola semana, ralentizando todo el proceso de despacho en dos días.

¿Qué es Claude 3 Opus?

Es el modelo de lenguaje más potente de Anthropic en la actualidad.Se admite la entrada de hasta 2 millones de tokens a la vez, lo que equivale a poder procesar directamente un manual completo de cumplimiento comercial de 1500 páginas como referencia de contexto.No es necesario dividir el contenido en solicitudes segmentadas.

Los tres beneficios principales que hemos determinado a través de nuestras pruebas

El primero es que la tasa de reconocimiento de documentos complejos ha aumentado significativamente. Los modelos anteriores a menudo confundían las notas manuscritas en los formularios de declaración de aduanas de varias páginas y los códigos de origen de las hojas adjuntas. Después de cambiar a Opus, incorporamos las reglas de cumplimiento acumuladas por la empresa durante los últimos 3 años, junto con la lista de todos los productos de ese lote.La tasa de precisión en el reconocimiento alcanza el 98%, y la cantidad de revisión manual se ha reducido en un 60%.Durante la semana pasada, en el pico de las promociones, tampoco hubo acumulación anormal de pedidos.

El segundo punto es que no es necesario lidiar con complejos proyectos de ingeniería de palabras de sugerencia. Antes, para que los modelos pequeños generaran datos estructurados que cumplieran con los requisitos aduaneros, tardamos medio mes solo en ajustar las palabras de sugerencia y además teníamos que agregar varias capas de verificación de reglas; sin embargo, con Opus, basta con proporcionar 3 ejemplos de formato correctos para que el contenido generado se pueda conectar directamente a nuestro sistema de declaración aduanera, lo que ahorra al menos una semana de trabajo de desarrollo.

El tercero es que el manejo de datos sensibles es mucho más sencillo. Al realizar negocios transfronterizos, lo que más tememos es la filtración de información fiscal de los usuarios y datos de calificación empresarial. Opus soporta el procesamiento de datos sin necesidad de entrenamiento previo (zero-shot), lo que significa que no es necesario utilizar datos sensibles para el ajuste fino de los modelos. Basta agregar una regla de procesamiento en la solicitud para obtener los resultados, lo cual cumple plenamente con los requisitos del GDPR y evita la necesidad de obtener aprobaciones adicionales de cumplimiento de datos.

No te apresures a subir al coche, ya hemos pasado por esas zanjas.

Lo primero es que el costo realmente no es bajo. Antes, usar un modelo común para procesar 1000 declaraciones de aduanas costaba alrededor de 2 dólares, pero después de cambiar a Opus, el costo aumentó directamente a 15 dólares. Si el volumen de documentos que procesas diariamente es menor a 100, este costo es incluso más alto que el de contratar a un revisor a tiempo parcial.

Lo siguiente es que la tasa de rechazo de solicitudes durante los períodos de pico es más grave de lo que se esperaba. El día de la gran promoción, aumentamos el número de solicitudes concurrentes a 10, y el 12% de ellas devolvieron un error 429. Como resultado, tuvimos que agregar una cola de tareas para procesar las solicitudes no urgentes durante la madrugada, lo que ayudó a aliviar el problema.

También hay un pequeño problema: la tasa de reconocimiento de contenido escrito en idiomas minoritarios y muy poco comunes disminuye significativamente. Nos hemos encontrado con un certificado de origen escrito en portugués, y Opus identificó incorrectamente el código contenido en él. Solo fue gracias a una revisión manual que se pudieron evitar errores. Si tu negocio involucra muchos documentos escritos en idiomas no comunes, sería mejor probar primero la precisión del sistema con tu propio conjunto de datos.

¿Quién debería usarlo? ¿Quién realmente no necesita ni siquiera tocarlo?

Los escenarios adecuados son muy claros: si necesitas trabajar con documentos largos o contenido complejo y multimodal, como la revisión de contratos legales, el reconocimiento de formularios de varias páginas o la depuración de grandes bibliotecas de código, y además exiges una alta precisión, ya que el costo de un error es mucho mayor que el costo de llamar al modelo, entonces Opus definitivamente puede ahorrarte mucho trabajo.

Si solo lo utilizas para respuestas a consultas de atención al cliente, generación de contenido ordinario o extracción sencilla de palabras clave, realmente no es necesario; modelos pequeños y comunes pueden satisfacer completamente esas necesidades, y además, puedes ahorrar más del 80% en costos.

Dos sugerencias prácticas para equipos que están comenzando por primera vez

Primero, no realices el reemplazo completo de inmediato. Comienza por aplicar Opus al 10% de las solicitudes más complejas y que involucren los mayores costos de error en tu negocio, y analiza los datos durante una semana para calcular el retorno de inversión (ROI). Luego, aumenta gradualmente la proporción. Nosotros comenzamos probando con los formularios de declaración aduanera en múltiples idiomas, que son los más propensos a errores, y solo después de confirmar los beneficios realizamos el cambio completo.

En segundo lugar, es esencial implementar una estrategia de degradación. En caso de limitaciones de ancho de banda o cuando el nivel de confianza en el reconocimiento sea inferior al 90%, se debe pasar automáticamente a un modelo de bajo costo o a un proceso de manejo manual. No se debe depender exclusivamente de este único modelo para todos los servicios.

Finalmente hemos resuelto un problema con el que nuestro equipo ha luchado durante mucho tiempo: ¿deberíamos esperar a una nueva versión más barata? Nuestra conclusión es que si tu negocio ya está sufriendo por la lentitud en el procesamiento de documentos complejos, empezar a usar la nueva versión ahora te ahorrará costos laborales. El ahorro en costos de revisión que hemos logrado en este mes ya es suficiente para cubrir los costos de llamadas a los modelos durante los próximos seis meses.