Utilizando la API de OpenAI para verificar direcciones de logística en Europa: hemos ahorrado un 32% en costos laborales y también hemos evitado dos errores fatales.

La semana pasada, justo después de que terminara la gran promoción de la “Semana Negra”, durante la reunión de análisis de nuestro equipo técnico, descubrimos que la tasa de aprobación de la verificación automática de direcciones ha aumentado un 41% en comparación con el año pasado. Este año, solo necesitamos mantener a uno de los tres empleados a tiempo parcial que se encargaban de manejar las direcciones anormales, en lugar de tres.

Pero nadie quiere hablar del problema con el error 429 que ocurrió el mes pasado: durante las 3 horas más ocupadas del primer día de la gran promoción,El 13% de las solicitudes de resolución de direcciones son devueltas directamente.El servicio de atención al cliente se colapsó, y el equipo de operaciones casi vino a derribar nuestras mesas.

Para quienes no lo han usado antes, déjenme ser honesto: ¿qué es realmente la API de OpenAI?

Es que no necesitas entrenar tus propios modelos grandes; simplemente puedes llamar a las interfaces de modelos ya entrenados por OpenAI, como GPT-4o o GPT-3.5-turbo, enviar una solicitud y recibir los resultados. El costo se calcula según la cantidad de tokens utilizados. La versión que soporta hasta 128k de contexto por solicitud ya está completamente disponible.

La razón por la que lo elegimos en un principio fue muy simple: los formatos de direcciones en los diferentes países de Europa eran demasiado desordenados. Los códigos postales del Reino Unido eran completamente diferentes de los de Alemania, y además había muchos errores de ortografía en varios idiomas. La base de reglas que habíamos creado nos obligaba a actualizarla 8 veces en seis meses, pero aún así seguía habiendo errores. Al utilizar una API para el análisis semántico, y siempre que proporcionábamos el prompt correcto, la tasa de acierto aumentaba directamente al 96% o más.

Los 3 beneficios reales que hemos obtenido, sin nada falso.

• No fue necesario contratar un equipo de desarrollo de algoritmos para ajustar los modelos; tres servidores backend completaron la integración de las interfaces en una semana. En el primer mes de operación, se ahorró un 32% de los costos laborales de los tres empleados a tiempo parcial previos.
• Los errores de ortografía y las direcciones abreviadas que no podían ser detectados por la base de reglas anteriormente ahora pueden ser corregidos automáticamente en más del 90% de los casos. Como resultado, la tasa de devoluciones de pedidos debido a direcciones incorrectas proporcionadas por los usuarios ha disminuido en un 28%.
• Soporta la entrada mixta de múltiples idiomas; las direcciones rellenas en polaco por usuarios polacos o en español por usuarios españoles pueden ser procesadas directamente por la interfaz sin necesidad de adaptaciones locales, ya que se convierten en un formato estándar para la logística.

No solo hay que ver los beneficios; esos dos problemas casi nos costaron la vida.

El primer problema es el límite de tráfico por modelo por defecto. Anteriormente, solo estábamos conectados a GPT-4o-mini, y el límite de tráfico por minuto establecido por defecto era suficiente para el uso habitual. Sin embargo, el día de una gran promoción, el número de solicitudes aumentó tres veces, lo que provocó directamente el límite de tráfico. El 13% de las solicitudes recibió el código de error 429. Para resolver este problema, implementamos una lógica de degradación que redirigía las solicitudes que no provenían de horas de pico a GPT-3.5-turbo, lo que finalmente resolvió el problema.

El segundo problema es el error en el reconocimiento de direcciones sensibles. Una vez, un usuario ingresó una dirección que contenía palabras relacionadas con “bases militares”, lo que provocó que el contenido fuera bloqueado por el sistema de revisión de la API. No implementamos ninguna solución de respaldo en caso de fallo, lo que resultó en que el pedido se quedara retenido durante 2 días sin ser enviado, lo que llevó al usuario a dejar una crítica negativa.

¿Quién debería usarlo? Realmente, no hay que desperdiciar dinero.

Si, al igual que nosotros, tu negocio involucra el procesamiento semántico en múltiples idiomas y enfrentas escenarios en los que las reglas son infinitas (como la validación de direcciones, respuestas automáticas a consultas de usuarios o la generación de contenido en varios idiomas), y en tu equipo no hay un equipo dedicado al desarrollo de algoritmos, entonces usar las API de OpenAI es mucho más económico que entrenar tus propios modelos.

Pero si lo que haces es un negocio en el que los datos clave no pueden salir de la red en absoluto, como el procesamiento de datos financieros esenciales, el análisis de datos de privacidad médica, o escenarios simples con un volumen de solicitudes muy estable y reglas claras, entonces no te involucres en esto. Es más económico y seguro escribir tus propias reglas o implementar modelos locales.

3 consejos para quienes lo usan por primera vez, todos basados en las lecciones que hemos aprendido después de cometer errores.

• No te limites a utilizar un solo modelo; prepárate al menos con dos modelos de diferentes niveles de calidad para casos de degradación. Utiliza el modelo de mayor precisión para las solicitudes de mayor importancia y el modelo más económico durante períodos de baja demanda o picos de actividad. De esta manera, puedes ahorrar al menos un 40% en costos y evitar problemas de limitación de rendimiento causados por el uso de un único modelo.
• Se debe implementar lógica de reintentos y respaldo para todas las solicitudes. Es necesario preparar planes de contingencia de antemano para situaciones como la interrupción de la revisión de contenido, la limitación de tráfico y los tiempos de espera excesivos. No esperes a que la interfaz deje de funcionar para empezar a manejar estos problemas de manera manual.
• No es necesario usar desde el principio el modelo de más alto nivel; primero prueba con el más económico, GPT-3.5-turbo, para ver cómo funciona. Si los resultados no son satisfactorios, entonces puedes pasar a un modelo más avanzado. Para la mayoría de las escenas simples, un modelo más pequeño es más que suficiente.

Finalmente, responderé a dos preguntas que muchas personas suelen hacer.

Pregunta: ¿La llamada desde la región europea tendrá una gran demora?
La respuesta es: Utilizamos el nodo de Fráncfort, y la mayoría de las solicitudes se completan en menos de 15 segundos. Solo un porcentaje muy pequeño de ellas puede demorar más de 200 segundos de repente. Al agregar una caché, se puede resolver este problema sin afectar en absoluto el negocio.

P: ¿Podría ocurrir que el resultado de la解析 no sea correcto?
Sí, ahora estamos enviando los resultados con una confianza inferior al 80% para revisión manual. Después de implementar esta regla, la tasa de errores es prácticamente nula.