Nuestro equipo redujo los costos de resolución de direcciones en un 62% gracias a GPT-3.5 y, de paso, también resolvimos el problema de la limitación de tráfico durante las grandes promociones.

Durante la promoción del Black Friday del mes pasado, nuestro equipo de tres personas que se encarga del backend de logística de paquetes transfronterizos en los Países Bajos no pasó la noche entera junto a los servidores, por primera vez. El año pasado, en esta misma época, la precisión de nuestro modelo de corrección de direcciones desarrollado internamente era inferior al 80%, y teníamos que asignar a alguien específicamente para que supervisara los registros de errores las 24 horas del día. Solo debido a errores en las direcciones, la tasa de devolución de paquetes era del 11%.

Para quienes no están familiarizados con ello, déjame explicar en pocas palabras qué es GPT-3.5: GPT-3.5 es una tecnología de inteligencia artificial basada en aprendizaje automático que puede generar textos humanos de manera bastante natural. Es capaz de responder a preguntas, escribir ensayos, crear código, etc. En otras palabras, es un programa que puede aprender y mejorar su rendimiento con el tiempo a través de la exposición a grandes cantidades de datos.

Es un modelo de lenguaje grande lanzado por OpenAI en 2022, y su versión estable, que sigue en desarrollo en 2026, soporta un ventana de contexto de hasta 16k. La velocidad de respuesta a solicitudes de salida estructurada no fluída es generalmente inferior a 200ms, lo que es más que suficiente para satisfacer las necesidades de procesamiento semántico ligero con alta concurrencia en línea.

Lo elegimos para resolver el problema de la resolución de direcciones, y tiene tres beneficios concretos.

• Lo primero es la precisión lista para usar al momento del desempaque: no es necesario etiquetar uno millón de datos de direcciones de diferentes países para el entrenamiento; solo hemos proporcionado 200 ejemplos de direcciones anómalas históricas para el entrenamiento de tipo “few-shot”, y la precisión de la interpretación aumenta significativamente de inmediato.98.7%La tasa de errores disminuyó directamente al 1% o menos.
• Lo segundo es que el costo es mucho más bajo que el de desarrollar algo por nuestra cuenta: antes, el costo mensual para mantener nuestro modelo propio y 3 servidores GPU era de 1200 euros. Ahora, al utilizar GPT-3.5 para procesar 500,000 solicitudes diarias en promedio, el costo mensual es de solo 450 euros, lo que representa una reducción directa del 62% en los gastos.
• Lo tercero es que no necesitas preocuparte en absoluto por la expansión de la capacidad: durante el Black Friday, el volumen de solicitudes aumentó tres veces. Anteriormente, nuestro modelo propio solo podía soportar un aumento del tráfico de hasta 1.5 veces antes de colapsar, pero esta vez simplemente presentamos una solicitud temporal de aumento de crédito en el backend de OpenAI con antelación, y en todo el proceso no hubo ni un solo error de tipo 429.

No solo hay ventajas; en los últimos 3 meses, hemos tropezado con más problemas de los que hemos obtenido beneficios.

Al principio, simplemente pasábamos los campos de direcciones originales al modelo, y a menudo sucedía que las direcciones de pueblos y ciudades de pequeños países europeos eran identificadas como ciudades de Estados Unidos. Después de una semana de problemas, descubrimos que la regla de “priorizar la coincidencia con el campo del país de destino incluido en la solicitud de logística” no estaba activada en el prompt por defecto.

Otra vez, activamos accidentalmente la salida en flujo, lo que hizo que el tiempo de retorno de todos los resultados de análisis aumentara tres veces. Durante el pico, se acumularon veinte mil solicitudes que se colapsaron debido a tiempos de espera excesivos. Tuvimos que pasar medio día para descubrir que un colega había olvidado revertir los cambios en los parámetros.

Lo más problemático fue el asunto de las facturas: al principio no realizábamos el recorte de los datos introducidos por los usuarios, por lo que todas las notas irrelevantes que incluían al escribir sus direcciones también se enviaban al modelo. Como resultado, la factura de fin de mes superaba en un 30% las expectativas. Más tarde, implementamos una regla de recorte que eliminaba los primeros 100 caracteres de los datos ingresados, y la factura del segundo mes volvió a ser normal.

En resumen, GPT-3.5 no es la solución para todo; te aconsejo que no intentes mezclar estos dos tipos de equipos de manera arbitraria.

Si tu equipo tiene que trabajar con datos de alta confidencialidad, como registros médicos o información de pagos, no uses la versión pública de GPT-3.5, por más económica y útil que sea; no puedes asumir el riesgo de incumplir con las regulaciones de protección de datos.

Si tu necesidad es generar documentos profesionales de miles de palabras o realizar razonamientos lógicos complejos, mejor opta por GPT-4o o Claude 3. La precisión de GPT-3.5 en este tipo de tareas es bastante baja, por lo que ahorrar ese poco dinero no vale la pena.

Por otro lado, si lo que necesitas son tareas semánticas ligeras como la clasificación de intenciones de los usuarios, la corrección de textos cortos o la extracción de información estructurada, y no tienes requisitos de razonamiento extremos, GPT-3.5 seguirá siendo la opción con la mejor relación calidad-precio hasta el año 2026, sin duda alguna.

3 consejos prácticos para quienes lo usan por primera vez, todos basados en nuestras propias experiencias de errores y dificultades.

• Antes de lanzar el servicio, ejecuta el tráfico de prueba durante 7 días: envía las solicitudes tanto a tu solución actual como a GPT-3.5, y compara solo los resultados sin distribuir el tráfico real. Asegúrate de que la precisión y la velocidad cumplan con tus expectativas antes de realizar la sustitución completa.
• Aplica un filtro previo a todos los datos ingresados: elimina los espacios adicionales, las notas irrelevantes y los caracteres especiales de manera anticipada. Esto puede ahorrar al menos un 20% de la carga de trabajo en el procesamiento de los tokens y también reducir la probabilidad de errores en el modelo.
• Es esencial tener un plan de respaldo: en caso de que la interfaz de OpenAI deje de funcionar, debes disponer de una solución alternativa de menor calidad que pueda cubrir las necesidades, incluso si la precisión es menor. Eso es mejor que que todo el servicio quede completamente inutilizable.

FAQ

Ahora que ya estamos en 2026 y hay tantos modelos nuevos, ¿sigue siendo necesario usar GPT-3.5?
Es completamente necesario para tareas ligeras; hemos comparado modelos open source de la misma gama de precio y el GPT-3.5 tiene una precisión al menos un 5 por ciento más alta. Además, no requiere que usted mismo se encargue de su operación y despliegue, lo que resulta en un costo total más bajo.

¿Debo preocuparme por la limitación de tráfico cuando lo llamo?
El tráfico diario, siempre y cuando no aumente repentinamente en más del 10%, generalmente se cubre con la cuota asignada por defecto. Para solicitar un aumento de la cuota durante una promoción importante, basta enviar una solicitud 3 días antes. Hemos hecho esto 3 veces, y la aprobación ha llegado en un tiempo máximo de 2 horas.