Đội của chúng tôi đã giảm chi phí phân tích địa chỉ xuống 62% nhờ sử dụng GPT-3.5, đồng thời cũng giải quyết được vấn đề giới hạn lưu lượng trong các chương trình khuyến mãi lớn.

Trong chương trình khuyến mãi Black Friday tháng trước, đội ngũ phát triển phần mềm nền tảng vận chuyển hàng hóa xuyên biên giới gồm 3 người ở Hà Lan lần đầu tiên không phải thức trắng đêm bên cạnh máy chủ để theo dõi hệ thống. Năm ngoái vào thời điểm này, tỷ lệ chính xác của mô hình sửa lỗi địa chỉ do chúng tôi tự phát triển chỉ đạt dưới 80%, và chúng tôi còn phải dành riêng một người để theo dõi nhật ký lỗi 24/24 giờ. Chỉ riêng tỷ lệ hàng hóa bị trả lại do điền địa chỉ sai đã lên tới 11%.

Để giải thích cho những người chưa từng tiếp xúc trước đây, GPT-3.5 là một công cụ dựa trên trí tuệ nhân tạo (AI) được sử dụng để tạo ra văn bản tự nhiên. Nó có khả năng hiểu ngôn ngữ con người và tạo ra các đoạn văn bản có ý nghĩa dựa trên đầu vào được cung cấp. GPT-3.5 được phát triển bởi công ty Microsoft và là phiên bản cập nhật mới nhất của dòng công cụ này.

Đây là mô hình ngôn ngữ lớn do OpenAI phát hành vào năm 2022, và phiên bản ổn định hiện tại vẫn đang được cập nhật vào năm 2026. Phiên bản này hỗ trợ cửa sổ ngữ cảnh lên đến 16k, và tốc độ phản hồi đối với các yêu cầu đầu ra có cấu trúc không theo dòng thường nằm trong khoảng dưới 200ms, hoàn toàn có thể đáp ứng được nhu cầu xử lý ngữ nghĩa nhẹ với mật độ cao trực tuyến.

Chúng tôi chọn nó để giải quyết vấn đề giải mã địa chỉ, và có ba lợi ích thực sự quan trọng.

• Điều đầu tiên là tỷ lệ chính xác khi sử dụng sản phẩm ngay từ khi mới mở hộp: Không cần phải tự mình đánh dấu hàng triệu dữ liệu địa chỉ từ các quốc gia khác nhau để huấn luyện; chúng tôi chỉ sử dụng 200 ví dụ địa chỉ bất thường trong quá khứ để thực hiện phương pháp huấn luyện “few-shot”, và tỷ lệ giải mã đã tăng lên một cách đáng kể ngay lập tức.98.7%Tỷ lệ lỗi hàng giảm trực tiếp xuống dưới 1%.
• Thứ hai là chi phí thấp hơn nhiều so với việc tự phát triển: Trước đây, chi phí hàng tháng để bảo trì mô hình tự phát triển cùng với 3 máy chủ GPU là 1200 euro, nhưng bây giờ khi sử dụng GPT-3.5 để xử lý 500.000 yêu cầu mỗi ngày, chi phí hàng tháng chỉ còn 450 euro, tức là giảm được 62% chi phí.
• Điểm thứ ba là việc mở rộng dung lượng không cần chúng tôi phải lo lắng gì cả: Trong dịp Black Friday, lượng yêu cầu từ khách hàng tăng gấp ba lần. Trước đây, mô hình tự phát triển của chúng tôi chỉ có thể chịu đựng tối đa 1,5 lần lượng truy cập, sau đó sẽ gặp sự cố. Lần này, chúng tôi chỉ cần nộp đơn xin tăng dung lượng tạm thời lên hệ thống của OpenAI trước, và suốt quá trình không hề xảy ra lỗi 429 nào.

Đừng chỉ nhìn vào những mặt tích cực, trong 3 tháng vừa qua chúng ta đã gặp phải nhiều rắc rối hơn là những lợi ích thu được.

Ban đầu, chúng tôi đơn giản chỉ đưa trực tiếp các trường địa chỉ nguyên bản vào mô hình, và thường xuyên gặp phải vấn đề khi địa chỉ của các làng mạc ở các quốc gia nhỏ ở châu Âu bị nhận diện nhầm là địa chỉ của các thành phố ở Mỹ. Sau một tuần nỗ lực, chúng tôi mới phát hiện ra rằng quy tắc “Ưu tiên phù hợp với trường quốc gia đích đi kèm với yêu cầu vận chuyển” không được thêm vào Prompt mặc định.

Có một lần nữa chúng tôi vô tình bật chế độ đầu ra dạng luồng (streaming output), khiến thời gian trả về kết quả phân tích tăng gấp ba lần. Trong thời gian cao điểm, có tới hai mươi nghìn yêu cầu bị quá thời hạn. Chúng tôi mất nửa ngày mới phát hiện ra rằng đó là do một đồng nghiệp đã thay đổi các tham số nhưng quên chuyển lại chế độ ban đầu.

Điều khiến chúng tôi gặp nhiều rắc rối nhất là vấn đề với hóa đơn: Ban đầu, chúng tôi không thực hiện việc cắt giảm dữ liệu đầu vào, vì vậy những ghi chú không liên quan mà người dùng nhập vào khi điền địa chỉ cũng được đưa vào mô hình. Kết quả là hóa đơn cuối tháng tăng hơn 30% so với dự kiến. Sau đó, chúng tôi áp dụng quy tắc cắt giảm dữ liệu đầu vào (100 ký tự) và hóa đơn tháng thứ hai đã trở lại bình thường.

Nói cho cùng, GPT-3.5 không phải là giải pháp cho mọi vấn đề; tôi khuyên bạn đừng vội vàng kết hợp hai loại nhóm người này lại với nhau một cách tùy tiện.

Nếu nhóm của bạn cần xử lý các dữ liệu có tính chất riêng tư cao như hồ sơ y tế hoặc thông tin thanh toán, đừng sử dụng phiên bản công cộng của GPT-3.5, dù nó có rẻ tiền và dễ sử dụng đến đâu đi nữa; bạn không thể chịu đựng nổi rủi ro về vi phạm quy định bảo mật dữ liệu.

Nếu bạn cần tạo ra những tài liệu chuyên ngành dài hàng chục nghìn từ hoặc thực hiện các phép suy luận logic phức tạp, hãy chọn GPT-4o hoặc Claude 3. Độ chính xác của GPT-3.5 trong những nhiệm vụ như vậy kém hơn rất nhiều; việc tiết kiệm một chút tiền cũng không đáng để bạn phải chịu những hậu quả không mong muốn.

Ngược lại, nếu bạn đang thực hiện các nhiệm vụ ngôn ngữ học nhẹ như phân loại ý định người dùng, sửa lỗi văn bản ngắn, hoặc trích xuất thông tin có cấu trúc, và không có yêu cầu suy luận quá cao, thì GPT-3.5 vẫn là lựa chọn có giá trị nhất cho đến năm 2026, không có đối thủ nào sánh kịp.

3 lời khuyên thực hành dành cho người mới sử dụng, tất cả đều là kinh nghiệm từ những lần chúng tôi gặp phải trở ngại.

• Trước khi triển khai, hãy thử nghiệm dòng lưu lượng “bóng ma” (shadow traffic) trong 7 ngày: Gửi các yêu cầu cùng lúc đến cả giải pháp hiện tại của bạn và GPT-3.5, chỉ so sánh kết quả mà không chuyển toàn bộ lưu lượng. Chỉ khi đảm bảo độ chính xác và tốc độ đáp ứng đáp ứng kỳ vọng thì mới thực hiện việc thay thế hoàn toàn. Đừng vội vàng thay thế ngay từ đầu.
• Thêm một bộ lọc đầu vào cho tất cả dữ liệu nhập: loại bỏ các khoảng trắng thừa, ghi chú không liên quan, và ký tự đặc biệt trước khi xử lý, có thể tiết kiệm ít nhất 20% chi phí token và giảm nguy cơ nhận diện sai của mô hình.
• Bạn nhất định phải chuẩn bị một kế hoạch dự phòng: nếu gặp sự cố với giao diện OpenAI, bạn cần có một giải pháp thay thế với tính năng thấp hơn để có thể tiếp tục hoạt động. Dù tỷ lệ chính xác có thể thấp hơn một chút, nhưng ít nhất nó vẫn tốt hơn là toàn bộ dịch vụ không thể sử dụng được.

FAQ

Bây giờ đã là năm 2026 rồi, có rất nhiều mô hình mới được phát triển, liệu còn cần sử dụng GPT-3.5 nữa không?
Điều này hoàn toàn cần thiết đối với các nhiệm vụ nhẹ. Chúng tôi đã so sánh với các mô hình mã nguồn mở cùng mức giá, và GPT-3.5 có độ chính xác cao hơn ít nhất 5 phần trăm. Hơn nữa, bạn không cần phải tự vận hành và triển khai nó, vì vậy tổng chi phí thực tế còn thấp hơn nữa.

Khi gọi một hàm hoặc thực hiện một thao tác nào đó, có cần phải lo lắng về vấn đề giới hạn lưu lượng (throttling) không?
Lưu lượng truy cập hàng ngày, trừ khi đột nhiên tăng hơn 10 lần, thì ngân sách được phân bổ mặc định thường là đủ. Bạn chỉ cần gửi yêu cầu tăng ngân sách 3 ngày trước các sự kiện khuyến mãi lớn. Chúng tôi đã gửi yêu cầu 3 lần, và lần nhanh nhất thì yêu cầu được chấp thuận chỉ trong vòng 2 giờ.