Đội của chúng tôi đã chuyển việc nhận diện địa chỉ sang sử dụng GPT-5, và tỷ lệ lỗi 429 đã giảm từ 13% xuống còn 0.2%, nhưng chúng tôi đã gặp phải 2 vấn đề không ngờ tới.

Tháng trước, Black Five Promotion vừa kết thúc, ba phần cuối của chúng tôi đã nhìn vào bảng điều khiển trong suốt 72 giờ - năm ngoái, 13% yêu cầu phân tích địa chỉ trực tiếp báo cáo cơn ác mộng hạn chế dòng 429, cuối cùng năm nay không xuất hiện nữa. Chỉ có một điều chỉnh cốt lõi: thay thế toàn bộ mô hình lớn chung trước đó bằng GPT-5 để xử lý cấu trúc địa chỉ.

Để những người chưa từng thử hiểu rõ hơn: GPT-5 thực sự là gì đối với những tình huống như của chúng ta?

Đó chính là mô hình đa mô-đun mới được OpenAI cập nhật trong năm nay, và chỉ có một tham số định hướng (parameter anchor) thực sự hữu ích đối với chúng ta:Số lượng yêu cầu xử lý có cấu trúc mà một tài khoản có thể hỗ trợ mỗi phút tăng lên 12 lần so với mô hình thế hệ trước.Và độ chính xác trong nhận diện đầu vào không chuẩn cũng được nâng lên một bậc.

Chúng tôi làm hậu cần xuyên biên giới châu Âu, mỗi ngày phải xử lý 500.000 lần người dùng điền địa chỉ, rất nhiều người sẽ đưa đường phố, mã bưu chính, thành phố viết lẫn nhau, thậm chí tùy tiện thêm emoji, đánh vần sai một nửa, mô hình trước đó hoặc nhận dạng sai, hoặc phải điều chỉnh 3 lần giao diện mới có thể đưa ra kết quả, thúc đẩy lưu lượng truy cập trực tiếp bị hạn chế.

Sau khi chuyển sang sử dụng GPT-5, chúng ta thực sự nhận được 3 lợi ích cụ thể.

Điều đầu tiên và dễ hiểu nhất: Vấn đề về giới hạn lưu lượng được giải quyết trực tiếp.Trong thời gian đỉnh điểm của chương trình khuyến mãi, tỷ lệ lỗi 429 đã giảm xuống còn 0.2%.Chúng ta thậm chí không cần phải sử dụng hàng đợi mô hình dự phòng, giúp tiết kiệm 30% thời gian vận hành và bảo trì mà trước đây chúng ta phải dành cho công tác phân bổ tải.

Điểm thứ hai là sự cải thiện đáng kể về độ chính xác trong việc nhận diện địa chỉ: trước đây, khoảng 8% số địa chỉ cần được kiểm tra lại thủ công, nhưng giờ đây tỷ lệ này đã giảm xuống dưới 1%. Nhờ đó, đội ngũ chăm sóc khách hàng phải xử lý ít hơn 2000 yêu cầu sửa lỗi địa chỉ mỗi tuần.

Điều thú vị là có rất ít người đề cập đến tính năng thứ ba: nó hỗ trợ việc tải trực tiếp hình ảnh của các biên lai viết tay để nhận diện, không cần chúng ta phải sử dụng dịch vụ OCR riêng biệt để chuyển đổi thành văn bản. Nhờ đó, quy trình được rút gọn đi hai bước, và hầu hết các yêu cầu sẽ nhận được kết quả trong vòng 15 mili giây. Chỉ có một vài trường hợp biên lai bị mờ mới có thể mất nhiều thời gian hơn một chút.

Đừng chỉ nhìn vào những mặt tích cực, những sai lầm mà chúng tôi đã mắc phải, rất có thể các bạn cũng sẽ gặp phải chúng.

Hố đầu tiên là vấn đề về việc thích nghi chính tả phương ngữ của các khu vực ngôn ngữ nhỏ. Chúng tôi đã nghĩ rằng nó có khả năng đa ngôn ngữ, kết quả là tuần trước, tỷ lệ nhận dạng sai địa chỉ Basque ở Tây Ban Nha đột nhiên tăng lên 12%, kiểm tra mới biết rằng trong dữ liệu đào tạo rất ít mẫu địa chỉ của loại phương ngữ nhỏ này, bây giờ chúng tôi chỉ có thể thêm một quy tắc địa phương vào phần địa chỉ này.

Lỗi thứ hai là chi phí. Trước đây, chúng tôi ước tính rằng chi phí cho mỗi token trong một yêu cầu chỉ tăng 20% so với thế hệ trước, nhưng chúng tôi đã quên mất rằng số lượng trường dữ liệu có cấu trúc được trả về mặc định đã tăng thêm 3 so với trước đây, khiến cho tổng chi phí thực tế cho các token tăng lên 40%. Sau đó, chúng tôi đã giới hạn số lượng trường được trả về trong thông báo yêu cầu (prompt) chỉ còn 5 trường cần thiết, và nhờ đó giúp giảm chi phí xuống mức chỉ tăng 10% so với trước.

Những đội nào nên tập trung vào việc thực hiện ngay, và những đội nào thì hoàn toàn không cần phải can thiệp vào

• Điều cần sử dụng: Hàng ngày có hơn 100.000 yêu cầu xử lý cấu trúc hóa văn bản/hình ảnh theo cách không tiêu chuẩn; những đội ngũ trước đây đã gặp phải vấn đề do giới hạn tốc độ xử lý của mô hình và độ chính xác không đủ cao, chẳng hạn như các doanh nghiệp vừa và nhỏ hoạt động trong lĩnh vực thương mại điện tử, logistics, hoặc xử lý yêu cầu khách hàng. Sau khi sử dụng công cụ này, lợi ích thu được (ROI – Return On Investment) sẽ trở nên rất rõ ràng và dễ nhìn thấy.
• Những trường hợp không nên sử dụng công nghệ này: Chỉ cần thực hiện các công việc đơn giản như trả lời câu hỏi, tạo nội dung, hoặc những nhóm có lượng yêu cầu dưới 10.000 mỗi ngày thì hoàn toàn không cần phải chi tiền cho nó. Thế hệ mô hình trước đã đủ tốt để sử dụng, thậm chí còn giúp tiết kiệm được khá nhiều chi phí.

Hai lời khuyên cụ thể dành cho những người mới bắt đầu lần đầu

Đầu tiên, hãy sử dụng dữ liệu yêu cầu thực tế trong 7 ngày gần nhất của bạn để tạo một tập dữ liệu thử nghiệm. Đừng chỉ kiểm tra các ví dụ được cung cấp bởi chính thức; đặc biệt là đối với những nội dung liên quan đến ngôn ngữ nhỏ hoặc khu vực ít người biết đến. Bạn nhất định phải thực hiện kiểm tra trước để xem độ chính xác là bao nhiêu. Nếu không, việc phát hiện ra những trường hợp bị bỏ qua sau khi hệ thống được triển khai sẽ rất phiền phức.

Thứ hai, khi gọi lần đầu tiên, hãy trực tiếp ghi các trường dữ liệu bạn cần trả về vào prompt, đừng để nó tự động xử lý; nếu không, nội dung được tạo thêm sẽ tiêu tốn rất nhiều token mà không cần thiết.

Có người hỏi: Bây giờ liệu chúng ta vẫn cần xếp hàng để đăng ký sử dụng GPT-5 không?

Chúng tôi là tài khoản nhà phát triển doanh nghiệp; sau khi nộp đầy đủ hồ sơ chứng minh đủ điều kiện, quy trình xử lý chỉ mất 3 ngày. Trong khi đó, nhà phát triển cá nhân có thể phải chờ từ 1 đến 2 tuần. Nếu có nhu cầu khẩn cấp, chúng tôi có thể sử dụng “lối xử lý đặc biệt” dành cho doanh nghiệp và tài khoản của bạn có thể được kích hoạt ngay trong ngày.