우리 팀은 주소 인식 작업을 GPT-5 지점까지 진행한 후, 429 오류의 발생률을 13%에서 0.2%로 줄였습니다. 하지만 예상치 못한 문제에 두 번 부딪혔습니다.

지난달 흑다오대 프로모션이 막 끝났고, 우리 3명의 백엔드 개발자는 모니터링 패널을 72시간 동안 계속 지켜봤습니다. 작년 프로모션 때 13%의 주소 해석 요청이 바로 429 제한으로 인해 문제가 발생했었는데, 올해는 그런 일이 다시는 없었습니다. 핵심적인 조정 사항은 단 하나였습니다: 이전에 사용하던 일반적인 대형 모델을 모두 GPT-5로 교체하여 주소를 구조화하여 처리하도록 했습니다.

미리 경험해보지 않은 분들께 설명드리자면, GPT-5는 저희와 같은 상황에서 어떤 역할을 하는지입니다.

올해 OpenAI가 업데이트한 다중 모드 대형 모델 중에서, 우리에게 가장 유용한 파라미터 앵커는 단 하나뿐입니다:한 계정당 분당 지원되는 구조화된 처리 요청의 최대 수는 이전 세대 모델의 12배입니다.또한 비표준 입력에 대한 인식 정확도가 한 단계 향상되었습니다.

우리는 유럽의 국경 간 물류 서비스를 제공하며, 매일 50만 건의 사용자가 입력한 주소를 처리합니다. 많은 사람들이 거리, 우편번호, 도시를 혼동해서 쓰거나, 간단히 이모지를 추가하거나, 철자를 반쯤 틀리기도 합니다. 이전의 모델들은 잘못 인식하거나 결과를 얻기 위해 3번이나 인터페이스를 호출해야 했으며, 대규모 프로모션 기간에는 트래픽이 급증하여 바로 제한을 받았습니다.

GPT-5 이후에 우리가 실제로 얻은 3가지 수익입니다.

첫 번째로 가장 직관적인 점은: 제한 문제가 바로 해결된다는 것입니다.대추세(대규모 프로모션 기간) 동안 429 오류율이 0.2%로 감소했습니다.，우리는 심지어 예비 모델 대기열을 추가할 필요도 없어서, 이전에 부하 분산에 소요되었던 운영 유지 관리 시간의 30%를 절약할 수 있었습니다.

두 번째로는 주소 인식 정확도가 향상되었습니다. 이전에는 약 8%의 주소가 수동으로 다시 확인되어야 했지만, 이제 그 비율이 1% 미만으로 줄었습니다. 그 결과 고객 서비스 팀은 매주 2000건 이상의 주소 오류 수정 요청을 덜 처리하게 되었습니다.

세 번째 기능은 사람들이 별로 언급하지 않는 것 같아요: 직접 손으로 쓴 영수증의 사진을 업로드하여 인식할 수 있어서, OCR 서비스를 따로 이용해 텍스트로 변환할 필요가 없습니다. 한 번의 프로세스로 두 단계를 줄일 수 있죠. 대부분의 요청은 15ms 이내에 결과가 반환되지만, 사진이 매우 흐릿한 경우에는 조금 더 시간이 걸릴 수 있습니다.

이점만 보지 마세요. 우리가 걸렸던 이 두 가지 문제도 여러분도 거의 확실히 마주하게 될 거예요.

첫 번째 문제는 소수 언어 지역의 방언 철자에 대한 적응이 부족하다는 것입니다. 우리는 이 시스템의 다국어 기능이 충분히 강력할 것이라고 생각했지만, 지난주 스페인 지역의 바스크어 주소 인식 오류율이 갑자기 12%로 상승했습니다. 조사해보니 훈련 데이터에 이러한 소수 방언의 주소 샘플이 매우 적었더군요. 그래서 이제는 이 부분의 주소에 대해 로컬 규칙을 추가하여 문제를 해결할 수밖에 없습니다.

두 번째 문제는 비용입니다. 이전에 계산했을 때는 단일 요청에 대한 토큰 비용이 이전 세대보다 20%만 더 높다고 생각했지만, 기본적으로 반환되는 구조화된 필드가 3개 더 많아져 실제 토큰 비용이 40% 더 높아진 것을 발견했습니다. 그 후에 프롬프트 내에서 반환되는 필드를 필요한 5개로 제한함으로써 비용을 이전 세대보다 10% 높은 수준으로만 유지할 수 있었습니다.

어떤 팀은 바로 도전해야 하고, 어떤 팀은 전혀 건드리지 않아도 됩니다.

• 매일 10만 회 이상의 비표준화된 텍스트/이미지 구조화 처리가 필요한 팀들에게 이 솔루션은 매우 유용합니다. 이전에는 모델의 제한으로 인해 처리 속도가 느려지거나 정확도가 떨어져 문제가 발생했던 팀들, 예를 들어 전자상거래, 물류, 고객 서비스 티켓 처리를 하는 중소기업들에게 이 솔루션을 도입하면 ROI가 명확하게 향상될 것입니다.
• 사용해서는 안 될 경우: 단순한 질문응답, 콘텐츠 생성만을 하는 팀이거나, 하루에 요청량이 1만 건 미만인 팀은 이 돈을 쓸 필요가 전혀 없습니다. 이전 세대의 모델로도 충분히 사용할 수 있으며, 오히려 비용을 상당히 절약할 수 있습니다.

처음 시작하는 분들을 위한 두 가지 구체적인 조언

첫째로, 최근 7일간의 실제 사용자 요청 데이터를 사용하여 테스트 세트를 만드세요. 공식적으로 제공된 샘플만으로 테스트하지 마시고, 특히 소수 언어나 특정 지역에 관한 콘텐츠의 경우 반드시 먼저 실행하여 정확도를 확인해 보세요. 그렇지 않으면 서비스를 온라인으로 출시한 후에 오류가 발견되면 매우 번거로울 수 있습니다.

둘째, 첫 번째 호출할 때는 필요한 반환 필드를 prompt에 직접 명시해야 합니다. 그렇지 않으면 추가로 생성되는 내용이 불필요한 token 비용을 많이 소모하게 됩니다.

누군가가 물었습니다: 지금도 GPT-5를 신청하기 위해 대기해야 하나요?

우리는 기업 개발자 계정이며, 자격을 제출한 후 3일이 지나면 사용이 가능해집니다. 개인 개발자의 경우에는 1~2주를 기다려야 할 수 있습니다. 하지만 긴급한 경우에는 기업용 녹색 채널을 이용하면 당일에 바로 사용할 수 있습니다.