o3-mini를 사용하여 블랙프라이데이에 120만 건의 상품 설명 생성 요청을 처리함으로써, 추론 비용을 62% 절감했습니다.

지난달 블랙프라이데이 전에 우리의 콘텐츠 생성 서비스가 거의 다운될 뻔했습니다. 원래 사용하던 범용 대형 모델의 가격이 갑자기 20% 상승했고, 동시에 제한 트래픽 임계값도 절반으로 줄어들었습니다. 테스트 피크 시간에는 17%의 요청이 429 오류를 보였으며, 운영팀은 그날 출시해야 할 12,000개의 할인 상품 설명이 제시간에 완성될 수 있는지 계속 문의했습니다. 우리는 일단 시도해보자는 마음으로 트래픽의 30%를 o3-mini로 전환했고, 결국 대규모 프로모션을 성공적으로 완수했을 뿐만 아니라 예상 비용도 훨씬 저렴하게 처리할 수 있었습니다.

먼저 알아봅시다: o3-mini가 도대체 무엇인지요.

2026년 OpenAI가 Q1에서 새로 출시한 경량 추론 모델로, 구조화된 콘텐츠 생성과 저지연의 간단한 추론 작업에 특화되어 있습니다. 최대 컨텍스트 창은 128k이며, 토큰 비용은 GPT-4o의 1/8에 불과합니다.

우리가 지금까지 얻은 가장 실질적인 3가지 이익

• 블랙프라이데이 기간 동안 120만 건의 상품 설명 생성 요청이 있었습니다.전체 추론 비용이 이전에 GPT-4o를 사용했을 때보다 62% 감소했습니다., 한 번도 제한이 발동된 적이 없으며, 프로모션이 시작되기 1시간 전의 피크 요청량조차도 모두 처리했습니다.
• 대부분의 요청은 18ms 이내에 결과를 반환합니다. 이전에는 대형 모델을 사용할 때 가끔 몇 백 밀리초의 지연이 있었지만, 이제는 프론트엔드에서 콘텐츠 로딩 대기 시간을 제거했습니다. 그 결과, 사용자 전환율이 0.8% 포인트 상승했습니다.
• 내장된 다국어 생성 기능을 사용하면 별도의 조정이 필요 없으며, 라틴 아메리카 사이트의 포르투갈어 및 스페인어 설명의 생성 정확도가 이전에 자체적으로 미세 조정한 소규모 모델보다 21% 높아졌습니다. 따라서 운영팀이 추가로 시간을 내어 두 번째 교정을 할 필요가 없습니다.

전체를 한 번에 전환할 필요는 없어요. 우리가 이미 그런 문제들을 겪어봤거든요.

복잡한 상품 추천 로직에 그것을 사용하지 마세요. 처음에는 사용자의 브라우징 순서를 입력하여 개인화된 추천 문구를 생성해 보았는데, 10번 중 3번은 오류가 발생했습니다. 예를 들어, 야외용 텐트에 대한 추천 문구가 캠핑 램프와 함께 표시되는 식이었죠. 결국 그 부분은 다시 대형 모델로 돌려보냈습니다.

또한, 만약 귀사의 비즈니스에서 도구를 호출해야 한다면, 현재는 3개 이하의 도구를 동시에 호출하는 것만 지원합니다. 3개를 초과하면 실행이 누락되거나 오류가 발생할 수 있습니다. 저희의 재고 조회 기능에서는 2번 이상 도구를 호출하면 가격이 정확하게 표시되지 않는 문제가 여러 번 발생했었는데, 이제는 2개를 초과하는 도구 호출 시 자동으로 일반 대형 모델로 라우팅되도록 수정되었습니다.

누구에게 적합한지, 누구에게는 전혀 필요 없는지

만약 여러분의 비즈니스 시나리오가 대량의 구조화된 콘텐츠를 생성하거나, 간단한 사용자 의도를 인식하거나, 일반적인 FAQ에 답변하는 것이라면, 특히 중소기업이 추가적인 컴퓨팅 자원을 가지고 있지 않아서 자체적으로 모델을 미세 조정할 수 없는 경우, o3-mini는 분명히 가성비 측면에서 최선의 선택입니다.

하지만 복잡한 코드 디버깅, 여러 단계의 논리적 추론, 긴 문서의 심층 분석을 해야 한다면, 일반적인 대형 모델을 사용하는 것이 더 나을 것입니다. o3-mini의 출력 정확도는 상당히 떨어질 수 있으며, 결과 검증에 더 많은 시간이 소요될 수 있습니다.

처음 사용하는 분들을 위한 2가지 실용적인 팁

먼저 7일간 트래픽을 점진적으로 적용해 보세요(그레이스케일링 방식으로). 일괄적으로 전체 시스템에 적용하지 마세요. 처음에는 비핵심 상품 태그 생성 시나리오부터 시작하여 3일 동안 테스트를 진행했으며, 오류율이 허용 가능한 범위 내에 있는 것을 확인한 후에야 상품 설명과 관련된 핵심 시나리오로 점차 전환했습니다. 이렇게 함으로써 온라인 비즈니스에 문제가 발생하는 것을 방지할 수 있습니다.

간단한 라우팅 계층을 직접 구축하여 요청을 복잡도에 따라 분류할 수 있습니다. 간단한 요청은 o3-mini를 통해 처리하고, 복잡한 요청은 자동으로 대형 모델로 전달하면 비용을 절약하면서도 복잡한 시나리오에서의 성능에 영향을 주지 않습니다. 저희도 지금 이렇게 하고 있어요; 90%의 요청은 o3-mini를 통해 처리하고, 나머지 10%의 복잡한 요청은 대형 모델로 보내서 전체 비용을 절반 이상 줄였습니다.

흔한 작은 문제들

질문: o3-mini를 약간 조정할 필요가 있을까요? 답변: 만약 사용하는 시나리오가 일반적인 콘텐츠 생성이라면 전혀 필요 없습니다. 기본적인 효과만으로도 충분합니다. 하지만 업계 전용 용어가 많은 경우에는 몇 백 개의 샘플을 제공하여 미세 조정을 할 수 있습니다. 저희의 자동차 부품 상품 설명의 경우 미세 조정 후 정확도가 14% 상승했으며, 비용은 단지 5%만 증가했습니다.

질문: 데이터 보안은 어떻게 되나요? 답변: 기본적으로는 사용자가 입력한 데이터를 모델 훈련에 사용하지 않습니다. 만약 규정 준수가 필요하다면 전용 인스턴스를 선택하여 배포할 수 있으며, 이 경우 비용이 30% 더 비쌉니다. 하지만 데이터는 완전히 격리되어 사용자 개인정보와 관련된 작업에 적합합니다.