Claude 3 Opus 를 사용하여 국경 간 신고 식별을 처리하여 수동 검토 비용을 60 % 절감했지만 3 개의 구멍을 밟았습니다.

지난 달 유럽 역이 큰 홍보, 국경 간 세관 신고를 담당하는 우리의 3 인 그룹은 거의 바쁘다: 새로운 규정 준수 정책은 모든 상품의 세관 신고서는 반드시 상품 코드, 원산지 증명서 및 EU 세금 식별 번호와 일치해야하며, 이전에 사용한 작은 모델 식별률은 70% 미만이며, 일주일에 1, 200 개의 재심사해야하는 비정상 단서를 축적하여 전체 통관 절차를 2 일 동안 늦추었습니다.

Claude 3 Opus 란 무엇입니까?

Anthropic 은 현재 가장 강력한 대형 언어 모델입니다.단일 지원으로 2 백만 개의 토큰을 입력하면 컨텍스트 참조를 위해 1, 500 페이지의 무역 규정 준수 매뉴얼에 직접 공급 할 수 있습니다.세그먼트 요청을 위해 콘텐츠를 분할할 필요가 없습니다.

우리가 측정한 세 가지 핵심 이익은

첫 번째는 복잡한 문서의 인식 정확도가 직접 풀립니다.이전의 모델은 종종 다 페이지 세관 신고서의 필기 메모, 첨부 페이지의 원산지 코드를 혼동하고 Opus 로 전환 한 후, 우리는 회사가 축적 한 3 년 규정 준수 규칙을 배치에 모든 상품의 목록과 함께 넣었습니다.식별 정확도는 98% 에 도달했으며 수동 재검사량은 60% 감소했습니다.지난 주 대촉고봉도 비정상적인 단일백로그가 나타나지 않았다.

두 번째는 복잡한 프롬프트 엔지니어링을 방해하지 않는 것입니다.이전에는 작은 모델이 세관 요구 사항을 충족하는 구조화 된 데이터를 출력하기 위해, 우리는 반 개월 동안 단어만 조정하고 몇 계층의 규칙 검사를 추가했습니다; Opus 는 세 가지 올바른 형식 예제를 제공하면 출력 콘텐츠가 우리의 세관 신고 시스템에 직접 연결하여 적어도 일주일간의 개발 작업량을 절약 할 수 있습니다.

세 번째는 민감한 데이터 처리가 더 부담스럽다는 것입니다.우리는 국경 간 비즈니스에서 사용자의 세금 정보, 기업 자격 데이터 유출을 가장 두려워하며, Opus 는 제로 샷 데이터 처리를 지원하며, 민감한 데이터를 미세 조정할 필요가 없으며, 요청에 처리 규칙을 추가하면 결과를 반환 할 수 있으며, GDPR 의 요구 사항에 완전히 부합하며, 추가 데이터 규정 준수를 통과 할 필요가 없습니다.

서둘러 차에 타지 마, 이 몇 개의 구덩이들은 우리가 먼저 밟았다.

첫째, 비용은 정말로 저렴하지 않습니다.우리는 일반 모델로 1, 000 개의 관세 신고서를 처리하는 데 약 2 달러의 비용이 들었지만, Opus 를 사용한 후 15 달러로 직접 증가했습니다. 하루에 100 개 미만의 문서를 처리하는 경우, 이 비용은 파트 타임 검토자를 고용하는 것보다 더 비싸습니다.

그 다음으로 고봉시 기한 흐름이 상상보다 심했다.당일 우리는 동시 요청을 10 까지 열었고, 12 % 의 요청이 429 오류를 반환했으며, 나중에 비 긴급한 식별 요청을 새벽에 처리하기 위해 작업 큐를 추가해야했습니다.

또 다른 작은 문제가 있습니다 : 그것은 매우 인기있는 작은 언어에 대한 필기 콘텐츠의 인식률이 떨어집니다.우리는 포르투갈어 필기 원산지 증명서를 만났고, Opus 는 위의 코딩을 직접 잘못 식별하고, 마지막으로 수동으로 검토하여 막았습니다. 비즈니스가 많은 비통용 언어 필기 문서를 포함하는 경우, 먼저 자신의 데이터 세트를 가지고 정확도를 테스트하는 것이 가장 좋습니다.

누가 사용해야합니까?누가 만질 필요가 없는가?

적절한 시나리오는 명확합니다 : 법적 계약 검토, 다중 페이지 양식 인식, 긴 코드베이스 디버깅과 같은 긴 문서, 다중 모드 복잡한 콘텐츠를 처리해야하며 모델 호출 비용보다 훨씬 높은 오류 비용이있는 경우 Opus 는 많은 것을 절약 할 수 있습니다.

고객 서비스 Q & A, 일반적인 복사 생성, 간단한 키워드 추출을하는 데만 사용하는 경우, 그것은 정말로 필요하지 않으며, 일반적인 작은 모델은 수요를 완전히 충족시킬 수 있으며, 비용은 80 % 이상 절약 할 수 있습니다.

처음 시작하는 팀에게 두 가지 실용적인 제안.

첫째, 올라오자마자 완전히 교체하지 마십시오.먼저 비즈니스에서 가장 복잡하고 오류 비용이 가장 높은 요청의 10 % 를 Opus 로 전환하고 일주일 동안 데이터를 실행하여 ROI 를 계산한 다음 천천히 비율을 확장합니다.우리는 가장 오류가 발생하기 쉬운 다국어 신고서를 먼저 테스트하고 수익을 확정한 후에야 전량으로 전환했습니다.

둘째, 강등 전략을 추가해야 한다.현재 제한 또는 인식 신뢰도가 90% 미만일 때 자동으로 저비용 모델 또는 수동 프로세스로 전환하여 모든 비즈니스를 단일 모델에 묶지 마십시오.

우리 팀이 오랫동안 고민해왔던 질문에 대한 마지막 답변 : 더 저렴한 새로운 버전을 기다릴 수 있습니까?우리의 결론은, 당신의 비즈니스가 지금 복잡한 문서 처리 카드의 효율성으로 인해 일찍 인건비를 절약하는 경우, 우리는이 한 달 동안 절약 된 검토 인건비를 사용하여 향후 반년 동안 모델 호출 비용을 충당하기에 충분하다는 것입니다.