동남아시아 생선 전자상거래는 클라우드로 주문 품질검사를 하고 3 개의 고객서비스를 절약하지만 2 개의 치명적인 구덩이를 밟았다.

지난 주 우리 팀은 갑작스런 사고를 처리했습니다 : 대 프로모션 당일 18% 의 애프터 시프트는 클라우드 출력 형식 오류로 인해 처리 대기열에 직접 붙어 있으며 사용자가 신청한 신선한 나쁜 과일 배상이 4 시간 동안 지연되어 응답했으며 당일 반품률은 직접 2% 포인트 상승했습니다.

접촉하지 않은 사람들에게 명확하게 설명하십시오 : 클라우드가 정확히 무엇입니까?

그것은 Anthropic 개발의 큰 언어 모델, 현재 최신 3. 5 Sonnet 버전 단일 컨텍스트 창은 200 k 토큰을로드 할 수 있으며, 약 15 만 중국어 단어입니다, 우리가 가장 먼저 선택한 것은 완전한 주문 흐름, 사용자 증거 그래프의 OCR 결과 및 플랫폼 지불 규칙을 한 번에 넣을 수 있기 때문에 여러 라운드 요청을 분해 할 필요가 없습니다.

우리가 그것을 이용한 세 가지 실제적인 혜택은

가장 직접적인 것은 인적 원가 감소입니다 : 원래 주문의 품질 검사를 담당하는 6 개의 고객 서비스 직원은 이제 3 개의 비정상적인 바닥을 남겨두고 매월 인적 지출만 4, 200 달러를 절약 할 수 있습니다.

두 번째는 처리 속도입니다 : 원래 수동 검토는 평균 2 분이 걸리며 현재 대부분의 요청은 15 ms 이내에 완료되며 사용자가 지불 신청서를 제출 한 후 기본 5 초 이내에 결과를 얻을 수 있으며 사용자 만족도는 17 % 가 직접 증가했습니다.

세 번째는 규칙이보다 통일 된 집행입니다 : 이전에는 인공 심사가 종종 같은 종류의 나쁜 결과 상황이 나타나고, 어떤 사람들은 전액을 보상하고 어떤 사람들은 30% 만 보상하며, 사용자는 불공정한 처벌에 대해 불평하는 경우가 매월 수십 건이며, 클라우드 통일 된 규칙으로 먹이를 준 후, 이러한 불만은 매월 3 건 미만으로 직접 떨어졌습니다.

좋은 점만 보지 말고, 이 두 구덩이에서 우리는 거의 멈출 뻔했다.

첫 번째는 흐름 제한의 구덩이입니다 : 우리가 처음에 직접 도킹하는 공식 API 는 다중 계층 다운그레이드를하지 않았으며 당일 요청량이 3 배로 증가했으며 공식은 429 로 직접 반환했으며 우리는 수동으로 바닥을 덮는 트리거 메커니즘을하지 않았으며 결과적으로 수천 개의 작업 지시가 직접 붙어 있습니다.나중에 우리는 같은 효과를 가진 작은 모델을 강등 대비안으로 추가했는데 련속 3 번 요청이 실패하면 자동으로 작은 모델로 잘라 다시 실패해야만 수동으로 전환했는데 지금은 더 이상 배치카드단체의 상황이 나타나지 않았다.

두 번째는 구조화 된 출력 불안정성의 웅덩이입니다 : 우리는 처음에 JSON 형식의 페널티를 반환하도록 요청했으며, 약 2 % 의 경우 JSON 외부에 설명 문의 무리를 추가하여 구문 분석 스크립트가 직접 오류를 반환하도록했습니다.나중에 프롬프트 끝에 "출력이 순수한 JSON 이 아니라면 닫힙니다." 라는 문구를 추가하여 0. 1 % 미만으로 떨어졌습니다.

누가 사용하기에 적합합니까?누가 절대 만지지 말아줘?

팀이 일반적으로 전자 상거래 주문 검토, 고객 서비스 작업명서 분류, 계약 조항 예비 검토와 같은 많은 규칙과 텍스트의 중복 작업을 처리하고 프롬프트를 조정하고 다운그레이드 메커니즘을 수행하는 데 1 - 2 주를 기꺼이 소비한다면 Claude 는 많은 돈과 시간을 절약 할 수 있습니다.

의료 진단 , 금융 거래 최종 심 사와 같은 시 나 리오 가 결과 정확 도 요구 사항 이 100 % 인 경우 또는 팀이 전문 운영 및 유지 보수 / 개발 자 조차 가지고 있지 않으면 제 로 디 버 깅 을 사용 하십시오 .

처음 사용하는 사람들을위한 두 가지 실용적인 팁

첫째, 직접 생산하지 말고 7 일 동안 그림자 모드를 실행하십시오 : 모든 요청은 동시에 수동과 클로드, 결과 일관성을 비교하고, 일관성이 95% 이상으로 안정되어 트래픽을 절단합니다. 우리는 10 일 동안 그림자를 실행하고, 3 개의 규칙 이해의 편차를 발견하고, 미리 프롬프트를 변경했습니다.

둘째, 모든 요청을 가장 적합한 버전으로 넣지 말고 Haiku 를 사용할 수있는 시나리오에서 Sonnet 을 사용하지 마십시오 : 나중에 Haiku 로 간단한 작업명서 분류 요청을 절단하여 토큰 비용을 60 % 직접 절감하고 속도가 두 배로 빨라지고 효과가 전혀 나쁘지 않습니다.

FAQs

• 데이터 유출 문제가있을 수 있습니까?데이터가 민감한 경우 엔터프라이즈 버전을 직접 구입하고 데이터 처리 계약을 체결하면 Anthropic 은 엔터프라이즈 버전을 요청하는 데이터 교육 모델을 사용하지 않으며 8 개월 동안 데이터 문제가 없었습니다.
• GPT 보다 어떤 것이 더 좋습니까?장면에서 긴 텍스트를 처리하고 컨텍스트에 대한 이해가 필요하다면 Claude 를 선택하십시오. 그림과 같은 다중 모드 생성이 필요하다면 GPT 를 선택하십시오. 우리는 지금 둘 다 사용하고 있으며 각각 다른 장면을 실행합니다.