우리는 고객 서비스 티켓 처리 작업을 Claude 3.5 Sonnet으로 전환함으로써 3개월 동안 21,000유로의 인력 비용을 절약했습니다.

지난달 우리 유럽 전자상거래 고객 서비스 팀이 거의 붕괴될 뻔했습니다. 블랙 프라이데이 대세일 일주일 전에는 하루에 1,200통이 넘는 다국어 사용자 이메일이 들어왔고, 3명의 고객 서비스 담당자가 연속으로 근무했음에도 불구하고 40%의 요청에 대해 24시간 이상 대응이 지연되었습니다. 그 결과 사용자의 나쁜 평가 비율이 18%나 증가했습니다. 임시로 아르바이트를 채용하면 교육 기간을 맞추기 어렵을 뿐만 아니라, 한 달 동안의 비용도 거의 2만 유로나 더 들었습니다.

먼저, 이걸 들어본 적 없는 분들을 위해 간단히 설명드리겠습니다.

Claude 3.5 Sonnet은 Anthropic이 2024년에 출시한 다중 모드 대형 언어 모델입니다.200K 컨텍스트 창을 지원하는 조건에서, 추론 속도가 이전 세대보다 2배 빨라졌습니다.우리의 단일 작업 티켓과 거의 3개월간의 사용자 이력 주문 및 커뮤니케이션 기록의 모든 정보를 담을 수 있을 정도입니다.

우리가 사용한 세 가지 핵심 수익원은 각각 사용자들이 겪고 있는 문제점들을 해결하는 데 초점을 맞추고 있습니다.

• 다국어 이해 정확도: 저희 사용자는 독일어, 프랑스어, 스페인어, 이탈리아어 네 언어를 사용합니다. 이전에는 소규모 모델을 사용하여 영어가 아닌 티켓을 처리할 때 “환불”과 “교환”을 자주 혼동했지만, Sonnet의 오류율은 2% 미만입니다. 따라서 추가적인 번역 도구를 사용하지 않고도 직접 처리할 수 있습니다.
• 장문 문서 처리가 안정적입니다: 사용자가 반품을 신청할 때 종종 5~6장의 상품 손상 사진과 몇백 자의 설명을 함께 제공하는데, Sonnet은 이미지, 텍스트, 그리고 과거의 주문 기록을 한 번에 확인할 수 있으며, 우리의 애프터서비스 규정에 맞는 처리 방안을 즉시 생성해 줍니다. 따라서 사람이 정보를 다시 확인할 필요가 없습니다.
• 비용이 충분히 저렴합니다: 저희가 측정한 결과, 1000건의 고객 요청을 처리하는 데 드는 비용은 10유로 미만입니다. 게이트웨이 사용 및 세부 조정 비용을 포함하더라도, 매달 총 비용은 전임 고객 서비스 담당자의 월급의 5분의 1도 되지 않습니다.

Sonnet의 첫 달에 우리의 티켓 평균 응답 시간이 17시간에서 1.5시간으로 줄었습니다.고객 서비스는 더 이상 중복된 반품 처리나 배송 상황에 대한 문의를 처리할 필요가 없으며, 약 10%의 복잡한 분쟁만을 처리하면 됩니다. 대규모 할인 기간 동안에도 인력을 추가하지 않았습니다.

이점만 보지 마세요. 지난 2주 동안 우리는 실제로 두 번의 문제에 부딪혔습니다.

첫 번째는 복잡한 규칙을 인식하는 데서 발생한 문제였습니다. 저희에게는 “커스텀 상품이 7일을 초과했지만 품질 문제가 있는 경우에는 환불이 가능하다”는 특별한 규칙이 있었습니다. 처음에는 이 규칙을 그대로 모델에 입력했지만, 모델은 일반적인 “커스텀 상품은 환불 및 교환 불가”라는 규칙에 따라 사용자의 요청을 거절했습니다. 그 후에 이러한 특별한 규칙을 별도의 트리거형 프롬프트로 만들어서 관련 키워드가 나타날 때 우선적으로 적용하도록 했고, 그 결과 문제가 해결되었습니다.

두 번째는 요청 제한입니다: 대규모 프로모션 당일에는 평소의 3배에 달하는 피크 요청량이 발생했는데, 처음에는 요청 처리 수준을 낮추는 전략을 적용하지 않아 일부 요청이 바로 429 오류를 반환했습니다. 그 후 간단한 대기열 메커니즘을 추가하여 비긴급한 작업 요청들을 10분 뒤에 처리하도록 했더니 더 이상 실패가 발생하지 않았습니다.

명확히 말해서: 누가 사용하기에 적합한지, 누가 전혀 사용할 필요가 없는지를 알려드립니다.

만약 여러분의 팀이 다음 두 가지 조건 중 하나에 해당한다면, 그냥 사용해도 문제없습니다: 첫째, 대량의 긴 텍스트나 다양한 모드를 포함한 구조화된 작업을 처리해야 하는 경우, 예를 들어 고객 서비스 요청, 계약 검토, 장문 문서의 요약 등이 있습니다; 둘째, 비즈니스가 다국어 지역을 대상으로 하여 각 언어에 맞게 모델을 개별적으로 조정하고 싶지 않은 경우입니다.

만약 당신이 단순한 키워드 응답이나 짧은 텍스트 분류만 필요로 하거나, 데이터 프라이버시에 대한 요구가 매우 높아서 데이터를 제3자 모델에 전송할 수 없다면, 굳이 이것을 선택할 필요는 없습니다. 작은 모델이나 규칙 엔진을 사용하는 것으로도 충분합니다.

처음 사용하는 분들을 위한 두 가지 실용적인 팁입니다.

첫 번째 테스트에서는 바로 전체 데이터를 한 번에 적용하지 마세요. 먼저 지난 1개월 동안 처리된 이력 작업 티켓을 가져와서 모델의 출력 결과와 수동으로 처리한 결과를 비교해 보세요. 정확도가 90% 이상이 되면 그때 서비스에 적용하세요. 이렇게 하면 규칙 적용 문제의 80% 이상을 피할 수 있습니다.

만약 요청량의 변동이 크다면, 간단한 하위 버전 대기열을 구현하는 것이 좋습니다. Sonnet의 무료 플랜에서는 제한이 매우 엄격하기 때문에, 피크 시간대에는 우선순위가 낮은 작업들을 뒤로 미루면 됩니다. 이렇게 하면 추가 비용을 들여 전용 처리량을 구매하지 않고도 대부분의 중소기업의 요구를 충족시킬 수 있습니다.

몇 가지 여러분이 궁금해할 수 있는 질문들

Q: 특별한 미세 조정이 필요한가요? A: 저희는 단지 애프터서비스 규칙들을 프롬프트에 포함시켰을 뿐, 별도의 미세 조정은 하지 않았습니다. 그런데도 정확도가 충분히 만족스러웠습니다. 당신의 비즈니스 규칙이 특별히 복잡하지 않는 이상, 그런 비용을 들일 필요는 없습니다.

Q: GPT-4o와 비교했을 때 어느 쪽이 더 경제적인가요? A: 동일한 작업 티켓을 처리하는 데 있어 Sonnet의 비용이 약 30% 저렴한 것으로 나타났으며, 정확도도 비슷합니다. 비용에 민감한 중소기업의 경우 전자를 선택하는 것이 더 적합합니다.