Kami telah memindahkan proses penanganan tiket pelanggan ke sistem Claude 3.5 Sonnet, dan dalam waktu 3 bulan, kami berhasil menghemat biaya tenaga kerja sebesar 21.000 euro.

Bulan lalu, tim layanan pelanggan e-commerce kami di Eropa hampir saja bangkrut: seminggu sebelum promosi besar Black Friday, kami menerima lebih dari 1200 email per hari dari pengguna berbahasa internasional. Meskipun tiga staf layanan pelanggan bekerja tanpa henti, masih ada 40% permintaan pelanggan yang membutuhkan waktu lebih dari 24 jam untuk dijawab, dan tingkat ulasan negatif pengguna langsung meningkat sebesar 18%. Merekrut staf sementara tidak hanya menyebabkan masalah dengan siklus pelatihan yang tidak cukup waktu, tetapi juga menambah biaya hampir 20.000 euro per bulan.

Untuk mereka yang belum pernah mendengarnya, berikut penjelasannya:

Claude 3.5 Sonnet adalah model besar berbasis multi-modal yang diluncurkan oleh Anthropic pada tahun 2024.Dengan dukungan jendela konteks hingga 200K, kecepatan penalaran meningkat dua kali lipat dibandingkan generasi sebelumnya.Cukup untuk menampung semua informasi dari satu tiket kerja kami, serta data pesanan pengguna selama hampir 3 bulan terakhir, termasuk catatan komunikasi.

Kami menggunakan tiga pendapatan inti, dan masing-masing dari pendapatan tersebut menangani masalah atau kebutuhan yang nyata (pain points) dari pengguna.

• Akurasi pemahaman berbahasa multibahasa: Pengguna kami mencakup empat bahasa, yaitu Jerman, Prancis, Spanyol, dan Italia. Sebelumnya, saat menggunakan model kecil untuk menangani tiket non-Inggris, sering terjadi kekeliruan dalam membedakan antara “pengembalian uang” dan “pertukaran barang”. Namun, dengan Sonnet, tingkat kesalahan penilaian kurang dari 2%, sehingga tidak diperlukan alat penerjemahan tambahan untuk menangani tiket tersebut secara langsung.
• Pemrosesan dokumen panjang yang stabil: Saat pengguna mengajukan pengembalian barang, mereka sering menyertakan 5 hingga 6 foto kerusakan barang beserta deskripsi singkat. Sonnet mampu membaca semua foto, teks, dan catatan pesanan sebelumnya sekaligus, lalu langsung menghasilkan solusi pemrosesan yang sesuai dengan aturan layanan pelanggan kami, sehingga tidak perlu lagi memeriksa informasi secara manual.
• Biayanya cukup rendah: Berdasarkan pengujian kami, biaya untuk memproses 1000 tiket (ticket) adalah kurang dari 10 euro. Bahkan jika ditambah dengan biaya gateway dan penyesuaian kecil, total pengeluaran per bulan masih kurang dari 1/5 dari gaji bulanan seorang staf layanan pelanggan penuh waktu.

Pada bulan pertama penggunaan Sonnet, waktu rata-rata respons untuk permintaan (ticket) kami telah menurun dari 17 jam menjadi 1,5 jam.Pelanggan tidak perlu lagi menangani pengembalian barang yang berulang atau pertanyaan terkait pengiriman, karena mereka hanya perlu menangani sekitar 10% dari kasus sengketa yang lebih kompleks. Selama periode promosi besar, tidak ada penambahan staf.

Jangan hanya melihat keuntungannya saja; dua minggu yang lalu kami benar-benar mengalami dua masalah serius.

Pertama adalah masalah ilusi yang terkait dengan pengenalan aturan yang kompleks: Kami memiliki aturan khusus yang menyatakan bahwa barang pesanan khusus dapat dikembalikan uangnya jika ada masalah kualitas, bahkan jika sudah lebih dari 7 hari sejak pembelian. Awalnya, kami langsung memberikan aturan tersebut ke model, dan model tersebut tetap menolak permintaan pengembalian uang pengguna berdasarkan aturan umum yang menyatakan bahwa barang pesanan khusus tidak dapat dikembalikan atau ditukar. Kemudian, kami membuat aturan khusus ini menjadi prompt yang diaktifkan secara terpisah, sehingga ketika kata kunci terkait muncul, aturan tersebut akan dipanggil terlebih dahulu, dan akhirnya masalah tersebut dapat diatasi.

Yang kedua adalah pengendalian lalu lintas (throttling): Pada hari promosi besar-besaran, jumlah permintaan mencapai 3 kali lipat dari biasanya. Awalnya kami tidak menerapkan strategi penurunan kualitas layanan (degradation), sehingga beberapa permintaan langsung menghasilkan kode kesalahan 429. Kemudian kami menambahkan mekanisme antrian sederhana yang menunda penanganan tiket non-urgent selama 10 menit, dan sejak itu tidak ada lagi kasus kegagalan.

Jelas saja: siapa yang cocok untuk menggunakannya, itu orang yang benar-benar tidak perlu mencobanya.

Jika tim Anda memenuhi salah satu dari dua kondisi ini, maka menggunakan (metode atau alat tertentu) tidak akan salah: pertama, jika Anda perlu menangani sejumlah besar teks panjang dan tugas struktural yang bersifat multimodal, seperti tiket layanan pelanggan, peninjauan kontrak, atau ringkasan dokumen panjang; kedua, jika bisnis Anda mencakup berbagai wilayah berbahasa dan Anda tidak ingin melakukan penyesuaian model (fine-tuning) secara terpisah untuk setiap bahasa.

Jika Anda hanya memerlukan respons berdasarkan kata kunci yang sederhana, klasifikasi teks singkat, atau memiliki kebutuhan yang sangat tinggi terhadap privasi data sehingga tidak boleh mengirimkan data ke model pihak ketiga, maka tidak perlu memilihnya; model yang lebih kecil atau bahkan engine aturan saja sudah cukup.

Dua saran praktis untuk pengguna pertama

Pada pengujian pertama, jangan langsung mengimplementasikan semua perubahan sekaligus. Mulailah dengan menguji data tiket kerja historis yang telah ditangani dalam 1 bulan terakhir. Bandingkan hasil yang dihasilkan oleh model dengan hasil penanganan manual, dan pastikan tingkat akurasi mencapai lebih dari 90% sebelum meluncurkan sistem tersebut. Dengan cara ini, Anda dapat menghindari sekitar 80% dari masalah yang terkait dengan penyesuaian aturan.

Jika permintaan Anda fluktuatif, pastikan untuk membuat sebuah antrian penurunan kualitas (degradation queue) yang sederhana: batasan bandwidth gratis dari Sonnet cukup ketat. Pada saat puncak, tugas-tugas dengan prioritas rendah dapat ditunda, sehingga Anda tidak perlu mengeluarkan biaya tambahan untuk mendapatkan kapasitas transmisi khusus. Dengan cara ini, kebutuhan sebagian besar perusahaan kecil dan menengah dapat terpenuhi.

Beberapa pertanyaan yang mungkin Anda ajukan:

Q: Apakah perlu melakukan penyesuaian (tuning) khusus? A: Kami hanya menuliskan aturan purna jual ke dalam prompt, dan tanpa melakukan penyesuaian apa pun, tingkat akurasi sudah cukup memadai. Kecuali jika aturan bisnis Anda sangat kompleks, maka tidak perlu mengeluarkan biaya untuk itu.

Q: Mana yang lebih menguntungkan, GPT-4o atau Sonnet? A: Berdasarkan pengujian kami, biaya penggunaan Sonnet untuk menangani tiket kerja yang sama lebih rendah sekitar 30%, sementara tingkat akurasinya hampir sama. Untuk perusahaan kecil dan menengah yang sensitif terhadap biaya, Sonnet merupakan pilihan yang lebih tepat.