Kami menghemat 32% tenaga kerja dengan menggunakan GPT-4 untuk memproses jutaan permintaan layanan purna jual, jadi jangan lagi melakukan kesalahan-kesalahan ini.

Pada puncak promosi Black Friday bulan lalu, tim kami yang terdiri dari 3 orang terus memantau panel pengawasan. Kami menyaksikan bagaimana tingkat kesalahan (error rate) pada permintaan tiket layanan pelanggan (after-sales tickets), yang sebelumnya hanya 1%, melonjak menjadi 12%. Model kecil yang digunakan sebelumnya sama sekali tidak mampu menangani volume pertanyaan multibahasa sebanyak 1,2 juta per hari, dan jumlah keluhan dari pelanggan meningkat empat kali lipat dalam waktu 24 jam. Akhirnya, kami secara darurat beralih menggunakan sumber daya dari GPT-4 untuk mengurangi tingkat kesalahan hingga di bawah 0,3%.

Pahami dulu: Apa sebenarnya yang bisa GPT-4 berikan kepada tim-tim kecil dan menengah?

Singkatnya, ini adalah model besar dari OpenAI yang saat ini memiliki kemampuan yang paling seimbang untuk digunakan oleh perusahaan. Model ini mendukung input konteks hingga panjang 128k, dan tingkat akurasi pemahaman berbagai bahasa lebih tinggi dari sebagian besar model kecil khusus (vertical models) sebesar lebih dari 40%. Anda tidak perlu melakukan banyak penyesuaian tambahan (fine-tuning) untuk dapat langsung mengolah skenario yang kompleks dengan model ini.

Bagi tim kecil kami yang terdiri dari 20 orang yang bergerak di bidang ritel elektronik lintas negara, ada tiga manfaat langsung yang tidak perlu dihitung dengan rumit menggunakan analisis ROI (Return on Investment):

• Pertama-tama, dengan adanya sistem tiket pelanggan berbahasa multibahasa, tidak perlu lagi menyediakan staf penerjemah khusus. Sistem ini dapat langsung memahami pertanyaan dan keluhan dari pelanggan dalam bahasa Spanyol, Prancis, dan Polandia, serta dapat menghasilkan balasan standar dalam bahasa yang sesuai.Biaya tenaga kerja purna jual kami langsung mengurang sebesar 32%.
• Akurasi penilaian gangguan yang kompleks sekarang jauh lebih tinggi dibandingkan dengan model sebelumnya; sebelumnya, 17% dari permintaan pelanggan perlu diverifikasi secara manual sekali lagi, sedangkan sekarang proporsinya kurang dari 4%.
• Tidak perlu menimbun terlalu banyak data pelatihan untuk penyesuaian kecil; cukup masukkan manual produk yang baru diluncurkan, dan dalam waktu 2 jam sistem sudah bisa beradaptasi dengan layanan pelanggan yang sesuai. Efisiensinya meningkat secara signifikan saat ada promosi besar-besaran.

Jangan hanya melihat kelebihannya saja, ada beberapa masalah nyata yang telah kami alami.

Masalah pertama adalah kehilangan kendali atas biaya. Ketika kami beralih ke GPT-4, kami tidak melakukan pemotongan input, sehingga teks yang dihasilkan dari puluhan halaman tangkapan layar kesalahan yang diunggah oleh pengguna dimasukkan langsung ke sistem. Biaya penggunaan token dalam satu hari menjadi lebih tinggi daripada biaya selama seminggu sebelumnya. Kemudian, kami menambahkan langkah penyaringan awal untuk membuang informasi yang tidak berguna dan redundan, dan biaya tersebut langsung turun hingga setengahnya.

Yang kedua adalah masalah pembatasan lalu lintas data (traffic throttling) yang benar-benar merepotkan. Jika terjadi lonjakan permintaan secara tiba-tiba selama promosi besar, menggunakan interface resmi langsung bisa menyebabkan tercapainya batas konvensi (concurrency limit). Kami pernah mengalami pembatasan lalu lintas selama 10 menit pada hari Black Friday, dan masalah tersebut hanya bisa diatasi setelah kami mengajukan permohonan perluasan kapasitas secara mendadak 3 hari sebelumnya kepada manajer klien. Jangan pernah menunggu hingga lalu lintas meningkat baru mengajukan permohonan.

Yang ketiga adalah kesalahan penilaian terhadap konten sensitif. Ada seorang pengguna yang hanya bertanya, “Apakah oven akan meledak jika bagian luarnya terasa panas saat dipanaskan?”, dan pertanyaan tersebut langsung ditolak oleh sistem keamanan konten dengan mengembalikan pesan kesalahan. Setelah kami menambahkan lapisan pemeriksaan awal terhadap kata-kata sensitif, kami berhasil menyaring kata-kata kunci pertanyaan yang sebenarnya merupakan pertanyaan umum tentang masalah teknis, sehingga tingkat kesalahan penilaian tersebut turun ke tingkat yang dapat diterima.

Apakah sekarang benar-benar harus beralih ke GPT-4? Mari kita lihat dua kriteria berikut terlebih dahulu.

Kondisi di mana hal ini dapat digunakan:Jika Anda perlu menangani konten berbahasa asing, melakukan penalaran teks panjang yang kompleks (seperti merangkum dokumen yang berisi puluhan halaman, menjawab pertanyaan pelanggan setelah penjualan, atau memperbaiki kesalahan dalam kode), atau jika tim Anda tidak memiliki spesialis algoritma untuk melakukan fine-tuning pada model kecil, maka menggunakan GPT-4 akan jauh lebih menguntungkan dari pada mencoba membuat model sendiri.

Kasus-kasus di mana penggunaannya tidak diperbolehkan:Jika skenario Anda sangat sederhana, misalnya hanya melakukan respons berdasarkan kata kunci, menghasilkan pesan teks dengan template tetap, atau semua data tidak boleh keluar dari lingkup yang ditentukan, maka tidak perlu menggunakan model yang canggih. Model yang lebih sederhana atau bahkan engine berbasis aturan saja sudah cukup untuk menyelesaikannya. Menghabiskan uang untuk model yang lebih mahal hanyalah pemborosan.

Dua saran spesifik untuk tim yang baru memulai:

Pertama, gunakan 10% dari total lalu lintas untuk melakukan pengujian skala abu-abu (grayscale testing) selama 7 hari untuk melihat tingkat akurasi, biaya, dan kecepatan respons yang sebenarnya sesuai dengan harapan Anda. Jangan langsung beralih ke seluruh sistem secara sekaligus. Kami pernah mengalami masalah dengan pembatasan lalu lintas (traffic throttling) saat melakukan peralihan secara penuh, dan sekarang pengujian skala abu-abu telah menjadi bagian dari prosedur tetap kami saat mengganti model.

Kedua, pastikan untuk menambahkan lapisan penjadwalan lalu lintas di depan, yang akan mengalokasikan permintaan sederhana ke model-model kecil yang lebih murah. Hanya permintaan yang kompleks dan tidak dapat ditangani oleh model-model kecil itulah yang akan dikirim ke GPT-4. Setelah kami melakukan ini, biaya keseluruhan model turun sebesar 28%, dan kualitas hasilnya tidak berkurang sama sekali.

Dua masalah kecil yang umum terjadi

Pertanyaan: Apakah ada risiko kebocoran data? Jawaban: Jika Anda menggunakan versi API perusahaan, OpenAI dengan jelas menyatakan bahwa data masukan pengguna tidak akan digunakan untuk melatih model. Kami telah melakukan audit kepatuhan, dan produk ini memenuhi persyaratan GDPR Uni Eropa, jadi Anda dapat menggunakannya dengan tenang.

Pertanyaan: Apakah kecepatan respons akan sangat lambat? Jawaban: Permintaan konsultasi tiket kerja yang normal sebagian besar akan dikembalikan dalam waktu kurang dari 150 milidetik, hanya pemrosesan teks yang sangat panjang yang mungkin memakan waktu hingga 1 detik, yang masih cukup untuk skenario purna jual.