Setelah kami mengintegrasikan API ChatGPT ke dalam sistem layanan pelanggan e-commerce, kami menghemat 32% tenaga kerja dan juga menemukan 2 masalah (‘pitfall’) selama proses tersebut.

Bulan lalu, saat tim kami menangani permintaan after-sales selama Black Friday, ada 3 staf layanan pelanggan yang bekerja lembur hingga pukul 11 malam selama 3 hari berturut-turut, namun masih ada 27% dari pengguna yang melaporkan bahwa waktu tunggu balasan mereka melebihi 2 jam.

Mari jelaskan terlebih dahulu apa sebenarnya API ChatGPT itu.

Itu adalah antarmuka pemrograman yang dibuka oleh OpenAI untuk umum. Anda dapat memasukkan data bisnis Anda (seperti aturan pengembalian barang, jadwal pengiriman) ke dalamnya, dan ia akan menghasilkan konten percakapan sesuai dengan aturan tersebut, tanpa perlu pengguna untuk beralih ke situs web resmi ChatGPT. Kecepatan respons antarmuka dalam skenario umum yang ditentukan oleh pihak resmi adalah...Rata-rata waktu yang dibutuhkan untuk setiap permintaan adalah 120 ms.Dalam praktik bisnis, panjangnya akan bervariasi tergantung pada panjang konteks yang Anda masukkan.

Keuntungan nyata yang kami dapatkan setelah mengaksesnya adalah 3 item.

Yang pertama adalah penurunan biaya tenaga kerja yang paling langsung terlihat: sekarang 80% dari pertanyaan konsultasi biasa (seperti memeriksa status pengiriman atau menanyakan syarat pengembalian barang) tidak perlu ditangani secara manual. Tim layanan pelanggan kami telah dikurangi dari 7 orang menjadi 5 orang, sehingga biaya tenaga kerja kami berkurang sebesar 32% per bulan.

Yang kedua adalah kemampuan untuk menahan tekanan pada saat puncak: Tahun lalu, selama periode Black Friday, 13% dari permintaan pelanggan hilang karena tidak ada tanggapan manual yang cepat. Namun, setelah kami mengintegrasikan API tahun ini, 95% dari pertanyaan pelanggan mendapatkan tanggapan pertama dalam waktu 10 detik selama periode puncak, dan jumlah keluhan dari pengguna langsung turun sebesar 60%.

Yang ketiga adalah proses eksekusi aturan tidak akan berubah: Sebelumnya, banyak staf layanan pelanggan pemula yang sering salah mengingat batas waktu pengembalian dan penggantian barang untuk berbagai negara, sehingga menyebabkan kerugian tambahan akibat janji yang salah diberikan. Kini, API yang digunakan mengacu pada basis aturan yang terpadu, dan sejak diluncurkan dua bulan yang lalu, belum pernah ada kesalahan yang terjadi.

Dua masalah tersembunyi yang kemungkinan besar akan Anda hadapi:

Pertama, masalah pembatasan lalu lintas (throttling) tidak boleh dianggap remeh: Kami baru saja meluncurkan produk dan belum membuat rencana cadangan untuk mengatasi kemungkinan gangguan. Pada hari Black Friday, tiba-tiba terjadi peningkatan lalu lintas yang melebihi batas yang telah kami tentukan selama setengah jam, sehingga 17% dari permintaan pengguna kembali dengan kode kesalahan 429. Pengguna hanya bisa melihat pesan “Sistem sedang sibuk”, dan akhirnya kami harus menambahkan tenaga kerja manual untuk menangani masalah tersebut secara darurat.

Yang kedua adalah pembaruan data khusus yang perlu disinkronkan: Bulan lalu kami mengubah aturan pengembalian dan penggantian barang untuk wilayah Uni Eropa, dan basis data aturan di backend telah diperbarui. Namun, cache konteks API tidak dibersihkan, sehingga selama 3 hari, balasan yang diberikan kepada pengguna di Uni Eropa masih menggunakan aturan lama, yang menyebabkan kerugian biaya pengiriman tambahan sekitar 2000 euro.

Siapa yang seharusnya menggunakannya? Siapa yang benar-benar tidak perlu menyentuhnya?

Jika Anda menjalankan bisnis luar negeri yang ditujukan untuk pasar C (konsumen di negara-negara berkembang), dan Anda sering menerima banyak pertanyaan atau permintaan informasi yang bersifat repetitif, seperti pertanyaan dari layanan pelanggan e-commerce, pencarian jejak pengiriman, atau pertanyaan umum tentang hotel, maka menggunakan sistem ini pasti akan lebih menguntungkan daripada merekrut staf manual. Hal ini terutama berlaku jika jumlah permintaan tersebut melebihi 10.000 per bulan.

Tetapi jika Anda bergerak di bidang bisnis yang sangat sensitif, seperti konsultasi medis, saran manajemen keuangan, atau jika aturan bisnis Anda berubah lebih dari 3 kali dalam seminggu, maka jangan gunakannya. Biaya kesalahan akan jauh lebih tinggi daripada penghematan yang Anda dapatkan.

3 saran spesifik untuk orang yang pertama kali mencobanya

• Gunakan data konsultasi historis selama 7 hari untuk melakukan pengujian. Pastikan bahwa sistem mampu menjawab setidaknya 80% dari pertanyaan-pertanyaan umum dengan benar sebelum diluncurkan ke publik. Jangan langsung menggantikan seluruh layanan manual dengan sistem ini.
• Pastikan untuk menyisakan 20% kuota penanganan kasus oleh manusia sebagai cadangan. Jika tingkat kepercayaan (confidence level) yang dikembalikan oleh API lebih rendah dari ambang batas yang Anda tetapkan (kami menetapkannya pada 90%), langsung beralih ke proses penanganan oleh manusia, jangan memaksa sistem untuk memberikan jawaban.
• Tidak perlu langsung membeli kuota panggilan yang tertinggi dari awal; cukup beli kuota yang 1,2 kali lebih besar dari puncak kebutuhan harian Anda. Jika tidak cukup, Anda bisa meningkatkannya secara sementara. Penyesuaian kuota oleh pihak resmi dapat berlaku dalam waktu cepat, hanya dalam 2 jam.

Terakhir, ada pertanyaan yang sering diajukan: Apakah ada risiko kebocoran data? Kami menggunakan API perusahaan tingkat resmi, dan selama Anda tidak mengirimkan informasi sensitif pengguna (seperti nomor kartu kredit atau nomor identitas) ke dalam interface tersebut, OpenAI tidak akan menggunakan data bisnis Anda untuk melatih model. Setidaknya, kami telah menggunakannya selama setengah tahun dan belum pernah mengalami masalah.