Tim kami berhasil mengurangi biaya pemrosesan alamat sebesar 62% dengan menggunakan GPT-3.5, dan sekaligus menyelesaikan masalah pembatasan lalu lintas (traffic throttling) selama promosi besar-besaran.

Pada promosi Black Friday bulan lalu, tim backend kami yang terdiri dari 3 orang yang berkecimpung dalam logistik pengiriman paket lintas negara di Belanda, untuk pertama kalinya tidak harus begadang di samping server. Tahun lalu pada waktu yang sama, tingkat akurasi model koreksi alamat yang kami kembangkan sendiri kurang dari 80%, dan kami harus menugaskan satu orang khusus untuk memantau log catatan kesalahan selama 24 jam. Tingkat pengembalian paket hanya karena kesalahan pengisian alamat saja mencapai 11%.

Untuk yang belum pernah mendengarnya sebelumnya, izinkan saya menjelaskan dengan singkat: Apa sebenarnya GPT-3.5?

Ini adalah model bahasa besar yang diluncurkan oleh OpenAI pada tahun 2022, dan versi stabilnya yang masih dalam proses pengembangan hingga tahun 2026 mendukung jendela konteks hingga 16.000 kata. Kecepatan respons untuk permintaan output terstruktur yang tidak berbasis aliran umumnya kurang dari 200 milidetik, yang cukup untuk mendukung kebutuhan pemrosesan semantik ringan dengan tingkat konvergensi yang tinggi secara online.

Kami memilihnya untuk menyelesaikan masalah pemecahan alamat, dan ada 3 keuntungan nyata yang menjadi dasar pengambilan keputusan tersebut.

• Yang pertama adalah tingkat akurasi yang siap digunakan langsung setelah dibuka kemasannya: tidak perlu melakukan pelabelan data alamat dari berbagai negara dalam jumlah jutaan untuk proses pelatihan. Kami hanya memberikan 200 contoh alamat yang tidak normal dari masa lalu sebagai data pelatihan (few-shot), dan tingkat akurasi pemrosesan langsung meningkat.98.7%Ketika masalah terjadi, tingkat kesalahan langsung turun di bawah 1%.
• Kedua, biayanya jauh lebih rendah dibandingkan dengan mengembangkan sendiri: Sebelumnya, biaya bulanan untuk memelihara model buatan sendiri beserta 3 server GPU adalah 1200 euro. Sekarang, dengan menggunakan GPT-3.5 untuk memproses 500.000 permintaan per hari, biayanya hanya 450 euro per bulan, yang berarti penghematan sebesar 62% dari biaya sebelumnya.
• Yang ketiga adalah tidak perlu repot-repot memikirkan proses perluasan kapasitas secara manual: Selama periode Black Friday, jumlah permintaan kami meningkat tiga kali lipat. Sebelumnya, model buatan sendiri kami hanya mampu menangani hingga 1,5 kali lipat dari kapasitas normal dan kemudian akan mengalami kegagalan (error). Kali ini, kami hanya mengajukan permohonan peningkatan kapasitas sementara ke OpenAI terlebih dahulu, dan sepanjang proses tidak ada satupun kesalahan tipe 429 yang terjadi.

Jangan hanya melihat keuntungannya saja, selama 3 bulan terakhir kami justru mengalami lebih banyak masalah daripada mendapatkan keuntungan.

Pada awalnya, kami langsung memberikan field alamat asli ke model, dan sering kali terjadi masalah di mana alamat desa-desa di negara kecil Eropa diidentifikasi sebagai alamat kota di Amerika Serikat. Setelah berusaha selama seminggu, kami baru menyadari bahwa aturan “prioritaskan pencocokan dengan field negara tujuan yang terdapat dalam permintaan logistik” tidak ditambahkan ke dalam Prompt default.

Ada satu kali lagi ketika kami secara tidak sengaja mengaktifkan mode output berbasis streaming, yang menyebabkan waktu pengiriman semua hasil pemrosesan meningkat tiga kali lipat. Pada saat puncak, terdapat lebih dari 20.000 permintaan yang gagal karena waktu tunggu yang terlalu lama. Setelah diteliti selama setengah hari, kami baru menyadari bahwa seorang rekan kerja lupa untuk mengubah kembali pengaturan parameter tersebut ke kondisi semula.

Yang paling menyebalkan adalah masalah tagihan: Awalnya kami tidak melakukan pemotongan data yang dimasukkan oleh pengguna, sehingga semua catatan tambahan yang tidak relevan yang mereka tuliskan saat mengisi alamat juga ikut dimasukkan ke dalam model. Akibatnya, tagihan bulanan meningkat 30% dari perkiraan. Setelah kami menambahkan aturan pemotongan data sebanyak 100 karakter di awal setiap entri, tagihan bulanan kembali ke kondisi normal pada bulan berikutnya.

Pada akhirnya, GPT-3.5 bukanlah obat mujarab untuk segalanya; saya menyarankan Anda untuk tidak terburu-buru bergabung dengan kedua jenis tim tersebut.

Jika tim Anda perlu menangani data dengan privasi tinggi seperti catatan medis atau informasi pembayaran, jangan gunakan versi publik GPT-3.5, seberapa murah dan mudah digunakannya pun. Anda tidak akan mampu menanggung risiko ketidaksesuaian dengan peraturan perlindungan data.

Jika kebutuhan Anda adalah untuk menghasilkan dokumen profesional dengan lebih dari sepuluh ribu kata atau melakukan penalaran logis yang kompleks, lebih baik memilih GPT-4o atau Claude 3. Tingkat akurasi GPT-3.5 dalam tugas-tugas semacam ini sangat rendah, sehingga menghemat uang tidak sebanding dengan manfaat yang akan Anda dapatkan.

Sebaliknya, jika tugas Anda adalah klasifikasi niat pengguna, koreksi teks singkat, atau ekstraksi informasi terstruktur yang merupakan tugas semantik ringan, dan tidak memerlukan penalaran yang sangat kompleks, GPT-3.5 akan tetap menjadi pilihan dengan nilai terbaik untuk harga, hingga tahun 2026, tanpa ada pesaing.

Berikut adalah 3 saran praktis untuk orang yang pertama kali menggunakannya, semua saran ini kami dapatkan dari pengalaman kami sendiri saat menghadapi masalah.

• Sebelum diluncurkan, jalankan pengujian dengan lalu lintas “shadow” (pengujian tiruan) selama 7 hari: kirimkan permintaan tersebut ke solusi yang Anda gunakan saat ini dan juga ke GPT-3.5. Bandingkan hanya hasilnya, bukan lalu lintas yang terjadi, untuk memastikan bahwa tingkat akurasi dan kecepatannya memenuhi harapan sebelum melakukan penggantian secara penuh.
• Berikan filter praproses pada semua input: hilangkan semua spasi tambahan, catatan yang tidak relevan, dan karakter khusus sebelumnya, sehingga dapat menghemat setidaknya 20% dari penggunaan token dan juga mengurangi kemungkinan kesalahan dalam penilaian model.
• Pastikan untuk menyusun rencana cadangan: jika terjadi masalah dengan interface OpenAI, Anda harus memiliki solusi alternatif yang lebih sederhana yang dapat berfungsi sebagai penggantinya. Meskipun tingkat akurasinya lebih rendah, itu masih lebih baik daripada jika seluruh layanan tidak dapat digunakan sama sekali.

FAQ

Sudah tahun 2026 sekarang, dengan begitu banyak model baru yang tersedia, apakah masih perlu menggunakan GPT-3.5?
Sangat penting untuk tugas-tugas yang sederhana; kami telah membandingkannya dengan model open source seharga yang sama, dan GPT-3.5 memiliki tingkat akurasi yang setidaknya 5 persentase poin lebih tinggi. Selain itu, tidak perlu Anda mengelola atau mendeploynya sendiri, sehingga total biayanya justru lebih rendah.

Apakah perlu khawatir tentang pembatasan lalu lintas (traffic throttling) saat melakukan pemanggilan?
Jika lalu lintas harian tidak tiba-tiba meningkat lebih dari 10 kali, kuota yang disediakan biasanya sudah cukup. Untuk meningkatkan kuota selama promosi besar, Anda hanya perlu mengajukan permohonan 3 hari sebelumnya. Kami sudah mengajukan permohonan sebanyak 3 kali, dan permohonan tersebut disetujui dalam waktu tercepat 2 jam.