Apa yang Bisa Didapatkan dari Rp10.000 untuk AI Coding? Eksperimen 32 Juta Token
Apa yang bisa kita dapatkan dengan uang Rp10.000 hari ini?
Mungkin beberapa gorengan, secangkir kopi, atau ternyata akses ke ratusan juta token AI untuk bereksperimen dengan coding.
Artikel ini adalah snapshot dari eksperimen kecil yang saya jalankan untuk melihat sejauh mana modal tersebut benar-benar bisa dipakai.
1. Modal Kecil, Ruang Eksperimen AI yang Mengejutkan
Beberapa waktu lalu, saya mengisi saldo Rp10.000 di NaraRouter dan memilih Qwen 3.8 27B sebagai model utama pada kalkulator biaya yang tersedia.
Berdasarkan model dan komposisi penggunaan yang dipilih (Cache read 90%, Input 9%, Output 1%, dengan estimasi harga Rp25 per 1 juta token), sistem memperkirakan saldo tersebut dapat mencakup hingga 392,3 juta token.
Angka tersebut langsung menarik perhatian saya.
Namun, daripada menganggap estimasi tersebut sebagai hasil yang pasti, saya mencoba menggunakannya untuk workload coding yang nyata. Tujuannya sederhana, yaitu melihat bagaimana estimasi tersebut diterjemahkan menjadi penggunaan aktual selama 24 jam.
Hasilnya memberikan gambaran menarik tentang bagaimana harga model, caching, routing, serta karakteristik workload dapat saling memengaruhi biaya penggunaan AI untuk pengembangan perangkat lunak.
2. Hasil Penggunaan Selama 24 Jam
Berdasarkan statistik pada dashboard, penggunaan selama 24 jam menghasilkan:
- 320 request
- 32 juta token dirutekan
- Success rate 96,9%
- 93,1% penggunaan dilayani dari cache
- Rata-rata latency 18,7 detik
- Estimasi biaya pay-as-you-go sebesar Rp1.260, atau sekitar USD 0,07 berdasarkan tampilan dashboard
Ada satu perbedaan penting yang perlu diperjelas.
Angka 392,3 juta token merupakan estimasi jangkauan saldo berdasarkan model dan komposisi penggunaan yang dipilih. Angka tersebut bukan jumlah token yang sudah digunakan.
Sementara itu, angka 32 juta token merupakan total penggunaan aktual yang tercatat selama periode eksperimen 24 jam.
Walaupun keduanya merupakan angka yang berbeda, penggunaan 32 juta token dengan estimasi biaya Rp1.260 tetap menjadi hasil yang cukup menarik bagi saya.
3. Cache Menjadi Faktor yang Sangat Berpengaruh
Metrik yang paling menarik dalam eksperimen ini bukan hanya jumlah token yang digunakan, melainkan tingkat pemanfaatan cache.
Menurut dashboard, sekitar 93,1% penggunaan token dilayani dari cache.
Angka tersebut membantu menjelaskan mengapa total 32 juta token yang dirutekan tidak langsung menghasilkan biaya yang besar.
Sebagai Senior System Analyst dan Senior Programmer, eksperimen ini kembali mengingatkan saya bahwa evaluasi biaya infrastruktur AI tidak cukup dilakukan hanya dengan membandingkan harga input dan output per satu juta token.
Arsitektur dan pola penggunaan di sekeliling model juga dapat memberikan dampak yang signifikan.
Beberapa faktor yang dapat memengaruhi biaya akhir antara lain:
- Seberapa sering konteks yang sama digunakan kembali
- Seberapa banyak token yang memenuhi syarat untuk harga cache
- Bagaimana system prompt dan instruksi disusun
- Seberapa panjang konteks yang dikirim dalam setiap request
- Seberapa sering prompt atau konteks berulang
- Model apa yang digunakan untuk masing-masing jenis pekerjaan
- Apakah setiap pekerjaan benar-benar membutuhkan model paling kuat
- Seberapa lama waktu respons yang masih dapat diterima
Harga model yang rendah tentu membantu. Namun, desain workload yang efisien dapat memberikan pengaruh yang sama pentingnya, bahkan mungkin lebih besar pada situasi tertentu.
4. Routing Workload ke Beberapa Model
Workload dalam eksperimen ini tidak hanya ditangani oleh satu model.
Berdasarkan ringkasan penggunaan, tiga model dengan konsumsi tertinggi adalah:
- Muse Spark 1.3, dengan 15,1 juta token dari 181 request
- Qwen 3.8, dengan 11,4 juta token dari 90 request
- Laguna S 2.1, dengan 5,4 juta token dari 25 request
Distribusi tersebut membuat pendekatan multi-model routing menjadi semakin menarik untuk diamati.
Dalam pengembangan perangkat lunak, tidak semua pekerjaan membutuhkan tingkat kemampuan, reasoning, konteks, kecepatan, dan biaya yang sama.
Sebagai contoh, review arsitektur sistem yang kompleks mungkin membutuhkan model dengan kemampuan reasoning lebih kuat. Sebaliknya, pekerjaan seperti formatting, pembuatan dokumentasi sederhana, atau transformasi kode rutin mungkin dapat ditangani oleh model yang lebih ringan dan lebih murah.
Dengan adanya routing layer, secara teori kita memiliki ruang untuk menyesuaikan jenis pekerjaan dengan model yang lebih sesuai.
Namun, manfaat praktisnya tetap bergantung pada beberapa hal:
- Kualitas keputusan routing
- Ketersediaan masing-masing model
- Konsistensi format dan kualitas output
- Kecepatan respons
- Tingkat kegagalan request
- Kemampuan menangani konteks panjang
- Kesesuaian model dengan bahasa pemrograman dan jenis pekerjaan
Saya masih mengevaluasi aspek-aspek tersebut. Karena itu, saya memandang hasil ini sebagai observasi awal, bukan kesimpulan akhir mengenai performa platform atau model tertentu.
5. Trade-off Utama: Latency
Biaya eksperimen ini memang rendah, tetapi bukan berarti tidak ada kompromi.
Rata-rata latency yang tercatat adalah 18,7 detik dan pada dashboard dikategorikan sebagai lambat.
Waktu respons tersebut kemungkinan kurang ideal untuk aplikasi customer-facing yang membutuhkan interaksi secara real-time. Pengguna aplikasi percakapan biasanya mengharapkan respons dalam waktu yang jauh lebih singkat.
Namun, untuk jenis workload lainnya, latency tersebut masih mungkin diterima.
Beberapa contoh penggunaan yang menurut saya dapat mempertimbangkan kompromi tersebut antara lain:
- Coding agent yang menjalankan pekerjaan bertahap
- Analisis kode di background
- Automated code review
- Pembuatan dokumentasi
- Refactoring kode
- Eksperimen prototipe
- Otomatisasi internal
- Pembuatan unit test
- Migrasi atau transformasi kode
- Proses riset asynchronous
Untuk pekerjaan seperti ini, developer mungkin tidak harus menunggu dan memperhatikan respons secara langsung. Agent dapat menjalankan tugas di background, sementara developer mengerjakan hal lain.
Karena itu, pertanyaan yang relevan bukan sekadar apakah latency 18,7 detik tergolong cepat atau lambat.
Pertanyaan yang lebih berguna adalah apakah latency tersebut sesuai dengan karakteristik workload dan pengalaman pengguna yang ingin dibangun.
6. Biaya per Request dan Token Perlu Dilihat dalam Konteks
Jika 32 juta token dibagi dengan 320 request, rata-rata penggunaan mencapai sekitar 100 ribu token per request.
Namun, angka rata-rata tersebut perlu dibaca secara hati-hati.
Setiap request belum tentu menggunakan jumlah token yang sama. Bisa saja terdapat beberapa request dengan konteks sangat besar, sementara request lainnya jauh lebih kecil. Perbedaan antara input token, cached token, dan output token juga dapat memengaruhi biaya akhir.
Karena itu, untuk mengevaluasi biaya secara lebih akurat, saya ingin melihat beberapa metrik tambahan pada eksperimen berikutnya:
- Jumlah input token yang tidak berasal dari cache
- Jumlah cached input token
- Jumlah output token
- Biaya per model
- Biaya rata-rata per request
- Latency per model
- Persentase request yang gagal
- Percobaan ulang atau retry
- Kualitas hasil untuk setiap kategori pekerjaan
Bagi saya, biaya rendah belum otomatis berarti efisien.
Jika output dari model membutuhkan terlalu banyak koreksi, menghasilkan kode yang tidak dapat digunakan, atau membuat agent mengulang pekerjaan berkali-kali, biaya efektifnya dapat menjadi lebih tinggi.
Sebaliknya, model yang sedikit lebih mahal bisa saja lebih ekonomis jika mampu menyelesaikan pekerjaan dengan request yang lebih sedikit dan kualitas output yang lebih baik.
7. Setup Vibe Coding Tidak Harus Mahal
Eksperimen ini juga mengingatkan saya bahwa membangun setup coding yang nyaman tidak selalu membutuhkan perangkat premium.
Selain biaya token, perangkat kecil seperti mouse wireless dapat memberikan fleksibilitas saat berpindah antara laptop, tablet, atau perangkat kerja lainnya.
Salah satu pilihan terjangkau yang saya temukan adalah Goojodoq Dual Mode Wireless Bluetooth Mouse. Mouse ini mendukung koneksi Bluetooth dan 2.4 GHz.
Saat saya melihat produknya, harga yang ditampilkan sekitar Rp44.823. Harga dan ketersediaan produk tentu dapat berubah mengikuti kebijakan toko atau program promosi yang berlangsung.
Produk tersebut dapat dilihat melalui tautan berikut:
Lihat Goojodoq Dual Mode Wireless Bluetooth Mouse di Shopee
Transparansi afiliasi: Tautan Shopee di atas merupakan tautan afiliasi. Saya dapat menerima komisi apabila terjadi pembelian yang memenuhi ketentuan melalui tautan tersebut, tanpa biaya tambahan bagi pembeli.
Mouse tentu bukan bagian penting dari eksperimen AI ini. Namun, perangkat tersebut masih memiliki hubungan dengan tema yang sama, yaitu membangun lingkungan coding yang praktis dan terjangkau.
8. Hal yang Saya Pelajari
Pelajaran utama dari eksperimen ini adalah bahwa biaya pengembangan berbasis AI sebaiknya dilihat pada tingkat sistem secara keseluruhan.
Harga token hanyalah salah satu bagian dari perhitungan.
Beberapa komponen lain yang juga perlu diperhatikan adalah:
- Strategi routing model
- Pemanfaatan cache
- Pengelolaan konteks
- Struktur prompt
- Pemilihan model
- Keandalan layanan
- Latency
- Jumlah retry
- Kualitas output
- Waktu yang dibutuhkan untuk melakukan koreksi
Hasil 24 jam pertama menunjukkan rasio biaya terhadap kapasitas eksperimen yang menjanjikan untuk workload saya.
Di sisi lain, latency 18,7 detik memperlihatkan bahwa konfigurasi tersebut tidak akan cocok untuk semua jenis aplikasi.
Hasil yang diperoleh pengguna lain juga dapat berbeda, tergantung pada model yang dipilih, komposisi token, pola prompt, tingkat pemanfaatan cache, serta jenis pekerjaan coding yang dijalankan.
Bagi saya, justru di situlah nilai utama eksperimen ini.
Tujuannya bukan untuk membuktikan bahwa satu platform, model, atau konfigurasi merupakan pilihan terbaik untuk semua orang. Eksperimen ini memberikan data awal untuk menentukan jenis workload yang cocok dan jenis penggunaan yang sebaiknya memakai pendekatan berbeda.
9. Apakah Rp10.000 Benar-Benar Bisa Menghasilkan 392,3 Juta Token?
Jawaban singkatnya adalah: angka tersebut merupakan estimasi, bukan jaminan hasil aktual untuk semua pola penggunaan.
Estimasi 392,3 juta token didasarkan pada model dan komposisi pemakaian tertentu. Jika penggunaan lebih banyak menghasilkan output token, memiliki cache hit rate rendah, menggunakan model yang lebih mahal, atau mengirim context baru pada setiap request, jangkauan saldo kemungkinan akan berbeda.
Dalam eksperimen saya, penggunaan cache mencapai 93,1%. Kondisi ini memiliki pengaruh besar terhadap rendahnya estimasi biaya.
Karena itu, angka ratusan juta token sebaiknya tidak dibaca sebagai kuota tetap yang pasti diterima setiap pengguna. Angka tersebut lebih tepat dipahami sebagai proyeksi berdasarkan asumsi penggunaan tertentu.
10. Mencoba dengan Workload Sendiri
Jika ingin mencoba NaraRouter dan membandingkan hasilnya menggunakan prompt, model, coding agent, serta pola workload sendiri, pendaftaran dapat dilakukan melalui tautan berikut:
Transparansi referral: Tautan pendaftaran di atas merupakan referral link saya. Saya mungkin memperoleh manfaat referral apabila seseorang mendaftar atau menggunakan platform melalui tautan tersebut.
Saya berencana melanjutkan eksperimen ini dengan beberapa skenario yang lebih spesifik, seperti coding agent untuk membuat fitur, refactoring repository, pembuatan unit test, debugging, serta analisis codebase dengan konteks panjang.
Jika Anda memiliki akses ke ratusan juta token AI dengan modal Rp10.000, proyek apa yang pertama kali ingin Anda buat?
Comments