Apa Itu Token AI? Ini Pengertian dan Fungsinya

Apa itu token AI? Istilah token dalam Kecerdasan Buatan atau Artificial Intelligence (AI) memang sedang banyak terdengar. Apalagi kalau kalian banyak menggunakan layanan AI seperti ChatGPT atau Google Gemini, kita mungkin pernah mendengar tentang istilah tersebut.

Token merupakan salah satu unit yang digunakan model AI untuk memproses teks. Jumlah token yang digunakan bisa berbeda tergantung pada teks yang digunakan, respons yang dihasilkan, dan model AI yang digunakan.

Selain token, beberapa layanan AI juga menggunakan sistem kredit untuk menghitung penggunaan fitur mereka. Meski keduanya berkaitan dengan penggunaan AI, token dan kredit sebenarnya memiliki fungsi yang berbeda.

Apa Itu Token AI?

Token dalam AI adalah unit data atau potongan teks terkecil yang digunakan model AI untuk memproses bahasa. Token bisa berupa satu kata utuh (contoh: pergi), bagian dari kata (contoh: imbuhan “ber-“ dari “bertani”), karakter, angka, atau tanda baca, tergantung pada sistem tokenisasi yang digunakan model tersebut.

Karena itu, satu token tidak selalu sama dengan satu kata. Sebuah kata yang umum digunakan mungkin bisa dianggap satu token, sedangkan kata yang lebih panjang atau jarang digunakan bisa dipecah menjadi beberapa token.

Sebagai contoh, kalimat sederhana seperti “Saya mau pulang secepatnya” akan dipecah menjadi sejumlah token, tidak menjadi empat token sesuai jumlah kata yang digunakan. Jumlah pastinya bergantung pada tokenizer yang digunakan.

Token yang digunakan tidak hanya untuk memproses teks yang dimasukkan pengguna (input), tetapi juga teks yang dihasilkan AI (output). Dalam layanan berbasis API, jumlah token input dan output sering menjadi salah satu dasar penghitungan biaya.

Baca Juga: Apa Itu AI Lokal? Pengertian dan Contohnya

Bagaimana Cara Kerja Token AI?

Ketika kalian memasukkan pertanyaan, model AI tidak selalu memprosesnya sebagai sebuah satu rangkaian utuh. Teks lebih dulu dipecah menjadi token menggunakan sistem yang disebut tokenizer.

Token kemudian diubah menjadi bentuk yang bisa dipahami dan diproses oleh model AI.. Kemudian, tampilan tersebut digunakan model untuk memahami konteks dan menghasilkan respons. Jawaban yang dihasilkan juga terdiri dari token yang nantinya diubah kembali menjadi teks agar bisa dibaca kalian.

Proses ini membuat jumlah token tidak selalu sebanding dalam jumlah kata. Dua kalimat dengan jumlah kata yang sama bisa menghasilkan jumlah token berbeda, terutama jika menggunakan bahasa atau kosakata yang berbeda.

Apa Bedanya Token dan Kredit AI?

Token dan kredit AI merupakan dua hal berbeda. Token adalah unit yang digunakan model untuk memproses teks, sedangkan kredit merupakan satuan penggunaan yang ditetapkan oleh penyedia layanan AI.

Tidak semua layanan AI menggunakan kredit. Sebagian layanan menghitung biaya berdasarkan jumlah token, sementara layanan lain menggunakan sistem kredit untuk mengakses fitur atau model tertentu.

Sebagai ilustrasi, sebuah layanan bisa menetapkan penggunaan 5 kredit untuk pemrosesan dengan model standar, tetapi 5.000 kredit untuk penggunaan model premium. Angka ini hanya contoh, bukan tarif yang berlaku secara umum.

Perbedaan tersebut bukan berarti token pada model premium otomatis memiliki nilai 1.000 kali lebih besar. Penyedia layananlah yang menentukan berapa banyak kredit yang dibutuhkan untuk setiap penggunaan, berdasarkan kebijakan dan struktur biaya mereka.

Baca Juga: Apa Itu AI Evaluator? Pengertian, Tugas, dan Contohnya

Bagaimana Cara Menghemat Token AI?

Ada beberapa cara yang bisa dilakukan untuk menghemat penggunaan token saat menggunakan AI, terutama jika layanan yang dipakai membatasi jumlah token atau mengenakan biaya berdasarkan penggunaannya.

Gunakan instruksi yang jelas dan spesifik. Prompt yang terarah membantu mengurangi percakapan berulang karena AI salah memahami permintaan.

Hindari konteks yang tidak diperlukan. Jika tidak relevan dengan tugas saat ini, kalian tidak perlu memasukkan seluruh riwayat percakapan atau dokumen yang panjang.

Batasi panjang jawaban. Kalian bisa meminta AI memberikan jawaban singkat, menggunakan poin-poin, atau membatasi jumlah kata agar token output tidak berlebihan.

Berikan informasi yang relevan saja. Saat meminta AI meringkas dokumen atau menganalisis teks, sertakan bagian yang benar-benar dibutuhkan jika memungkinkan.

Pilih model sesuai kebutuhan. Untuk tugas sederhana, model yang lebih ringan mungkin sudah cukup. Simpan model yang lebih mahal untuk pekerjaan yang memang membutuhkan kemampuan tambahan.

Perlu diingat, menghemat token tidak selalu berarti menghemat kredit dengan jumlah yang sama. Layanan AI dapat memiliki sistem penghitungan berbeda, termasuk tarif khusus untuk model atau fitur tertentu. Karena itu, periksa ketentuan layanan yang digunakan untuk mengetahui cara penggunaan yang paling efisien.

Kesimpulan

Token AI adalah unit yang digunakan model kecerdasan buatan untuk memproses dan menghasilkan teks. Jumlah token dapat memengaruhi biaya penggunaan layanan tertentu, terutama yang menggunakan sistem penagihan berbasis token.

Sementara itu, kredit AI merupakan satuan penggunaan yang ditetapkan oleh penyedia layanan. Jumlah kredit yang terpakai bergantung pada aturan layanan, model, dan fitur yang digunakan.

Memahami perbedaan token dan kredit dapat membantu pengguna memperkirakan penggunaan AI dengan lebih baik. Namun, untuk mengetahui biaya sebenarnya, pengguna tetap perlu memeriksa sistem penagihan yang berlaku pada layanan AI masing-masing.