Pengertian Token : Macam Jenis, Penggunaan, dan Contohnya

Saat melakukan kompilasi sebuah program, tahukah Anda bahwa terdapat elemen penyusun dengan makna tertentu yang disebut dengan token?

Ya, penggunaan token tentu banyak jumlahnya namun jarang disadari. Nyatanya elemen sebuah bahasa pemrograman ini kian berguna dan menjadi penentu keberhasilan sebuah program. Supaya dapat menghasilkan program yang baik, Anda perlu memahami seluk beluk token: pengertian, jenis, penggunaan, dan contohnya sebagai berikut.

Pengertian Token

Di dalam dunia pemrograman, token merupakan elemen penyusun sebuah program. Eksistensinya terdiri atas berbagai jenis sesuai kebutuhan spesifik. Seiring dengan perkembangan bahasa pemrograman, maka semakin banyak pula jenis dan lingkup token yang harus dipahami oleh programmer. Karena jumlahnya yang terus meningkat, maka para programmer perlu melakukan eksplorasi mandiri, misalnya melalui search engine atau komunitas global, untuk bisa lebih memahami secara detail.

Sebagai seorang programmer, Anda tidak perlu bingung tentang bagaimana compiler dapat mendeteksi token. Hal ini sudah berjalan secara otomatis sebagai fungsionalitas bawaan dari tools untuk penulisan kode program atau Integrated Development Environment (IDE) yang digunakan.

Jenis dan Penggunaan Token

Berbagai jenis atau kategori token dikelompokkan berdasarkan manfaatnya. Sementara penggunaannya berlangsung secara berbeda bergantung pada bahasa pemrogramannya sebagai berikut.

Keyword

Sesuai dengan namanya, keyword atau reserved word adalah sebuah kata dengan makna khusus yang diakui secara global. Saat sudah dianggap sebagai reserved word oleh compiler, maka Anda tidak dapat menggunakannya sebagai variabel. Anda juga tidak boleh melakukan pendefinisian ulang sebuah keyword.

Saat melakukan implementasi dalam bahasa C, Anda akan mengenali 32 jenis keyword. Beberapa keyword yang paling sering digunakan antara lain adalah typedef, void, enum, else, dan lain sebagainya. Keyword typedef berguna untuk menetapkan nama baru atas sebuah type. Sementara void digunakan untuk representasi fungsi yang mengembalikan type. Adapun keyword enum merupakan representasi tipe enumerasi atau bentukan. Terdapat pula keyword else digunakan untuk percabangan kasus.

Berbeda dengan bahasa C, Anda akan mengenali tambahan 31 jenis keyword pada bahasa C++. Beberapa keyword yang paling sering digunakan adalah class, namespace, throw, protected, dan lain-lain. Keyword class merupakan representasi sebuah kelas dalam pemrograman berorientasi objek. Sementara keyword namespace berguna untuk menetapkan scope bagi identifier. Adapun keyword throw biasa digunakan dalam penanganan exception. Selain itu, terdapat pula keyword sebagai representasi access modifier terbatas yaitu protected.

Identifier

Identifier ialah suatu peraturan atau terminologi untuk menetapkan nama fungsi, variabel, dan array. Hal ini menjadi “tanda pengenal” bagi setiap elemen dalam suatu program. Karena merupakan sebuah peraturan, maka identifier terdiri atas panduan yang harus diikuti untuk menghindari error pada program.

Di dalam bahasa C, Anda akan tidak asing dengan peraturan atas pemilihan nama atau identifier sebagai berikut. Banyak pula bahasa pemrograman lain yang mengadopsi aturan ini sehingga Anda cukup belajar sekali saja untuk menguasai seluk beluk bahasa pemrograman lain.

  • Setiap identifier harus memiliki nama yang unik
  • Setiap nama harus mewakili makna atau arti yang mudah dikenali
  • Tidak memuat karakter whitespace atau spasi
  • Karakter pertama harus berupa underscore (_) atau alfabet
  • Karakter penyusunnya terdiri atas huruf, angka, atau underscore (_)
  • Keyword tidak boleh dipilih menjadi identifier

Constant

Constant atau konstanta merupakan sebuah variabel tetap sepanjang program berjalan. Sebagai programmer, Anda tidak boleh melakukan perubahan saat konstanta sudah didefinisikan. Anda pun bebas menetapkan jenis konstanta seperti integer atau bilangan bulat, bilangan riil, bilangan desimal, karakter, bahkan string bentukan.

String

Di dalam dunia pemrograman, string merupakan koleksi karakter berbentuk array. Sebagai ciri string, Anda dapat mengenali adanya null sebagai end of string. Penggunaan string pun berbeda pada setiap bahasa pemrograman pun berbeda-beda meskipun paling umum cukup menerapkan tanda petik tunggal atau ganda.

Simbol Spesial

Untuk mendukung penggunaan fungsi atau prosedur tambahan, Anda perlu mengenali berbagai simbol spesial sebagai berikut.

  • Tanda bintang atau * yang berguna untuk menciptakan variabel pointer atau objek yang mengacu penyimpan memori.
  • Simbol titik dua atau : yang berguna untuk inisiasi list
  • Tanda kurung siku atau [] yang berguna untuk deklarasi array
  • Simbol kurung atau () yang berguna untuk deklarasi fungsi baik yang memuat parameter maupun tidak.
  • Tanda kurung kurawal atau {} yang memuat baris kode executable
  • Simbol koma atau , yang berguna untuk pemisahan parameter, pemisahan statement, dan lain-lain.
  • Tanda titik koma atau ; yang berguna untuk mengakhiri statement
  • Simbol assigment atau = yang berguna untuk penetapan suatu value
  • Tanda pre-prosesor atau # yang berguna untuk persiapan compiler

Operator Sebagai Token

Seperti halnya ilmu logika, dunia pemrograman pun banyak melibatkan operator yaitu unary, binary, dan ternary. Operator akan bermanfaat sebagai penghubung antar variabel sekaligus merealisasikan hasil program yang sesuai dengan ekspektasi. Untuk implementasi operator unary, para programmer cukup menuliskan satu operand saja. Contohnya adalah operator increment atau decrement untuk penambahan dan pengurangan.

Operator binary melibatkan dua operand seperti operator logika (&&). Pengelompokan pada operator binary adalah operator aritmatika, operator relasional, operator logika, operator assignment, operator kondisional, dan operator bitwise.

Sementara operator ternary harus menggunakan tiga operand seperti operator kondisional pada JavaScript yang memuat tanda tanya (?), tanda titik dua (:), dan ekspresi bebas.

Tidak hanya mengetahui teori dari penjelasan token: pengertian, jenis, penggunaan, dan contohnya saja, kini Anda perlu benar-benar mempraktikkannya dalam produk. Anda pun dapat membuktikan penggunaan yang fleksibel dan lengkap sehingga cocok untuk berbagai jenis kebutuhan. Selamat mencoba, ya!

Leave a Comment