Apa Pengkodean Karakter Seperti ANSI dan Unicode, dan Bagaimana Perbedaannya?

ASCII, UTF-8, ISO-8859… Anda mungkin pernah melihat moniker aneh ini beredar, tapi apa sebenarnya artinya? Baca terus selagi kami menjelaskan apa itu pengkodean karakter dan bagaimana akronim ini berhubungan dengan teks biasa yang kami lihat di layar.

Blok Bangunan Dasar

Ketika kita berbicara tentang bahasa tertulis, kita berbicara tentang huruf sebagai bahan penyusun kata, yang kemudian membangun kalimat, paragraf, dan seterusnya. Huruf adalah simbol yang mewakili suara. Ketika Anda berbicara tentang bahasa, Anda sedang berbicara tentang kelompok suara yang datang bersama untuk membentuk semacam makna. Setiap sistem bahasa memiliki seperangkat aturan dan definisi yang kompleks yang mengatur makna tersebut. Jika Anda memiliki sebuah kata, tidak ada gunanya kecuali Anda tahu dari bahasa apa dan Anda menggunakannya dengan orang lain yang berbicara bahasa itu.

(Perbandingan Aksara Grantha, Tulu, dan Malayalam, Gambar dari Wikipedia)

Di dunia komputer, kami menggunakan istilah "karakter." Karakter adalah semacam konsep abstrak, yang ditentukan oleh parameter tertentu, tetapi merupakan unit makna yang mendasar. Bahasa Latin 'A' tidak sama dengan 'alpha' Yunani atau 'alif' bahasa Arab karena mereka memiliki konteks yang berbeda – mereka berasal dari bahasa yang berbeda dan memiliki pengucapan yang sedikit berbeda – sehingga kita dapat mengatakan bahwa mereka adalah karakter yang berbeda. Representasi visual dari sebuah karakter disebut "mesin terbang" dan set mesin terbang yang berbeda disebut font. Kelompok karakter milik "set" atau "repertoar."

Saat Anda mengetik paragraf dan mengubah font, Anda tidak mengubah nilai fonetik huruf, Anda mengubah tampilannya. Itu hanya kosmetik (tapi bukannya tidak penting!). Beberapa bahasa, seperti Mesir kuno dan Cina, memiliki ideogram; ini mewakili seluruh ide alih-alih suara, dan pengucapannya dapat bervariasi dari waktu ke waktu dan jarak. Jika Anda mengganti satu karakter dengan karakter lain, Anda mengganti sebuah ide. Ini lebih dari sekadar mengubah huruf, ini mengubah ideogram.

Pengkodean Karakter

(Gambar dari Wikipedia)

Saat Anda mengetik sesuatu di keyboard, atau memuat file, bagaimana komputer tahu apa yang harus ditampilkan? Untuk itulah pengkodean karakter. Teks di komputer Anda sebenarnya bukan huruf, melainkan serangkaian nilai alfanumerik yang dipasangkan. Pengkodean karakter bertindak sebagai kunci yang nilainya sesuai dengan karakter mana, seperti halnya ortografi menentukan suara mana yang sesuai dengan huruf mana. Kode morse adalah semacam pengkodean karakter. Ini menjelaskan bagaimana kelompok unit panjang dan pendek seperti bunyi bip mewakili karakter. Dalam kode Morse, karakternya hanya huruf Inggris, angka, dan titik. Ada banyak pengkodean karakter komputer yang diterjemahkan ke dalam huruf, angka, tanda aksen, tanda baca, simbol internasional, dan sebagainya.

Seringkali pada topik ini, istilah "halaman kode" juga digunakan. Mereka pada dasarnya adalah pengkodean karakter seperti yang digunakan oleh perusahaan tertentu, seringkali dengan sedikit modifikasi. Misalnya, halaman kode Windows 1252 (sebelumnya dikenal sebagai ANSI 1252) adalah bentuk modifikasi dari ISO-8859-1. Mereka sebagian besar digunakan sebagai sistem internal untuk merujuk ke pengkodean karakter standar dan dimodifikasi yang khusus untuk sistem yang sama. Awalnya, pengkodean karakter tidak begitu penting karena komputer tidak berkomunikasi satu sama lain. Dengan internet semakin menonjol dan jaringan menjadi kejadian umum, itu telah menjadi semakin penting dalam kehidupan kita sehari-hari tanpa kita sadari.

Banyak Jenis Yang Berbeda

(Gambar dari sarah sosiak)

Ada banyak pengkodean karakter yang berbeda di luar sana, dan ada banyak alasan untuk itu. Pengkodean karakter mana yang Anda pilih untuk digunakan tergantung pada kebutuhan Anda. Jika Anda berkomunikasi dalam bahasa Rusia, masuk akal untuk menggunakan pengkodean karakter yang mendukung Cyrillic dengan baik. Jika Anda berkomunikasi dalam bahasa Korea, maka Anda akan menginginkan sesuatu yang mewakili Hangul dan Hanja dengan baik. Jika Anda seorang ahli matematika, maka Anda menginginkan sesuatu yang memiliki semua simbol ilmiah dan matematika terwakili dengan baik, serta mesin terbang Yunani dan Latin. Jika Anda seorang iseng, mungkin Anda akan mendapat manfaat dari teks terbalik. Dan, jika Anda ingin semua jenis dokumen itu dilihat oleh orang tertentu, Anda menginginkan penyandian yang cukup umum dan mudah diakses.

Mari kita lihat beberapa yang lebih umum.

(Kutipan tabel ASCII, Gambar dari asciitable.com)

• ASCII – Kode Standar Amerika untuk Pertukaran Informasi adalah salah satu pengkodean karakter yang lebih tua. Ini awalnya dirancang berdasarkan kode telegrafik dan berkembang dari waktu ke waktu untuk memasukkan lebih banyak simbol dan beberapa karakter kontrol non-cetak yang sekarang sudah ketinggalan zaman. Ini mungkin dasar yang Anda bisa dapatkan dalam hal sistem modern, karena terbatas pada alfabet Latin tanpa karakter beraksen. Encoding 7-bitnya hanya memungkinkan 128 karakter, itulah sebabnya ada beberapa varian tidak resmi yang digunakan di seluruh dunia.
• ISO-8859 – Kelompok pengkodean karakter yang paling banyak digunakan oleh Organisasi Internasional untuk Standardisasi adalah nomor 8859. Setiap pengkodean spesifik ditandai dengan angka, sering diawali dengan moniker deskriptif, misalnya ISO-8859-3 (Latin-3), ISO- 8859-6 (Latin/Arab). Ini adalah superset ASCII, artinya 128 nilai pertama dalam pengkodean sama dengan ASCII. Ini 8-bit, bagaimanapun, dan memungkinkan untuk 256 karakter, sehingga dibangun dari sana dan mencakup array karakter yang jauh lebih luas, dengan masing-masing pengkodean khusus berfokus pada serangkaian kriteria yang berbeda. Latin-1 menyertakan sekumpulan huruf dan simbol beraksen, tetapi kemudian diganti dengan set yang direvisi yang disebut Latin-9 yang mencakup mesin terbang yang diperbarui seperti simbol Euro.

(Kutipan skrip Tibet, Unicode v4, dari unicode.org)

• Unicode – Standar pengkodean ini bertujuan untuk universalitas. Saat ini mencakup 93 skrip yang diatur dalam beberapa blok, dengan lebih banyak lagi yang sedang dikerjakan. Unicode bekerja secara berbeda dari set karakter lain karena alih-alih mengkodekan secara langsung untuk mesin terbang, setiap nilai diarahkan lebih jauh ke "titik kode." Ini adalah nilai heksadesimal yang sesuai dengan karakter tetapi mesin terbang itu sendiri disediakan secara terpisah oleh program, seperti browser web Anda. Poin kode ini biasanya digambarkan sebagai berikut: U+0040 (yang diterjemahkan menjadi '@'). Pengkodean khusus di bawah standar Unicode adalah UTF-8 dan UTF-16. UTF-8 mencoba untuk memungkinkan kompatibilitas maksimum dengan ASCII. Ini 8-bit, tetapi memungkinkan untuk semua karakter melalui mekanisme substitusi dan beberapa pasang nilai per karakter. UTF-16 menghilangkan kompatibilitas ASCII yang sempurna untuk kompatibilitas 16-bit yang lebih lengkap dengan standar.
• ISO-10646 – Ini bukan pengkodean yang sebenarnya, hanya kumpulan karakter Unicode yang telah distandarisasi oleh ISO. Ini sangat penting karena itu adalah repertoar karakter yang digunakan oleh HTML. Beberapa fungsi yang lebih canggih yang disediakan oleh Unicode yang memungkinkan untuk collation dan scripting kanan-ke-kiri di samping kiri-ke-kanan tidak ada. Namun, ini berfungsi sangat baik untuk digunakan di internet karena memungkinkan penggunaan berbagai skrip dan memungkinkan browser untuk menafsirkan mesin terbang. Ini membuat lokalisasi agak lebih mudah.

Pengkodean Apa yang Harus Saya Gunakan?

Nah, ASCII berfungsi untuk sebagian besar penutur bahasa Inggris, tetapi tidak untuk banyak hal lainnya. Lebih sering Anda akan melihat ISO-8859-1, yang berfungsi untuk sebagian besar bahasa Eropa Barat. Versi lain dari ISO-8859 bekerja untuk Cyrillic, Arab, Yunani, atau skrip khusus lainnya. Namun, jika Anda ingin menampilkan beberapa skrip dalam dokumen yang sama atau pada halaman web yang sama, UTF-8 memungkinkan kompatibilitas yang jauh lebih baik. Ini juga bekerja dengan sangat baik untuk orang yang menggunakan tanda baca yang tepat, simbol matematika, atau karakter biasa, seperti kotak dan kotak centang.

(Beberapa bahasa dalam satu dokumen, Tangkapan layar gujaratsamachar.com)

Namun, ada kekurangan untuk setiap set. ASCII terbatas dalam tanda bacanya, sehingga tidak berfungsi dengan baik untuk pengeditan yang benar secara tipografis. Pernah mengetik salin/tempel dari Word hanya untuk mendapatkan kombinasi mesin terbang yang aneh? Itulah kelemahan ISO-8859, atau lebih tepatnya, interoperabilitasnya dengan halaman kode khusus OS (kami sedang melihat ANDA, Microsoft!). Kelemahan utama UTF-8 adalah kurangnya dukungan yang tepat dalam mengedit dan menerbitkan aplikasi. Masalah lain adalah bahwa browser sering tidak menafsirkan dan hanya menampilkan tanda urutan byte dari karakter yang disandikan UTF-8. Hal ini menyebabkan mesin terbang yang tidak diinginkan ditampilkan. Dan tentu saja, mendeklarasikan satu penyandian dan menggunakan karakter dari yang lain tanpa mendeklarasikan/mereferensikannya dengan benar di halaman web mempersulit browser untuk merendernya dengan benar dan mesin telusur mengindeksnya dengan tepat.

Untuk dokumen Anda sendiri, manuskrip, dan sebagainya, Anda dapat menggunakan apa pun yang Anda butuhkan untuk menyelesaikan pekerjaan. Sejauh web berjalan, tampaknya kebanyakan orang setuju untuk menggunakan versi UTF-8 yang tidak menggunakan tanda urutan byte, tapi itu tidak sepenuhnya bulat. Seperti yang Anda lihat, setiap pengkodean karakter memiliki kegunaan, konteks, dan kekuatan serta kelemahannya sendiri. Sebagai pengguna akhir, Anda mungkin tidak harus berurusan dengan ini, tetapi sekarang Anda dapat mengambil langkah ekstra jika Anda mau.