Unicode（ユニコード）

ネットサーフィンをしたり古いファイルを開いたりしたとき、文字が「縺ゅ」「」といった意味不明な記号の羅列（文字化け）になって困った経験はありませんか？ 画面に正しい文字が表示されない理由は、そもそもコンピュータが文字をまったく理解できない機械だからです。

コンピュータは「0」と「1」でできた数値しか理解できません。そのため画面に文字を表示するには、「1番はA、2番はB」のように文字と数値を対応づけた約束の表（文字コード表）が絶対に必要になります。

問題はかつて、国や会社ごとにそれぞれ異なる番号表を作って使っていた点にあります。アメリカは英語を書くために「ASCII（アスキー）」というルールを使い、日本は「Shift_JIS」、韓国は「EUC-KR」といった独自のルールを採用していました。異なる番号表を使うコンピュータ同士で文書をやりとりすると基準が食い違い、文字が容赦なく化けてしまっていたのです。

コンピュータが世界中で普及し、一つのソフトウェアで複数の言語を同時に扱う場面が増えるにつれて、この混乱は無視できない大問題になりました。国ごとに番号表がバラバラでは、ソフトウェアを作るたびに個別の文字コード対応に追われてしまうからです。

そこで1980年代後半、AppleやXeroxなどの技術者たちが「人類のすべての文字を、たった一つの巨大な表にまとめよう」という構想を立ち上げました。これが「統一された規則」を意味するUnicode（ユニコード）です。1991年にはユニコードコンソーシアムが設立され、インターネットの普及とともに事実上の世界標準となりました。

Unicodeは、地球上に存在するほぼすべての文字に重複しない固有の番号を1つずつ割り当てました。アルファベットやひらがな・カタカナ、漢字はもちろん、ハングルやアラビア文字、ヒンディー語、さらには古代エジプトのヒエログリフやスマホの絵文字まで登録されています。今やコンピュータは、世界中の誰とデータをやりとりしても、番号さえ確かめればどの文字かがすぐに分かるのです。

もう少し正確に言うと、Unicodeは文字に番号を振った「整理番号の一覧」であり、その番号をコンピュータのファイルに実際にどう記録するかは別の話です。この記録方式を「文字エンコーディング」と呼び、その中で最も広く使われている標準が「UTF-8」です。

UTF-8は、文字によってデータのサイズ（バイト数）を賢く変える方式です。Unicode番号が小さい英数字（ASCII範囲）は1バイトとコンパクトに保存し、番号が大きいひらがなや漢字、ハングルなどは3バイト、絵文字などは4バイトへと柔軟に広げて記録します。サイズを決める基準は、文字の形の複雑さではなく番号がどの範囲にあるかです。

ここで注意したい点があります。UTF-8が過去の文書をそのまま正しく読めるのは、昔の英語用規格であるASCIIだけです。Shift_JISやEUC-JPなどで保存された古い日本語文書をUTF-8として開くと、やはり文字化けが起きます。Unicodeが文字に変わらない固有値を与えたとしても、ファイルを読み書きする保存ルールが一致していなければ文字は正しく表示されません。