非構造化データ

整理整頓された引き出しを思い浮かべてみてください。靴下の仕切りには靴下だけ、下着の仕切りには下着だけが入っているため、必要なものをすぐに見つけられます。コンピューターの世界でこの引き出しのような役割を果たすのが「構造化データ」です。氏名や年齢、電話番号のように、決められた枠（行と列）にすっきりと収まる情報のことです。

しかし、私たちが日々生み出している情報は、引き出しにきちんとおさめるのが簡単ではありません。友達とメッセージアプリで交わした日常会話、週末に撮影した料理の写真、YouTubeに投稿した動画、街角で録音したボイスメモなどは、決まった規格の枠に分けるのが難しいからです。このように決まった規格や形式を持たないデータを「非構造化データ」と呼びます。

多くの調査機関は、今日生み出されているデータの大部分（一般に80〜90％と推定）が、こうした非構造化データであると見ています。私たちがスマートフォンで日常を記録し、インターネットで交流する行動のすべてが、巨大な非構造化データの海を作り出しているのです。

かつてのコンピュータープログラムは、数値を足し算したり決まった表を検索したりするのは得意でしたが、写真や文章の意味を自ら理解することはできませんでした。写真ファイルは、コンピューターの目には正体不明な無数の色の点の並びにすぎなかったからです。そのため、非構造化データは保存スペースばかりを消費する扱いにくい厄介者と見なされることもありました。

しかし、人工知能（AI）やディープラーニング（深層学習）の技術が発展したことで、状況は一変しました。AIは数百万枚もの犬の写真を見ながら犬に共通する姿形を自ら学び、無数の文章を読むことで言葉の行間や感情まで把握できるようになったのです。

現在では、多くの企業がユーザーのリアルな口コミを分析して商品の欠陥を発見したり、道路の映像データを分析して自動運転技術を学習させたりしています。手入れのされていない原石のように放置されていた非構造化データが、AIと出会ったことで極めて重要な原材料へと生まれ変わったのです。

世の中のすべてのデータが、白黒はっきりつけるように構造化データと非構造化データだけに分かれるわけではありません。その中間に位置する「半構造化データ」も存在します。Webページを構成するHTMLや、データのやり取りによく使われるJSONのように、表形式ではないものの、データの内部にタグなどのラベルが付いていて大まかな構造を把握できる形式です。

また、非構造化データの中にも秩序が隠れています。スマートフォンで撮影した写真そのものは非構造化データですが、写真ファイルの中には撮影日時、カメラの機種、（設定によっては）撮影場所といった情報が一定の規格（EXIFなど）で記録されています。これをデータを説明するためのデータである「メタデータ」と呼びます。

最近では、非構造化データの意味をコンピューターが数学的に比較できるよう、数値のまとまり（ベクトル）に変換して保存する技術が広く活用されています。一見するとバラバラに見える情報であっても、そこに込められた意味をAIが理解できるように加工して活用しているのです。