モーションキャプチャ

映画のメイキング映像で、俳優が全身にぴったりしたタイツを着て、ピンポン玉のような小さな玉をたくさんつけて演技している姿を見たことがあるかもしれません。この小さな玉は、光を強く反射する「マーカー(Marker)」と呼ばれています。

撮影スタジオの四方には、マーカーだけを専門に見つめる数十台の特殊なカメラが設置されています。このカメラは俳優の顔立ちや服の色は無視して、キラキラ光るマーカーの位置だけをリアルタイムで素早く追いかけます。いろいろな角度から撮った映像情報をまとめて、コンピューターが3次元空間の中でマーカーの正確な位置座標を計算する仕組みです。

マーカーの位置がわかると、コンピューターは体の表面についた複数のマーカーの位置をもとに関節の中心位置を推定し、あらかじめ用意した仮想の骨組み(スケルトン)をその位置に合わせます。本物の俳優が腕を高く上げたり膝を曲げたりすると、コンピューターの中の仮想の骨組みも、リアルタイムで同じ角度と速さで動きます。この骨組みの上にキャラクターのCGをかぶせれば、生き生きとした3Dキャラクターの完成です。

もう少し正確に言うと、モーションキャプチャは、マーカーとカメラだらけの専用スタジオの中でしか行われないわけではありません。状況や用途に応じて、カメラをまったく使わないさまざまな方式も広く使われています。

代表的なのが、スマートフォンやスマートウォッチの中にあるセンサーに似た慣性センサーを服に取りつける方式です。体の回転や傾きをセンサーが直接感知するので、カメラの視界をさえぎる障害物があっても問題なく、場所を選ばず屋外でも自由に動きを記録できます。ただし、センサーの値を積み重ねて計算するため、時間がたつと位置が少しずつずれる誤差(ドリフト)がたまったり、周囲の金属や磁場の影響を受けたりすることもあります。

最近では、コンピュータービジョン(映像を解析する技術)とAIが大きく進歩しました。今では特殊なセンサーやマーカーつきの服を着なくても大丈夫です。普通のスマートフォンのカメラで撮った日常の映像から、AIが人の関節の位置を自分で見つけ出す「マーカーレス(Markerless)」技術も、急速に増えています。

初期のモーションキャプチャは、手足の大きな動きしか記録できませんでした。しかし今の技術は、指の関節一つひとつの細かな震えはもちろん、瞳の動きや唇まわりの筋肉のかすかな震えまで、精密に読み取ります。

単なる体の動きにとどまらず、俳優の表情の演技や声、感情の流れまでまるごと一度に記録する技術をパフォーマンスキャプチャと呼びます。俳優が顔に超小型カメラのついたヘルメットをかぶって演技すると、CGで作られたエイリアンや巨大な怪物のキャラクターも、俳優の深い感情表現をそのまま受け継いで、命が宿ったように動き出します。

現在、モーションキャプチャは映画やゲーム業界にとどまらず、アスリートのフォーム矯正、飛行機や自動車の操縦シミュレーション訓練、産業用ロボットの精密な動作学習まで、現実世界のさまざまな分野で広く使われています。