第9回　ジェスチャ入力は未来のインタフェース？

ジェスチャインタフェースが未来のインタフェースで万能のように思われていますが、実際に利用するにはさまざまな問題があります。今回はそういったジェスチャインタフェースの問題点について考察していきます。

ジェスチャ入力の登場

コンピュータへの入力の主流はキーボードやマウス、タッチパネルですが、さまざまなセンサーの登場や低価格化によって、より人間の身体の特徴を活かした入力手法が登場しています。その中でもよく話題にのぼるようになったのが、ジェスチャによるインタフェースです。

最も有名なところでは、Microsoftによるゲームコントローラとして開発されたKinect があります。Kinectは体全体をボーン（骨）として認識し、人間の手足の動きや姿勢を検出できます。また、任天堂のWii はジェスチャ入力の先駆けとも言えます。Wiiの場合はコントローラを持つため、Kinect とは少し異なりますが、人間の動きを認識し操作に利用するという考え方は一緒です。同様にSonyのPlayStation においても、やはり人間の動きを認識するためのモーションコントローラPlayStation Moveが発売されています。

ゲームにおける発展

このようなインタフェースがまずゲームコントローラに採用されたのは、ゲーム体験をより豊かにするためと考えられます。本連載第4回で、ゲームにとっての体験の重要性や、UIの工夫について紹介しました。そして第7回では、インタフェースは人々の行為を作り体験を作ることを述べました。

ですから、ゲームのインタフェースをたとえばファミコンで採用された十字キーとABボタンから身体動作を利用したジェスチャに変えることは、ゲームコンテンツ自体で体験設計するより比較的簡単にゲーム体験を変えることができ好都合なわけです。

ゲーム以外への応用

こういった流れから、最近ではゲーム以外でもジェスチャ操作による制御に注目が集まっています。

iPhoneが採用したマルチタッチディスプレイも画面平面上ではありますがジェスチャ操作です。

各メーカーもこのようなマルチタッチとジェスチャ操作によるインタフェースを採用してきたわけですが、当然次のインタフェースを探っています。そのような中で、一切画面に触れず、何も持たずに操作できるジェスチャが注目され、Kinectで行われるようなジェスチャ操作をゲーム以外の場面で利用しようという取り組みが始まっています。Leap Motionもその一つです。

映画の中のインタフェース

ジェスチャによる操作はSF映画でよく登場し、非常に格好良く見栄えがします。たとえば映画「マイノリティ・リポート」や「アイアンマン」でもジェスチャ操作のインタフェースが登場します。俳優はとても自然に利用しており、視聴者からすると「これが未来だ」とときめいてしまいます。

しかし、これは映画上の演出が入っていることを忘れがちです。映画におけるコンピュータの利用シーンには、必ずと言ってもよいほど操作アニメーションや音の演出が加えられています。

なぜこういった演出を行うのでしょうか？それは、コンピュータの操作というのは、視聴者から見ると基本的に退屈だからです。また、何をしているか、しようとしているかは操作している人間の頭の中にあるため、ただ操作シーンを出すだけではいまいち魅力的なシーンに見えないのです。だから、画面は「クラッキングしている」ことを明確に表現する手法をとるし、データの転送もバックグラウンドで処理しては視聴者に伝えられないので明確にわかるように表現します。

ジェスチャ操作もこういった演出に似ています。本当はそんなに手を動かす必要がない場合であっても、「⁠そう動かしたほうが視聴者にとって伝わる」という演出として表現される場合があります。

その操作が一度だけの演出であれば、視聴者のイマジネーションをかき立てるうえではよいでしょう。しかし、その操作を毎日、あるいは常にやっていたらと考えると、それが大げさであることに気づくでしょう。映画上のジェスチャインタフェースは、このように視聴者を意識した演出が施されていることを踏まえる必要があります。

山積みなジェスチャインタフェースの課題

実は、ジェスチャにはさまざまな課題が山積みなのです。筆者がぱっと思いつくだけでも次の5つの課題が挙げられます。

①記憶負荷

ジェスチャ入力は、CUI（Character User Interface）のようにある程度コマンドを覚えておく必要が出てきます。CUIに比べればある程度は対象や状況がヒントになる可能性はあるものの、ジェスチャ操作に依存すればするほど、ユーザが覚えておくジェスチャの種類が増えてきます。

たとえばiPadで4本指を使うジェスチャがあるのですが、意外と知られていないものもあります。こういったジェスチャがアプリケーションごとに違ったりしたら、ユーザはそれを覚えるだけでも苦労しますし、うろ覚えで実行するとエラーにつながりストレスになります。

②意図の区別

ジェスチャ操作は人間がよくやる直感的で自然な動作が一つの売りです。しかし、その直感と自然さが、人間の日常的な動作とオーバーラップし、本来の操作と日常的な動作との区別が付かず誤ってコマンドと認識されて実行されてしまうという問題が発生します。

何も道具を持たず、ジェスチャ操作をすればいつでも操作できるインタフェースは一見すばらしいように思えますが、それが意図的な操作か否かをコンピュータが識別するのは簡単ではないのです。

③肉体疲労

映画では視聴者として見ているだけですが、実際にその操作を毎日のようにやるとしたらどうでしょうか。実際Kinectのデバッグは体を動かす必要があり「疲れる」といった話を聞きます。これはけっして笑いごとではなく、そのインタフェースを日常的なものにしようとしたら深刻な問題です。

④社会性

ジェスチャ操作は、他人から見られる操作です。たとえば空間的なジェスチャ操作ができるようなスマートフォンができたとして、電車の中で人々がそれをやる場合、非常に目立ちます。それは本人の恥ずかしさにつながったり、周囲からは目障りに感じられたりすることも懸念されます。社会性はある程度は文化となってしまえば解決することかもしれませんが、普及への壁になる要素と考えられます。

⑤知性の成立

当然すぎて意識しづらいかもしれませんが、人間が不自由なく文字を書いたり紙を切ったりできるのは、安定した地面や机や椅子、あるいはペンやハサミといった道具が持つ「制約」があるからです。これにより、人間の知性は表出されるのです。たとえばペンで文字を書くこと考えてください。もし机の脚の長さが少しずれていたら、揺れてしまいきれいに書けないでしょう。またペンの良し悪しによっても書かれる文字の質は変わってくるでしょう。第6回の記事にて生態心理学を紹介しましたが、人間の知性や身体的能力はかなり多くの部分を環境の制約をうまく利用することで実現しています。

ジェスチャ操作は、物質の制約が生み出す行為を現在はほとんど無視している状況です。たとえば、空中に文字を書くジェスチャの場合、普段机に向かって文字を書く際の制約が与える効果を考慮していません。ある程度情報提示によるフィードバックで行為を支えることができる可能性はありますが、この点はジェスチャインタフェースの根底にあるかなり大きな課題でありチャレンジです。

ジェスチャインタフェースの使いどころ

今回はジェスチャインタフェースのネガティブな側面を中心に書きました。ポジティブな面は、各社スタートアップが作ったプロモーションビデオでの利用シーンなどでイメージできるかと思います。

そのときに、今回挙げた課題と照らし合わせて現実的かを検討すると良い考察ができると考えます。こういった課題を乗り越えるアイデアが実装されれば、ジェスチャインタフェースのブレイクスルーとなるのではないかと考えます。