TTT -Tangible TableTop Interface-
このページでは、Tangible TableTop Interface (以下TTT) を紹介します。
なお、本研究は産業技術総合研究所と連携して実施されています。
TTTの概要
このシステムは、1人の人が、離れたところにいる複数の人と、同時に、円滑なコミュニケーションをとりながら、協力して作業をすすめていくこと（ 難しい言葉で一対多の遠隔協調作業といいます） を目的として開発されました。
テーブルの様に置かれた大型ディスプレイには、作業仲間の周りの状況を映したライブカメラ映像や、相手のいる位置を示すマップ、コミュニケーションに使うためのツールなどが、ウインドウとして表示されます。しかし、これらのウインドウを通して、大勢の仲間の状態を把握したり、いちどに指示をだしたりするのは大変ですので、何らかの形でユーザの手助けをしてあげなければなりません。
そこでTTTでは、利用者が直感的でわかりやすい操作を行えるように、さわることのできるインタフェース(TUI)を採用しました。これにより、従来のマウスやキーボードを使った操作とは違って、画面に表示された物体をあたかも直接手でつかんで操作するような感覚で操作することが可能になります。
TTTのさわれる操作に使う物体（ 私たちはこれを”タグ“ と呼んでいます） の位置や姿勢の計測には、われわれが新しく開発した、複数のセンサを使った手法を使っています。この手法を使うと、モニタと”タグ”を用意するだけで、さまざまな環境下で、正確で安定した、物体の計測が可能です。
TTT開発の背景
ビルの建設やプラントの補修などのような、大規模な作業現場では、工事を安全に、効率的に進めるためには、多数の熟練労働者が必要となります。こうした現場では、作業工程に精通した熟練労働者が、熟練していない作業員の作業状況を把握し、状況に合わせて指示を出すなどして、作業の監督を行いながら、工事を進めていきます。
しかし、日本では2007年問題として知られるように、熟練労働者の不足が顕在化しています。そのため、作業現場に適正な人数の熟練労働者を揃えるのは容易ではありませんし、そのためにかかる人件費も決して少なくありません。また、このような熟練労働者を育成するにも多くの時間がかかります。
このような場合に、熟練労働者の監督能力を増強させるようなシステムがあれば、作業にかかる人的・時間的コストを削減することができると考えられます。
例えば、1人の熟練労働者が、離れたところで作業している多数の作業員の状況を把握し、作業員に対して適宜指示を送ることができるようにすることができれば、作業効率や作業の安全性が上がるでしょうし、マップなどを通じて現場の作業者の配置を把握することで、効率的な作業員の配置を行うことも可能になるでしょう。
離れた相手と一緒に作業を進めていくための機器としては、トランシーバなどが利用されることがあります。しかし、トランシーバなどの音声通信端末では、やりとりできる情報が音声に限られてしまいますしし、一人対一人の通信ならまだしも、同時に複数の人と通話するのは容易ではありません。
TTTをWACLなどのウェアラブル機器と連携して使うことで、音声情報に限らず、作業マニュアルなどの画像や作業員のライブ映像、文字情報や手書きの指示などといった情報をやりとりすることができるるため、円滑な共同作業が可能になります。また、その際に、後で述べるTUIを用いた操作により、利用者にとって自然な動作でシステムの操作を行えるようにし、作業員の配置を示すマップを通して、効率的な作業遂行のための作業員の適正な配置を行うこともできます。
TTTの特徴
TTTの最大の特徴は、ユーザが操作しやすいようにTUI(Tangible User Interface ： 触れられるインタフェース)を採用したことです。
TTTの操作では主に、“タグ”とよばれる、実際にさわれる物体を使います。こうすることで、タグを回したり、持ち上げたり、振ったりといった動作でシステムを操作することができるようになります。この操作方法は、従来のマウスカーソルのような仮想物体を使って操作する場合にくらべて、人間にとって自然な動作で操作が行えるため、利用者の感じる負担がより少ないと考えられています。
タグにより、ユーザはGUIオブジェクトの位置や存在を深く意識せずに把握することができるため、間違った相手に指示を送るといったことを自然に防ぐことができます。また片手で手書きの指示を書きながらもう片方の手でタグを移動させるなど、両手を用いた非対称な操作が可能になります。複数のウインドウをまとめて移動したり、複数の作業者に同時に指示を送ったりといった複雑な操作も、タグを使った簡単な操作を通して自然に・直感的に行うことができます。
タグを使った操作のことを、私たちは“タグジェスチャ”とよんでいます。タグジェスチャの例としては、以下のようなものがあります。
- ウインドウの移動＆Pick2Focusジェスチャ
TTTでは、ウインドウなどの画面に表示されるGUIオブジェクトには、タグが関連付けられています。タグを動かすと、そのタグに関連付けられたウインドウも一緒に動きます。そのため、ウインドウをあたかも直接手で触って動かせるようになります。
これにより、画面にたくさんのウインドウが表示されているときでも、これらの操作を使ってウインドウレイアウトが簡単に行えます。
例えば両手でタグを一箇所にまとめることで、必要のないウインドウを整理することができます。また逆に、ユーザがタグをつまみ上げる事で、そのタグに関連付けられたウインドウを最前面にフォーカスすることができるので(Pick2Focusジェスチャ)、多数のウインドウが重なりあっているときでも自分が見たいウインドウを簡単に表示させることができます。
- Copy-N-Pasteジェスチャ
タグ同士を近づけることで、タグに関連付けられたウインドウの情報を相手にコピー/ペーストすることができます(Copy-N-Pasteジェスチャ)。
これにより、たとえばある作業者が撮った映像を作業用ウインドウにコピーして、それに簡単な指示を加え、再び作業者ウインドウにペーストするなど、簡単な操作で的確な指示を送ることが可能になります。また、同じ指示を複数の作業員に送る必要があるときなどには、タグを一箇所に集めてCopy-N-Pasteジェスチャをおこなうことで、一斉に情報の送信が行えます(GroupCopy/Pasteジェスチャ)
- Steady2Attach/Detachジェスチャ
タグの個数には限りがありますので、必要に応じてタグとGUIオブジェクトを関連付けたり、関連付けを解除したりできます(Steady2Attach/Detachジェスチャ)。この操作には、張り紙を壁に画鋲で刺すようなメタファを用いることで、ユーザにとってわかりやすい操作になるように企図しています。
- 図形描画
また、TTTでは、タッチパネルやペンタブレットを使って、手書きで文字や図形などを描くことができます。これにより、手軽に状況に応じた的確な指示をすることができます
TTTのシステム構成
TTTには、プロトタイプである第1世代型と、現行の第2世代型の2種類があり、両者のシステム構成は異なっています。
第1世代TTT 第2世代TTT
第1世代TTTは、手書きの指示や各種GUIオブジェクトを表示するための大型のタッチパネル付きディスプレイと、数個のタグ、タグの位置を計測するための超音波レシーバからなります。
タグの中には超音波発信機が内蔵されていて、ここから発した超音波をレシーバで多点計測することで、タグの位置を計測します。
この計測方法は、タグジェスチャを行うには十分な精度、計測レートを有しますが、タグの回転を計測することはできませんし、またユーザの手などが超音波発信機をふさいでしまうと計測が行えなくなるなどの短所を抱えています。また計測レートの向上にも限界がありました。
そこで、タグの計測手法を改良した第2世代TTTを作成しました。
第2世代TTTでは、第1世代型と同様の大型のタッチパネル付きディスプレイ(もしくはペンタブレットディスプレイ)と、数個のタグだけからなります。専用の計測装置を必要としないので、どんなディスプレイでも ―例えばあなたの今使っているPCでも― タグを使ってGUIオブジェクトを操作することができます。
第2世代TTTの計測手法
第2世代TTTで使うタグには、光センサと加速度センサ、ジャイロセンサが内蔵されており、これらをハイブリッドに使うことで、高精度･高安定性･高汎用性をもつ位置・姿勢の計測を行います。
タグがディスプレイの上に置かれているときは、タグの下にマーカパタンを表示します。マーカパタンの明るさをタグの底面にある複数の光センサで観測することで、タグがディスプレイ上のどこにどんな方向に置かれているのかを計測します。
タグを持ち上げたり、傾けたりする際には、2種類の慣性センサも用いて計測を行います。
これらのセンサの値を、高周期で通信が可能な無線デバイスを通してPCに送り、PC側で各種制御やマーカパタンやGUIオブジェクトの表示を行います。
計測手法の改良により、計測時のユーザの手によるオクルージョンを防ぐことができ、計測周期も向上しました。またタグの姿勢の計測が可能になったことで、より多彩なタグジェスチャの実装が可能になりました。
＊システムや計測手法の詳細について知りたい方は、下記の論文を参考にしてください。
成果
Conference Papers (in Japanese)
- Takeshi Kurata, Takahiro Oyabu, Nobuchika Sakata, Masakatsu Kourogi, and Hideaki Kuzuoka, Tangible Tabletop Interface for an Expert to Collaborate with Remote Field Workers, in Proc. of CollabTech 2005, pp. 58-63, 2005, Edo-Tokyo Museum in Tokyo.
- 川本海、蔵田武志、酒田信親、大隈隆史、葛岡英明、光センサと加速度計を用いたタグの位置・姿勢計測に基づくタンジブルテーブルトップインタフェース、情報処理学会第118回HI研究会, pp.45-52
Demo and Poster
- 川本海、蔵田武志、酒田信親、大隈隆史、葛岡英明、光センサと加速度計を用いたタグの位置・姿勢計測に基づくタンジブルテーブルトップインタフェース、画像の認識・理解シンポジウム (MIRU2006), IS2-53
- Umi Kawamoto,Takeshi Kurata,Nobuchika Sakata,Takashi Okuma,Hideaki Kuzuoka,Tangible TableTop (TTT) Interface Based on Position/Orientation Measurement of Tags Using Photo Sensors and Accelerometers", Demo paper in Web-Proc. of The 5th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 06)
Awards
- CollabTech 2005 Best Paper Award, Takeshi Kurata, Takahiro Oyabu, Nobuchika Sakata, Masakatsu Kourogi, and Hideaki Kuzuoka, Tabletop Interface for an Expert to Collaborate with Remote Field Workers, July 2005.
FrontPage
