Tachi_Lab - 実世界へのテレイグジスタンス (Telesar IV)

全周囲立体ディスプレイTWISTER、全周囲ステレオカメラVORTEX、および再帰性投影技術RPTを用いた相互テレイグジスタンスロボットシステムTELESAR IV を構成し、パーティ会場などの多数の人が集いコミュニケーションを行う場において、「その場にいる参加者」に加えて、「空間的に離れた参加者」も、あたかもその場にいるかのように参加し動き回り、身体性を伴ったコミュニケーションを行うことに成功しました。

詳細：下記の論文をＷＥＢ用に書き換えてあります。

舘暲, 渡邊孝一, 竹下佳佑, 南澤孝太, 吉田匠, 佐藤克成:再帰性投影技術と全周囲裸眼3Dディスプレイを用いて存在感と臨場感を実現する相互テレイグジスタンスシステム：TELESAR4, 日本バーチャルリアリティ学会論文誌, Vol.17, No.1, pp.11-21, (2012.3)

[PDF]

パーティ会場などの多数の人が集まり自由に行動しながらコミュニケーションを行うに場において、「その場にいる参加者：ローカル参加者」に加えて「空間的に離れたところからの参加者：遠隔参加者」も、あたかもその場にいるかのようにパーティに参加して、相手と触れるなどの身体性を伴ったコミュニケーションを実現することを可能にする移動型相互テレイグジスタンス･ロボットシステムTELESAR4を提案している。プロトタイプとして実装されたTELESAR　IVシステムを用いて、遠隔参加者がロボットを自分の代替身体として認識し利用し、会場内を見渡しながら動き回り、そこに参加する参加者を自分が参加しているように認識でき、声をかけてジェスチャーをともない会話し、目と目をみつめて握手をしたりすることが可能であることを示した。加えて、参加者が、代理ロボットに再帰性投影された実際の遠隔参加者の顔とその表情をアイコンタクトしながらリアルタイムで見ることができることが示され、相互テレイグジスタンスが達成されていることが実証された。

1.はじめに

感覚情報を遠隔地間で共有する遠隔コミュニケーションが進展している。長い間、音声のみを一対一で共有する電話の時代が続いたが、近年になり、急激にテレビ会議システムが進展し、ポリコム・テレプレゼンスシステムなどの遠隔会議システム[1]など、音声や２次元の映像情報を多人数で共有するシステムが実用化されるに至っている。現在、3 次元映像への拡張や視野の拡大などが図られているとともに、さらに多くの感覚情報の共有により利用者があたかも遠隔地に入り込んだような感覚、すなわち遠隔コミュニケーションにおける臨場感がより高度に提供されることが求められている。

さらに、人が実空間において自由に動作したり移動したりするとき、必ず視点に応じた視覚映像の移動が生じ、また、人が環境に働きかければ、環境の変化が生じる。現状の利用者の身体状態や身体運動を考慮しない受動的な情報伝達では、外界との相互作用が生じないため、このような能動的な行動を伴う高度な遠隔コミュニケーションを「あたかも別空間に入り込んだかのような」臨場感を伴って達成することはできない。

パーティ会場や集会などのイベントでは、参加者が、会場内を自由に歩き回りながら、他の参加者と自由にコミュニケーションする。このような会場に遠隔から参加して、なお、直接参加するのと同等の効果を得るために解決すべき多くの課題が残されている。すなわち、遠隔参加を人間―ロボットシステムを用いて可能にするためには、一般的な通信に使われる、音声による会話システムに加えて、下記の身体性をともなう臨場感、存在感に関する事柄をシステムが有することが必須となる。

（１）遠隔参加者があたかもその会場に参加したような臨場感を有すること。具体的には、遠隔参加者が、その会場と会場内の参加者の実物大の立体像を実時間で正確な距離感覚で可能であれば360 度の広視野で利用できること。

（２）遠隔参加者と会場内参加者の自然な対面コミュニケーション(face-to-face communication)が可能なこと。これは、イベントへの会場参加者が遠隔参加者の顔やその表情を実時間に見て取れることを意味する。しかも、単に顔が見えるだけではなく、遠隔参加者の正面にいる会場参加者は、遠隔参加者の正面顔を見るし、横にいる会場参加者は、遠隔参加者の横顔を見るようになっていること。つまり、会場内参加者が、遠隔参加者の存在感を感じられること。

（３）遠隔参加者は、その代理ロボットを用いて、イベント会場内を自由に動き回れるだけでなく、握手やジェスチャーといったマニピュレーション能力などの身体性を有していること。

上記の 3 条件は、現在市販されているポリコム・テレプレゼンスシステムなどの遠隔会議システムや、TiLR[2]や VGo[3]あるいは QB[4]といったテレプレゼンス代理ロボットシステムでは実現されていない。例えば、Anybots 社の QB など国外で市販が始まりつつあるテレプレゼンスシステムでは、移動可能なロボットを介することで機能を高めることを試みている。しかしながらこれらのシステムでは、全体を見渡せるような広視野は提供されておらず、腕を動かす等の能動性による外界環境との相互作用も欠如している。研究の段階においても、3 条件のうち一部を実現した事例はあるが、やはり全てを満たすまでには至っていない。例えば Fuchs ら[5]のアバターシステムでは、人の頭部模型に遠隔ユーザーの顔画像を投影することで自然な対面コミュニケーションを実現しているが、遠隔参加者には全体を見渡せるような広視野は提供されておらず、腕を動かす等の能動性による外界環境との相互作用も欠如している。

一方、臨場感と存在感と身体性を兼ね備えた遠隔作業／遠隔コミュニケーション技術を目指して、著者らはテレイグジスタンス[6,7]を提唱している。テレイグジスタンスとは、人間を模した代理ロボットを遠隔地に配置し、利用者の身体運動や音声を代理ロボットに伝達し、代理ロボットが得た視覚・聴覚・触覚などの感覚情報を利用者にフィードバックすることで、あたかも利用者がロボットの中に入り込んだかのような状況を再現し、高い臨場感を伴った作業やコミュニケーションを実現する技術概念であり、これまでに TELESAR II 等のプロトタイプシステムを開発している。

再帰性投影技術(RPT: Retroreflective Projection Technology)を用いて操作者の実時間映像を代理ロボットに投影する相互テレイグジスタンスの方法は、1999 年に初めて提案された[8]。この概念の実現可能性は、再帰性投影技術を用いた相互テレイグジスタンスシステムのプロトタイプが構成されて 2004 年[9]に示されている。しかし、実験システムは、6 軸の頭部メカニズムを有するもののマニピュレーション機能を有していなかった。

2005 年に、TELESAR2 と呼ばれるマスタ・スレーブ・マニピュレーション機能を有する相互テレイグジスタンスシステムが、愛知万博のために構成された[10] 。TELESAR II は、通常の言語コミュニケーション機能に加え、ジェスチャーや握手などの非言語コミュニケーション動作が可能である。さらに、代理ロボットの周りにいる人は、そのロボットを用いてロボットの存在する場所を訪れた人が、そこにいるように自然に、その人を見ることができる。しかし、システムは、裸眼の3D ディスプレイは使用していたが、その水平視野角は 60 度以下であり、その会場への没入感を実現するには至らなかった。代理ロボットを用いて、別の参加者がいる広い場所を自由に動き回るためには、少なくとも水平視野角 200 度が一時に見られる裸眼 3D ディスプレイが必須であり、高速に首が回転する場合には 360 度が望ましい。

そこで本研究では、今までのTELESAR システムでは実現できなかった前述の 3 条件を満足する、マスタ・スレーブ・マニピュレーション機能、水平 360 度を裸眼で立体視可能な全方向遠隔視覚機能を有した相互テレイグジスタンスシステムを研究開発する。

2.遠隔コミュニケーションにおける臨場感と存在感

2.1 「場」の接続と「場」への移動

遠隔コミュニケーションを行う場合、コミュニケーションを行う「場」をどのように設定するかが重要である。一般的に、「場」を、どこか一箇所に選定し、そこにバーチャルに移動する（実際の移動ではないが効果として移動したと同じ）「場への移動」と、それぞれの人が居る「場」を、バーチャルに接続する（実際の接続ではないが効果としては接続と同じ）「場の接続」とがある。

「場への移動」では、設定する「場」を、参加者の実際に居る実環境の、どれか一つを選択し他の参加者が、そこへ移動する場合が一般的であるが、コンピュータの生成するバーチャル環境を選択することも可能である。一方、「場の接続」では、それぞれの参加者の居る「場」を、バーチャルに接続して一つの場として共有する。

１対１の遠隔コミュニケーションの場合で、相手方の場への移動を伴わなければ、それぞれの人が、それぞれの人のいる「場」にそのまま居る感覚を有して、もう一人の人の居る「場」を接続し合うかたちの「場の接続」で、対等なコミュニケーションができる。音声のみの電話は、それぞれ、自分は自分の居る場所にいて、耳元に別の人が居るような感覚を、それぞれ対等に持ってコミュニケーションする代表的な「場の接続」であり、Skype などのコミュニケーションもコンピュータ画面の向こう側に、別の人の居る「場」が接続されている。多人数でも、それぞれの人が一人ずつ分かれていて、やはり他の人の「場」への移動を伴わなければ、「場の接続」で、それぞれが対等にコミュニケーン可能となる。図 1 に、1 対１の「場の接続」の概念を示す。

図1 1 対 1 の「場の接続」の概念図 (a)の 2 人が、(b)のように対等に接続されている。

Fig.1 Virtual connection of two separated persons.

しかし、多人数で実際の同じ「場」を共有しながら、別の「場」に居る人たちと遠隔コミュニケーションが行われる場合では、対等の関係を維持することが現状の技術では難しい。多人数が集まっている「場」の中では、参加者同士で、生身の人間同士のコミュニケーションが行えるのに対して、接続された「場」にいる参加者は、2 次元映像だったり、3 次元でも実体には程遠いものであったり、さらに、触覚などは接続面でしか伝わらないなど、コミュニケーションが希薄になる。会場に居る参加者どうしで盛り上がってしまい、遠隔からの画面による参加者が忘れ去られることは日常のテレビ会議などで多く経験するところである。従って、参加者の間にいわば格差が生じてしまう。課題としては、接続された「場」からの参加者の存在感を高めることである。図 2 に、多対多の、「場の接続」の概念を示す。

図2 多対多の「場の接続」の概念図 (a)の 2 グループが、(b) のように対等に接続されている。
グループ内での存在感と、接続されたグループ間の存在感に格差が生じる。

Fig. 2 Virtual connection of two separated groups.

別の場所への移動が伴わなければ上記の「場の接続」でも、接続された「場」からの参加者の存在感を高めることにより、皆がその場に集ったような理想的な状態に進展させて行くことが将来的には可能である。しかし、接続された向こう側の世界に入り込むことはできない。入り込みたい時には、そちら側に代理カメラや代理ロボットを配して、それにテレイグジスタンスすることにより初めて可能となる。これが、「場の移動」である。

パーティや集会などのイベント会場で参加者が会場内を歩き回ってコミュニケーションしたり、会議でも、席を立って直接その人と話したり、場所を変えたりなどを伴う場合など、移動を伴うコミュニケーションになると、実際に会場などの「場」に移動可能な代理ロボットを配置して、それにテレイグジスタンスする必要が生じる。

その際、「場の移動」先の空間は、実空間とバーチャル空間とが可能である。バーチャル空間に移動する場合は、バーチャル空間に配置したバーチャル人間にテレイグジスタンスすることになる。図 3 に、バーチャル空間への、「場の移動」の概念を示す。因みに、このバーチャル空間への「場の移動」では、すべての遠隔参加者が対等の条件で格差なく参加できる。しかし、現状技術では、参加者全員が対等の条件ではあるものの一様に、直接会っているのに比べ不自然で不自由な状態におかれる。それを自然かつ自由なものにするのが将来の研究の進展の方向となる。

「場の接続」の形式においても、それに加えて「場の移動」を複合させることも可能ではあるが、最初から集まる「場」を実空間に定めて、そこに遠隔から「場の移動」で集まる方式が基本となる。この「場」を実空間に定めて、そこに「場の移動」で集う方式においても、参加者の間に格差が生じないシステムが理想的には可能であるが、現状は、遠隔参加者と会場参加者とには大きな格差が生じている。それは、身体性をともなう臨場感と存在感が欠如しているか、あるいは大きく不足していることによる。

図3 バーチャル空間への「場の移動」の概念図

Fig. 3 Virtual teleportation to virtual environment.

図4 特定の実空間への「場の移動」の概念図

Fig.4 Virtual teleportation to real environment.

本論文で対象とするのは、この実空間に「場」を定めて、そこに人が集い、そこに代理ロボットも配備して、遠隔から参加するという場面における、臨場感と存在感を身体性も含めて高める試みである。図4 に、実際の会場への「場の移動」の概念を示す。

2.2 臨場感と存在感 [11]

集まる「場」としてパーティや集会といったイベントの会場を設定し、その会場に集まれる人は、その会場に直接集まり、それに加えて遠隔からも参加するという「場の移動」を考える。その場合、イベント会場に、代理ロボットを用意して、遠隔には、テレイグジスタンス用のブースを置き、そこから、代理ロボットを介して遠隔参加する。その際、遠隔参加して、会場に直接参加する人とコミュニケーションする遠隔参加者が欲する要件と、会場に直接行き、遠隔参加する人とコミュニケーションする会場参加者の欲する要件は異なる。

遠隔参加する人にとって理想的な状態は、自分が直接参加した場合と同等の「臨場感」が得られることである。いま、コミュニケーションという目的に絞れば、それは、会場全体を見渡せ、そこに参加する人を、直接見るのと同じ大きさと距離で立体的に見られ、音響も同様に聞け、また、参加者とアイコンタクトもできるface-to-face のコミュニケーシンを可能とするものである。もし、直接参加する参加者が自由に動き回れる環境であれば、遠隔参加者も同じように自由に移動でき、握手をしたりジェスチャーを交えて会話したりできる身体性の具備が望まれる。

一方、会場に直接参加している参加者からは、そこに遠隔から参加している人が、その代理ロボットを介してのコミュニケーションで望むものは、遠隔参加者の「存在感」である。本人が、そこに来ているような「存在感」である。本人の声が聞こえているだけでなく、本人の実時間で変化する顔が見えること、その場合、顔も正面にいる人からは遠隔参加者の正面顔、横に居る人は遠隔参加者の横顔がみえることが望ましい。いくら顔が本人そっくりでも、表情がリアルタイムに変わらなければ、気持ちが悪い[12]だけでコミュニケーションにはならない。また、握手やジェスチャーを伴った会話は、その人の「存在感」を高める。アイコンタクトをともなう face-to-face のコミュニケーションを行うことも「存在感」につながる。

上記の考察から、遠隔参加者が求める臨場感と直接参加者が求める存在感に加え、臨場感と存在感を高める身体性が重要である。それらが第１章で掲げた 3 条件であり、本論文の目指す達成目標となっている。「臨場感」も「存在感」も、実物と全く同じというレベルを最高峰として、安易なレベルでは、映画や音楽あるいはホームシアターなどで謳われる「臨場感」など、その使われ方は、幅広く一定しない。この論文で目標とする「臨場感」と「存在感」は、あくまでも、論文の第 1 章で目標に掲げた条件 1 と条件 3 を満足することによる「臨場感」と、条件 2 と条件 3 を満足することによる「存在感」である。

3.TELESAR4 システム

3.1 TELESAR4 の基本設計

第 1 章で掲げた第 1 条件を満足する、没入型で 360 度の水平視野を確保し、実物大で 3D の自然な映像を提供可能であるシステムとしては、頭部搭載型ディスプレイ (HMD)[13]、CAVE(CAVE Automatic Virtual Environment)[14]、TWISTER(Telexistence Wide-angle Immersive Stereoscope)[15] の 3 つの異なる原理からなるシステムが現存する。

しかしながら、第 2 の条件のアイコンタクト可能なface-to-face のコミュニケーションの条件が、目のまわりなどの顔の表情を実時間で伝える自然な対面コミュニケーションを要求しており、従って、顔をすべて覆ってしまうHMD や目を覆ってしまうシャッター眼鏡などを利用する方式の視覚ディスプレイは適さず、原則的に、裸眼3D ディスプレイでなくてはならなくなる。

従って、HMD と CAVE の両者とも条件 2 を満足しない。TWISTER は、離れたところに居る人が同じ 3 次元の空間に居るかのようにコミュニケーションする相互テレイグジスタンスという対面コミュニケーションの概念に従って設計されたフルカラーの没入型全方向裸眼 3D ブースであり、条件１と条件２を満たしている。TWISTER では、各々のユーザーが円筒形のブースに入り、実時間でフルカラーの 360 度の 3D イメージを特殊な眼鏡などをかけることなく裸眼で見ることができる。同時に、そのブース内の人の映像が任意の角度から撮影される。それぞれの人の映像が、TWISTER の外周に設置したレール上を移動するカメラを用いて、撮影により提示映像に切れ目が生じることなく、人の目の高さで撮像できる。複数のブースを通信ネットワークでつなぐことで、離れた人同士が対面しているように対話できる。

第 3 の条件は、視聴覚機能に加えてマニピュレーション機能を有した移動型代理ロボットを用いることで実現される。そのための代理ロボットは、会場内を自由に移動し、360 度の風景をフルカラーでステレオ撮影できなくてはならない。ということは、全方向移動ロボットに搭載可能な、360 度を撮影可能なステレオカメラが必要ということを意味する。

図5 は、テレイグジスタンスの方法で、条件1 から条件3 までを同時に満足するシステムを示す。コックピット[A] に居る遠隔参加者A は、代理ロボットA’を用いて、B やC が参加しているイベント会場などの実環境[B]にテレイグジスタンスする。コックピット[A]として TWISTER を利用することで、遠隔参加者 A は、特殊な眼鏡を使わず裸眼で、実環境[B] を 360 度ステレオで楽しむことができる。この 360 度のステレオ映像は、代理ロボットA’の頭の上に搭載した360 度のステレオカメラシステム VORTEX で撮影される。コックピット内に設置された計測制御デバイスを用いて、遠隔参加者A は、あたかも実環境[B] に居るような臨場感をもって、代理ロボットを制御できる。制御システムは、モーションキャプチャーシステム、データグローブとジョイスティクからなる。

会場にいる参加者B とC は、それぞれ、カメラB’とC’ から得られた A の映像を、ロボット A’に再帰性投影技術を利用して投影し、代理ロボット A’の中に A が居るような存在感を持つ。TWISTER の外側に設置された円周のレールに配置されたカメラ B’と C’は、会場内参加者B とC の代理ロボット A’との相対的な方向によってレール上を制御される。B と C の位置は、実環境[B]の天井に設置されたモーションキャプチャーシステムにより計測され、その位置から見たA の映像が、それぞれB とC に送られてくる。このようにして、相互テレイグジスタンスが実現される。

図5 実環境での相互テレイグジスタンスの概念図

Fig.5 Concept of robotic mutual telexistence in a real environment.

3.2 TELESAR4 のシステム構成

図 6 に TELESAR4 のシステム構成を示す。システムは、テレイグジスタンス遠隔コックピット、テレイグジスタンス代理ロボットと RPT ビュアーシステムからなる。

図6 TELESAR４のシステム構成

Fig.6 System configuration of TELESAR4.

テレイグジスタンス遠隔コックピットは、没入型 360 度フルカラーの裸眼ディスプレイである TWISTER とTWISTER の外側に配置されたレールカメラシステム、全方位スピーカーシステム、OptiTrack モーションキャプチャーシステム、5DT Data Glove Ultra、ジョイスティク、およびマイクロフォンからなる。テレイグジスタンス代理ロボットは、全方向移動システム、360 度ステレオカメラシステム VORTEX、再帰性反射スクリーン、全方位マイクロフォンシステム、ロボットアームとハンド、及び、スピーカーからなる。RPT ビュアーシステムは、RPT 携帯型プロジェクタ、RPT 頭部搭載型プロジェクタ、及び、OptiTrack 位置姿勢計測システムからなる。360 度ステレオカメラシステム VORTEX により取得された映像は、代理移動ロボットに搭載されたコンピュータ(PC1)に送られる。実時間に照度や色の補正を行って6 枚の映像をつなぎ合わせて TWISTER 用の 360 度の映像が作られる。その映像が、TWISTER に送られると同時に、マイクロフォンからの音響信号が、それぞれのマイクロフォンに対応するスピーカーに送られる。

会場内の参加者と代理移動ロボットとの相対的な位置関係と相似の関係になるように、 2 台のカメラがTWISTER の外側にある円周状のレールに沿って制御される。これらのカメラで TWISTER の外側から撮像された遠隔参加者の映像がコンピュータ(PC3)を介して、代理移動ロボットに搭載されたコンピュータ(PC2)に送られる。これらの映像は、会場の天井に配した 7 台の赤外線カメラシステム(OptiTrack) を用いた位置姿勢情報から、それらの大きさを補正した後、携帯型と頭部搭載型の再帰性投影プロジェクタに送られる。これらの処理が行われた映像が、代理移動ロボットの頭部に貼られた再帰性反射スクリーンに投影される。遠隔参加者の音声は、代理移動ロボットのスピーカーに直接送られる。

ジョイステックが TWISTER 内に設置され、遠隔参加者の左手で操作される。ジョイスティクのデータは、PC3 を介して、通信ネットワーク経由でPC1 に送られる。受け取った情報に基づいて、PC1 はその場での回転や任意の方向への移動などの全方向移動指令を発生させ実行する。TWISTER の天井に配したモーションキャプチャーシステム(OptiTrack)を用いて、遠隔参加者の右腕の 7 自由度の位置と姿勢が取得される。その位置と姿勢の情報も PC3 を介して通信ネットワーク経由で、PC2 に送られる。受け取ったデータに基づいて、PC2 が遠隔参加者の右腕の運動に追従するよう、代理移動ロボットに搭載された 7 自由度のロボットアームが制御される。加えて、遠隔参加者の手指の運動情報が、データグローブ(5DT Data Glove 5 Ultra)により計測され、ロボットアームの先に配置されたロボットハンドの運動が遠隔参加者の運動を追随するように制御される。図７に、構築された TELESAR４の外観を示す。

図7 TELESAR４システムの外観左：遠隔コックピット、右：代理ロボットと RPT ビュワーシステム

Fig.7 General view of TELESAR4 system.

4.TELESAR4 の機能検証実験

TELESAR4 が、第1 章で述べた3 つの基本条件を満足していることを下記のように検証する。

（i） 360 度裸眼 3D ディスプレイ TWISTER と 360 度ステレオカメラシステム VORTEX を用いて、そこへの参加者の姿や顔形も含むイベント会場などの実環境の提示が行え、条件１を満たすこと。

（ii）遠隔参加者の顔を、TWISTER に配置した移動カメラとRPT ビュアーシステムを用いて会場内の参加者に任意の方向から提示でき、条件 2 を満足すること。

（iii）遠隔参加者の会場内の移動と動作が、テレイグジスタンス代理ロボットの移動機能とマニピュレーション機能で実現でき、条件 3 を満足すること。

4.1 360 度ステレオ映像の取得と提示

相互テレイグジスタンスの概念は、199６年に提案され[16]、TWISTERI から V までの 5 台のプロトタイプが、その概念をもとに構築されている。 TWISTER V は、1.7rps の高速で回転する 36 個のディスプレイユニットで両眼ステレオ映像を表示する。一つのディスプレイユニットは、左目と右目に対応する LED アレイとパララックスバリアからなっている。このシステムは、回転ユニットの外側に円周状に設置したレールを移動するステレオカメラにより、中のユーザーの 3D 映像が撮影できる。従って、二つの TWISTER に入った人同士が、それぞれ他の人の実時間の 3D 映像を互いに見ることができる。水平解像度は、360 度の水平視野角に 3168 ピクセルであり、垂直解像度は、61.0 度の垂直視野角に600 ピクセルとなっている。図 8(a)に、回転パララックスバリア方式の原理と、レールカメラの配置を示し、図 8(b) に、 TWISTER の 360 度の映像提示の様子を示す。


a	b

図8 (a) TWISTER における回転パララックスバリアの原理とステレオレールカメラの配置
(b) TWISTER の全周囲３D 映像提示部の外観

Fig.8 (a) Principle of rotating parallax barrier method and movable stereo camera attachment. (b) General view of TWISTER.

TWISTER は、360 度の全周囲映像をフルカラーで裸眼 3D 提示できる唯一の没入型ディスプレイであるため、このシステムを、本論文の用途に利用することは合理的である。しかし、このままでは実世界を実時間で提示できないため、この TWISTER をテレイグジスタンス代理移動ロボットの制御のためのコックピットとして利用するためには、それに匹敵する360 度をフルカラーで撮像するステレオカメラシステムが必要であった。

そこで、TWISTER の全周囲映像を撮像する装置として、VORTEX という 360 度のステレオカメラ[17]を開発した。その 360 度ステレオカメラシステムの原理を図 9(a) に示す。図 9(a)の左側に示すように、観測者の首が回転するのにあわせ、観測者の左眼と右眼は、眼間距離を一定に保ちながら同一の円周上を回る。この円周上に図 9(a)の右側の図のように、無数の右眼用カメラと左目用カメラを並べれば、理想的な全方向ステレオカメラが構成される。VORTEX では、その数を左右それぞれ8 個（合計 16 個）のカメラで近似している。また、円周としては、平均的な成人男性の眼と頭の回転中心間の距離が105～115mm 程度[18]であることを基に、実装可能な配置として求めた、半径 120mm の円周上にカメラを配している。2 台のカメラ間距離は、成人男性の平均の眼感距離が日本人の場合 65.7mm[19]、アメリカ人の場合 63.2mm[20]であることから、実装の容易さも考慮して65mm としている。図 9(b)に、VORTEX の設計コンセプトを示し、図 9(c)には、VORTEX の諸元を示し、図 9(d) に、実際に構成した VORTEX の外観を示す。

VORTEX のカメラとしては、Firefly MV (Point GreyResearch)に焦点距離 2.9 mm のレンズをつけ、長辺を垂直にして使用した。その条件下で、カメラの水平視野角が 53.2 度で、垂直視野角が 67.8 度となる。解像度が、480 × 640 ピクセルなので、円周上に 8 個並べて使用すれば、TWISTER の解像度 3168 × 600 ピクセルをカバーでき、カメラ同士の継ぎ目をブレンディングして連続した 360 度の映像が得られる。

それぞれのカメラは、オフラインで、レンズの歪、レンズと CCD の相対的な位置と姿勢といったカメラパラメータを校正しておく。その後、方向により照明条件が異なるシーンを全体として平準化した明るさとする処理と、カメラ座標からTWISTER の円筒座標への座標変換をリアルタイムで行って、TWISTER に提示する。

カーディオイド 1 方向性マイクロフォン(Radius 45 HD、 Monitor Audio Ltd.)とスピーカーを用いた予備実験[21] の結果、それぞれ 4 本の構成で 90 度離して構成したシステムと 6 本を 60 度離して構成したシステムでは、有為な音の方向分離力の違いが認められたが、6 本と8 本を45 度離して構成したものとの差は有為ではなかった。従って、6 本のマイクロフォンと6 個のスピーカーによるシステム構成で十分であるとし、VORTEX の上部に 6 本のマイクロフォンを図 9(e)のように配置した。6 個のスピーカーについては、TWISTER 内に、60 度間隔で配置し、それぞれのマイクロフォンに対応させ音響を提示した。


a	b	c


d	e

図9 360 度ステレオカメラシステム VORTEX
(a) 人間の頭部回転に伴う両眼の移動軌跡
(b) VORTEX の設計概念
(c) VORTEXの諸元
(d) VORTEX の構成
(e)マイクロフォンの配置

Fig.9 360° stereo camera system VORTEX:
(a) human eye trajectory as head rotates;
(b) design concept of VORTEX;
(c) dimensions of VORTEX design;
(d) constructed VORTEX;
and (e) microphone arrangement.

効果を示す実験の会場として 90m2 の部屋を選んだ。TWISTER では、環境を明るくすると、映し出された遠隔環境に加えて、その場の環境がみえる。そこで、実験に先立ち、大きさの同一の物体を 2つ用意し、VORTEXから、一定距離(1.5m、2ｍ、2.5m、3m、3.5m) 離れたところに物体を置き VORTEX で撮影し、TWISTER に映し出した。それと同時に、同じ大きさの物体を TWISTER の前方に置いて両眼立体視で両者の距離感と大きさを比較した。その際、VORTEX 側の 0.8m 付近に別物体を置き、その映像が TWISTER の回転枠よりも手前に見えるようにすることで TWISER の枠によるアーチファクトを軽減した。その結果、1.5m から 3m では、目視レベルの精度では、ほぼ完全な距離と大きさの一致が確認された。3.5m 以遠では、画像のほうが多少小さく近距離に感じられる傾向が認められたが、大きな違和感が生じるようなものではなかった。

その後、TWISTER の環境を暗くし、VORTEX から送られてくるリアルタイムの映像しか見えない状況にして、ロボットを制御して遠隔の部屋を動き回り、VORTEX が取得した VORTEX の周囲の 360 度の映像と音響を取得し、実時間でTWISTER を介して提示した。23 歳から64 歳の 11 名の男女が被験者として、このシステムを利用した。すべての被験者は、VORTEX と TWISTER を介した 360 度のフルカラーのステレオ映像を体験し、さらに、直接、その部屋の VORTEX のある場所で、その部屋を体験した。その結果、VORTEX とTWISTER を介した場合の、対象までの距離感とそこにある物の大きさが、その場所を直接経験した場合と同等であるとした。図 10 に、VORTEX で撮影した画面を示す。

上記の結果から、遠隔参加者が、会場と会場内の参加者の実物大の立体像を実時間で正確な距離感覚で

360 度の広視野で利用できることが、実験による客観的な直接比較及び会場参加実験での本人の主観的な印象の両面から実証された。すなわち、遠隔参加者は、その会場に参加したような臨場感を感じたといえる。

図10 VORTEX による 360 度の撮影映像

Fig.10 Scenery taken by VORTEX.

4.2 代理ロボットへの遠隔参加者の投影

前述のように、相互テレイグジスタンスを実現するため、再帰性反射材を投影スクリーンとして利用する技術を用いた。 TELESAR4 システムで遠隔参加者の顔を提示するため、ロボットに人間の顔を投影する。会場に参加した人は、遠隔参加者の実時間映像を見るために半透鏡付きの RPT の携帯型プロジェクタか、RPT の頭部搭載型プロジェクタを使用する。図 11(a)に、RPT（再帰性投影技術）の原理を示し、図 11(b)と図 11(c)には、それぞれ、RPT 携帯型プロジェクタと RPT 頭部搭載型プロジェクタの外観を示す。


b	c

図11 (a) RPT の原理
(b) 携帯型 RPT プロジェクタ
(c) 頭部搭載型 RPT プロジェクタFig.11 (a) Principle of RPT.
(b) RPT handheld projector.
(c) RPT head-mounted projector.

代理移動ロボットの頭部は、再帰性反射材で覆われており、スクリーンとして利用される。遠隔参加者を撮影するために、TWISTER の外部に設けたレールに沿って移動するステレオカメラが利用される。ステレオカメラは、会場内の参加者と代理ロボットの相対的な位置関係と相似となるように制御される。それぞれのステレオカメラが、会場内の参加者に対応する（今回の実験では 2 台）。

TWISTER が回転すると、図 7 のように中が透けて見えるため、外部から中の遠隔参加者の映像が任意の方向から実時間で取得できる。会場内の参加者が動いても、その動きにあわせてカメラが移動するので、その動きに応じた映像が実時間で映し出される。

TWISTER の外周のステレオカメラが遠隔参加者の映像を外側から撮影してロボットに投影している最中にも、代理ロボットが、会場の 360 度の全方向のステレオ映像と、全方向音響を採取し、遠隔参加者は、TWISTER でその映像と音響を臨場的に見て聞くことができる。遠隔参加者の音声は、マイクロフォンで採取され、代理ロボットのスピーカーを用いて伝えられる。図12 に、実験における RPT 映像の例を示す。図12(a)は、実験における遠隔参加者、代理ロボット、会場内の二人の参加者の位置関係を示す。図 12(b)は、TWISTER から見た映像で、参加者 B が、携帯型 RPT プロジェクタ、参加者 C が、頭部搭載型 RPT プロジェクタをそれぞれ利用している。図12(c)が、参加者B から見た映像であり、図 12(d)が、参加者 C に見ている映像となる。この観測は、同時に行える。図 12(c)と図 12(d)で、黒いドットがロボットの 360 度カメラシステムであるVORTEX のカメラのレンズ部分である。図 12(c)と図 12(d)において、16 のカメラの位置の2 つと、遠隔参加者の目の位置が一致していることが分かる。これは、会場にいる参加者が、ロボットの目の高さから観察されていることを意味する。つまり、 face-to-face のコミュニケーションが、遠隔参加者との間で実現されていることを意味している。会場内のそれぞれの参加者が、遠隔参加者の目を見つめると、カメラが、その眼をとらえ、TWISTER 内の遠隔参加者も、その会場内参加者の目を見つめることになる、すなわちアイコンタクトが実現されている。

図12 遠隔参加者の映像の RPT ヘッドへの投影結果の例
(a) コックピット内の遠隔参加者 A と会場内の代理ロボット及び会場参加者 B、C の配置
(b) 遠隔参加者A がTWISTER 内で見る会場参加者 B とC
(c) 頭部搭載型RPT プロジェクタによる会場参加者B の見る遠隔参加者A の映像
(d) 携帯型RPT プロジェクタによる会場参加者C の見る遠隔参加者Aの映像

Fig.12 Experimental results for projection of remote participant on RPT head:
(a) remote and local arrangements;(b) local participants at venue;
(c) remote participant image from head-mounted projector;
and (d) remote participant image from handheld projector.

上記のように、イベントへの会場参加者が遠隔参加者の顔やその表情を実時間に見て取れ、しかも、単に顔が見えるだけではなく、遠隔参加者の正面にいる会場参加者は、遠隔参加者の正面顔をみるし、横にいる会場参加者は、遠隔参加者の横顔を見るように状況を実現した。これにより、遠隔参加者と会場内参加者の自然な face-to-face コミュニケーションが可能なことが実証された。つまり、会場内参加者が、遠隔参加者の存在感を感じられたといえる。

4.3 アームを有する代理移動ロボット

イベント会場など多くの人で混雑している会場を代理移動ロボットが自由に行ったり来たりするためには、回転半径が大きい操舵式の移動は不向きであり、その場回転も可能な全方向移動が必要となる。そこで、車輪型の全方向移動ロボットを設計し製作した。この移動ロボットは、二つの駆動輪と一つの受動輪を有する。二つの駆動輪は、それぞれモーターで駆動され、速度と操舵角を制御可能である。図 13 に、これらの配置を示す。ロボットの移動モデルを作成し、人が移動を指示すると、全方向移動するための車輪の制御を移動モデルから計算するソフトウェアを介して制御が行われる。製作した移動ロボットは、最大で時速 1。8km 程度での移動機能を達成できる。

図13 全方向移動の機構

Fig.13 Omnidirectional mobility mechanism.

直感性を重視し、ジョイステックにより人からの指示を行う。平面内の直進と回転が 3 軸のジョイステックにより指示され、移動モデルが、それに対応した、各車輪の速度と操舵角を計算し、それに基づき制御される。

代理ロボットに遠隔参加者の存在感を与えるためには、移動だけでなくロボットアームによる能動的な運動が必要である。アームを用いると、代理ロボットと会場参加者の間に接触が頻繁に生じるため、ロボットアームが安全でなければならない。TELESAE４システムでは、空気圧アーム[22]を利用して安全を確保した。このアームは、空気圧で駆動され、機械的なコンプライアンスを有しているため、イベント会場で人と握手したりする際に有効である。制御プログラムが誤動作した場合でも、空気圧のため人に危害を与える危険が少ない。このアームは 7 自由度で質量が 2.6kg であり、腕の長さは、上腕300mm、前腕 220mm である。

空気式ロボットアームのセンタに、直流電動モーターで駆動される5 本指のハンド[10]を有している。親指は3 自由度で、その他の 4 指は、1 自由度ずつ、指のアブダクションに 1 自由度、合計 8 自由度を有している。ハンドは、長さ 185mm、幅 100mm、厚み 35mm と、人間の手の標準的なサイズに作られていて、質量は 0.5kg である。モーターやギア、エンコーダーなどの機構は、すべてハンドの中に仕舞い込まれ、コード一本で機構の制御システムであるサーボアンプとコンピュータに繋がっている。

代理ロボットの移動とアームとハンドの操作を同時に行うために、遠隔参加者の左手でジョイステックを操作し、右手にデータグローブをはめてロボットハンドを制御し、右手の運動を、TWISTER 内に設置した OptiTrack で計測しロボットアームを制御する。図 14 に、空気圧ロボットアームと電動ハンドによりジェスチャーや握手をしてコミュニケーションを行う例を示す。


a	b

図14 (a) 握手 (b) ジェスチャー

Fig.14 (a) Handshake. (b) Gestures.

上記により、遠隔参加者は、その代理ロボットを用いて、イベント会場内を自由に動き回れるだけでなく、握手やジェスチャーといったマニピュレーション能力などの身体性を有していることが実証された。

図 15 に、総合的なデモンストレーション実験を示す。遠隔参加者が、TWISTER 内から代理ロボットを自分の分身として利用して、集会に参加し、その会場内を自由に移動し、携帯型のRPT プロジェクタか、頭部搭載型のRPT プロジェクタを使用する会場の参加者を見るだけではなく、広視野を確保しつつ、直接対面する場合と同様の距離感と大きさ感をもってコミュニケーションが行えた。会場参加者は、前方からは、遠隔参加者の前からの顔が実時間に見られ、同時に横からは横顔が同時に見える。遠隔参加者は、イベント会場に、自分が行って、会場内の他の参加者と対面しているような「臨場感」を持て、一方、会場の参加者は、遠隔参加者がロボットの中に入って会場へ来ているような「存在感」を覚えた。更に、遠隔参加者は、自分の気持ちを言葉だけでなくジェスチャーで表現したり、握手をしたりすることで伝えることができた。


a	b

図15 (a) TWISTER 内の遠隔参加者A から見た会場の様子
(b) 会場参加者と代理ロボット

Fig.15 (a) Remote participant virtually attending an event.
(b) Local participants and surrogate robot in the venue.

5.結論

パーティやミーティングあるいは集会などのイベントに、代理ロボットを用いて参加して、会場を自由に移動しつつ、そこに集う人たちと握手しジェスチャーを交えて語らうという機会を与える相互テレイグジスタンスの移動ロボットシステム TELESAR4 を提案した。 TELESAR4 は、没入型の視聴覚ディスプレイシステム、ロボットアームとハンドを有する全方向移動ロボット、ロボットに遠隔参加者の映像を投影する RPT 投影システムからなる。

TELESAR4 のプロトタイプシステムを構築し、実証実験を行い、このシステムにより、遠隔参加者が、会場内にいる参加者も含め会場の実寸大の 3D 映像を自分の周り 360 度に実時間にフルカラーで得られ、自分が直接会場にいるような「臨場感」を得ることが可能となった。

また、会場内を自由に移動し、会場に居る人に話しかけたり握手をしたり、ジェスチャーをつけてコミュニケーションしたり、アイコンタクトをすることが可能であった。また、会場に居る参加者は、遠隔参加者の顔の映像を実時間で任意の方向から見ることが可能であり、また、複数の人が同時に、例えば正面と横から、それぞれの遠隔参加者の正面顔と横顔を実時間で見られ、顔の表情が刻々と変化する様子も見て取れた。

会場の参加者が遠隔参加者とアイコンタクトすることも可能であり、かつ、遠隔参加者と握手ができ、遠隔参加者のジェスチャーや表情がリアルタイムに伝わるので、遠隔参加者がロボットの中に入って会場へ来ているような「存在感」を覚えた。

この論文で目標とした「臨場感」と「存在感」は、あくまでも、論文の第 1 章で目標に掲げた条件 1 と条件 3 を満足することによる「臨場感」と、条件 2 と条件 3 を満足することによる「存在感」であり、それらが上記のように本研究により達成できた。しかし、これらは実物と同等の理想的な「臨場感」と「存在感」には遥かに及ばない。理想に達するまでにも、その間のレベルとして、現在達成したよりもさらに高いレベルの「臨場感」と「存在感」がある。それらを明確に定義して、それらを実現する方法を提案し、その実証システムを構築して行くのが今後の研究課題である。

参考文献

[1] RealPresence, http://www.polycom.com/products/

[2] TiLR, http://robodynamics.com/products/

[3] VGo, http://www.vgocom.com/

[4] QB, https://www.anybots.com/

[5] P. Lincoln, G. Welch, A. Nashel, A. State, A. Ilie, and H. Fuchs: Animatronic Shader Lamps Avatars; Virtual Reality (Springer), special issue on Augmented Reality, pp. 1–14 (2010)

[6] S. Tachi, K. Tanie, K. Komoriya, and M. Kaneko: Tele-Existence (I): Design and Evaluation of a Visual Display with Sensation of Presence; In Proc. of the 5th Symposium on Theory and Practice of Robots and Manipulators (RoManSy ’84), pp. 245-254, Udine, Italy, (Published by Kogan Page, London) (1984)

[7] S.Tachi: Telexistence; World Scientific, ISBN-13 978-981-283-633-5 (2010)

[8] S. Tachi: Augmented Telexistence; Mixed Reality, pp. 251-260, Published by Springer-Verlag (1999)

[9] S. Tachi, N. Kawakami, M. Inami, and Y. Zaitsu: Mutual Telexistence System Using Retro-Reflective Projection Technology; International Journal of Humanoid Robotics, vol. 1, no. 1, pp. 45-64 (2004)

[10] S.Tachi, N. Kawakami, H. Nii, K. Watanabe, and K. Minamizawa: TELEsarPHONE: Mutual Telexistence Master-Slave Communication System Based on Retroreflective Projection Technology; SICE Journal of Control, Measurement, and System Integration, vol. 1, no. 5, pp. 1-10 (2008)

[11] 舘暲：臨場感と存在感；バーチャルリアリティ学， pp.196-200 ，日本バーチャルリアリティ学会発行， ISBN978-4-904490-05-1 (2011)

[12] 森政弘：「不気味の谷」； The uncanny valley (K. F. MacDorman & T. Minato, Trans.)『Energy』；7 巻，4 号，エッソスタンダード石油（株），33 - 35 頁 (1970)

[13] I. Sutherland: A Head-mounted Three Dimensional Display; In Proc. of Fall Joint Computer Conference, AFIPS Conf. Proc., vol. 33, pp. 757-764 (1968)

[14] C. Cruz-Neira, D. Dandin, and T. Defanty: Surround-screen Projection-based Virtual Reality; The Design and Implementation of the CAVE, In Proc. of SIGGRAPH ‘93, pp. 135-142 (1993)

[15] S. Tachi: TWISTER: Immersive Omnidirectional Autostereoscopic 3D Booth for Mutual Telexistence; In Proc. of ASIAGRAPH 2007, vol. 1, pp. 1-6 (2007)

[16] S. Tachi, T. Maeda, Y. Yanagida, M. Koyanagi, and H. Yokoyama: A Method of Mutual Tele-Existence in a Virtual Environment; In Proc. of the 6th International Conference on Artificial Reality and Tele-Existence (ICAT'96), pp. 9-18 (1996)

[17] 加藤伸明, 城堅誠, 南澤孝太, 新居英明, 川上直樹, 舘暲: 放射状カメラによる実時間全周囲立体映像撮像システム；日本バーチャルリアリティ学会論文誌, Vol. 13, No. 3, pp. 353-362 (2008)

[18] 河内まき子，横山一也，山下樹里，横井孝志，小木元，吉岡松太郎，渥美浩章，堀田明裕：設計のための人体寸法データ集；生命工学工業技術研究所編, 2 巻 1 号, ISSN 0919-5351 (1994)

[19] 人間生活工学研究センター：日本人の人体計測データ
— Japanese Body Size Data 1992–1994；社団法人人間生活工学研究センター (1997)

[20] H.P. Van Cott and R.G. Kinkade: Human Engineering Guide to Equipment Design; American Institutes for Research Washington, D.C. (1972)

[21] 土場健太郎, 南澤孝太, 新居英明, 川上直樹, 舘暲：TWISTER のための全周囲音響伝送システム；日本バーチャルリアリティ学会第 14 回大会論文抄録集, 2A3-2 (2009)

[22] 渡邊孝一, 川上直樹, 舘暲：６自由度ヘッド及び空圧アームを有するロボットを用いたマスタスレーブシステムの構築 -テレイグジスタンスの研究第 60 報-；日本バーチャルリアリティ学会第 14 回大会論文抄録集, 2A3-3 (2009)

>>Back