これまでの成果

[プロジェクト期間 2018-2023]

空中超音波による触覚提示は 2008 年ごろから始まりました。超音波の放射圧は比較的小さなものではありますが、その強弱を 100 Hz 程度で変化させると触覚を感じ取ることができます。ですがそこで生じる感覚は特殊な振動感覚に限定され、幅広い触感の再現は困難でした。例えば物体を把持しているときに感じる定常的な力の感覚、すなわち圧覚は触感を構成する主要触感要素です。しかしその閾値は振動成分よりも高く、現実的な超音波放射圧では感じることができませんでした。
しかしこのプロジェクトの森崎らの研究によって、皮膚上の時空間パターンを適切に制御すればそのような圧覚も再現できることが明らかになりました。この発見よって、超音波によっても物体表面の多様な触感が再現できることがはじめて実証されました。

人間の指の動きをセンシングしながらVR物体を把持した感覚を再現できるか、というのは早い時期から空中ハプティクスの関心の一つでした。しかしこれまでは刺激が弱く、また触感も特殊な振動感に限定されていたため「実体感」を感じることはできませんでした。このプロジェクトでは、松林らの触覚レンダリングアルゴリズムにより、VR物体の実体感を感じ取ることができることをはじめて実証しました。また人間の知覚特性を利用し、指先だけでなく、手のひらの広い面積に接触感を提示する技術を確立し、空中映像と弱い力で握手する感覚も再現することができました。

これらの基礎研究は、多数のフェーズドアレイを結合して取り囲んだ装置で行われています。このようなマルチフェーズドアレイによって遮蔽や接触角度によらず安定に皮膚を刺激できます。これらの開発環境は鈴木（颯）らによって管理され、オープンソースとして github で公開されています。

＊上記の成果と論文の情報は空中ハプティクスのページにまとめられています。

実体化映像のもう一つの主要コンポーネントは言うまでもなく３次元映像の再現技術です。本プロジェクトでは、筑波大学 掛谷英紀 らのグループが裸眼での立体映像技術を担当し、開発を推進しています。輻湊調整矛盾がなく、高解像度かつ自然な立体再現が可能な技術を開発し、実体化映像の実証実験の中ですでに活用されています。複数視点から同時に立体像を観察できる立体ディスプレイの開発にも成功しています。

実体化映像を成立させる第３の要素が、それらの感覚情報を生み出すAI、そのコアとなる機械学習の技術です。この部分については東京大学 杉山 将 らのグループが担当し、開発を進めています。機械学習は実体化映像の動作や感覚刺激を生成するだけでなく、その前提となるセンシングや、人間の反応についての評価など、様々な目的で活用することができます。例えば実体化映像の触覚が人間のメンタルに及ぼす影響などは、心理物理実験での定量化が難しい問題の一つでした。これに対して本プロジェクトでは、確信のあるものと曖昧なものとが混在している回答から感覚の全体像を推定するアルゴリズムを具体的に提案しています。また、デザイナーが抱いたイメージを触覚刺激として具体化するデザインツールも提案しています。

実体化映像の解説論文　　

Hiroyuki Shinoda, “Creation of Realistic Haptic Experiences for Materialized Graphics,” AsiaHaptics 2022, Nov. 12-14, Beijing, 2022.