大阪大学大学院情報科学研究科の伊藤雄一招へい准教授らの研究グループは、鏡面状平板表面の温度分布を制御することにより、結露をピクセルとして用いて情報を提示するディスプレイ（Ketsuro-Graffiti）を開発しました （図1） 。このディスプレイを用いることにより、仮想空間に存在する情報を、人の存在する現実空間に結露として生成することができ、情報に直接触れて感じることが可能となります。環境条件から求められる露点とディスプレイ表面の温度差を制御することにより、結露の生成と消滅を制御するだけでなく、その階調値（濃淡）を制御することが可能です。被験者実験により、9段階の濃淡を表現可能であることがわかりました。また、人が触れた際の温度変化をセンシングすることにより、ディスプレイ表面へのタッチを検出することが可能です。人が近づいて触れたくなるデジタルサイネージや、環境に溶け込んで情報を提示するアンビエントなディスプレイとしての応用が期待されます。

本研究成果は、2016年9月30日発行の日本バーチャルリアリティ学会論文誌VOL.21 NO.3に掲載されました。さらに、11月6日からカナダで開催された、インタラクティブなサーフェス/空間インタフェースに関する国際会議ISS 2016（Interactive Surfaces and Spaces）に採択され、口頭発表を行いました。

開発したディスプレイについて説明した動画を以下のURLからご覧いただくことができます。
https://youtu.be/uAL2uqbn44E

図1　開発したディスプレイ Ketsuro-Graffiti

マルチタッチディスプレイを用いることにより、直感的な方法で操作可能なインタフェースに関する研究が発展しており、スマートフォンやタブレットなどのデバイスは一般的なものとなっています。しかし、これらのインタフェースは表面がガラスなどの平面であるものがほとんどであり、人と情報のインタラクションは平面によって隔絶されているため、提示されている情報そのものに触れている感覚をユーザが得ることは難しいという問題があります。これに対し、ディスプレイ表面の三次元的な形状を制御することや、実体を有する素材をピクセルとして用いる、さらに3Dプリンタによってコンピュータ内の情報を現実世界に印刷するなど、情報を視覚的に提示するだけでなく、質感や凹凸を加えて直感的な理解を促す研究が発展しつつあります。

結露は洗面所や玄関、車窓など我々の身の回りに存在し、身近なキャンバスの1つであると考えられ、結露を用いて情報提示を行うことにより、人は普段結露に対して行う方法を用いて情報とインタラクションすることができると考えられます。例えば、指で拭うことにより情報を消すことや、息を吐きかけて再び情報を発生させるなどのインタラクションが可能になります。伊藤招へい准教授らのグループは、情報提示のための手法として結露に着目し、結露を用いたインタラクティブディスプレイ（Ketsuro-Graffiti）を開発しました。

今回の研究では、結露の生成、消滅および濃淡を自由に制御するために必要な技術や、ディスプレイ表面へのタッチを検出する手法について検討し、結露生成機構の実装と性能評価を行いました。

結露は、空気中の水蒸気が低温の物質により冷却され、凝縮した水が物体に付着することにより生成します。水蒸気が凝縮するときの温度を露点といい、室内の温度・湿度から近似的に求められます。室内の露点よりも物体表面の温度が高いか低いかを制御することにより、物質表面への結露の生成・消滅を自由に制御できると考えられます。また、露点とどの程度の温度差をつけるか制御することにより、凝縮する水蒸気量を制御することができ、生成する結露の濃淡を制御することが可能となります。さらに、体温よりも低温の物体に人が手指で触れると、手指から物体に熱が移動し、物体の温度が上昇します。このときの物体の温度変化を検出することにより、物体への手指のタッチを検出することができます。

今回の研究では、開ループ制御 により温度を制御するディスプレイ（10×10ピクセル、 図1 ）と、閉ループ制御 により温度を制御するディスプレイ（2×2ピクセル）を実装しました。システムの構成を 図2 に示します。ディスプレイ面の素材には塩ビ板ミラー、冷却素子にはペルチェ素子 を用いました。閉ループ制御を用いたディスプレイでは、各ピクセルに温度センサを配しており、ディスプレイ表面の温度変化をセンシングしてユーザのタッチを検出することが可能です。ディスプレイに表示する結露のパターンは、PCのアプリケーションでお絵描きのように操作することが可能です。

濃淡制御の性能評価のために、凝縮した水蒸気量とディスプレイ表面の鏡面光沢度の関係を調べる実験を行いました。結露が濃くなるに従い、水滴により光が拡散反射し鏡面光沢度が減少すると考えられ、鏡面光沢度の測定により視覚的な濃淡を定量的に評価できると考えたためです。実験の結果、 図3 に示すように、温度を低くして凝縮する水蒸気を増加させるのに従い、光沢度が減少することがわかりました。このことから、開発した機構により温度を制御することにより結露の視覚的な濃淡を制御可能であることが示唆されました。さらに、人が何段階で結露の濃淡を知覚できるか評価するための被験者実験を実施した結果、提示した10段階の濃淡の内9段階の濃淡に有意な差があることがわかりました。つまり、開発したディスプレイにより、有意に差のある9段階の濃淡の結露を制御できることがわかりました。

図2　システム構成

図3　凝縮する水蒸気量とディスプレイ表面の光沢度の関係
水蒸気量の増加に伴い光沢度が増加している。温度を制御して水蒸気量を制御することにより視覚的な濃淡を制御できることを示唆。

開発したディスプレイにより、結露のもつ特性を用いた様々な応用が期待されます。例えば、窓や鏡などに発生した結露に指で落書きをするという行為は一般的なものであり、誰もが一度は経験したことがあると思われます。触れたくなるという結露の特性を用いることにより、人が近づいて触れたくなるデジタルサイネージに応用することができます。また、身近に存在する鏡などに情報を提示可能であるため、環境に溶け込んで情報を提示するアンビエントなディスプレイとしての応用が期待されます。さらに、結露が発生した箇所をスクリーン、発生していない箇所を鏡として用いることにより、実際の鏡を用いたAR試着システムを実現することが可能となります。既存の大型ディスプレイによるシステムよりも、より現実の試着に近い体験を提供することができると考えられます。

本研究成果は、2016年9月30日発行の日本バーチャルリアリティ学会論文誌VOL.21 NO.3に掲載されました。
タイトル： “Ketsuro-Graffiti: 結露を用いたインタラクティブディスプレイ”
著者： 辻本祐輝、伊藤雄一、尾上孝雄
URL： http://www.vrsj.org/transaction/archive/

さらに、11月6日からカナダで開催された、インタラクティブなサーフェス/空間インタフェースに関する国際会議ISS 2016（Interactive Surfaces and Spaces）に採択され、口頭発表を行いました。
タイトル： “Ketsuro-Graffiti: an Interactive Display with Water Condensation”
著者： Yuki Tsujimoto, Yuichi Itoh, Takao Onoye
URL： http://iss2016.acm.org/