近年の画像解析技術は、機械学習の活用により目覚ましい進展を遂げ、新たなテクノロジーが次々と登場しています。 DensePoseもその一つで、本年6月にオープンソースとして公開されて以降、大きな注目を集めています。従来の姿勢推定技術が20～30個の関節座標を推定するのに対し、5,000以上で定義される人体の表面座標情報を推定するため、2Dの群衆動画から人体を識別し、細やかな曲線や複雑な動きを含めた3Dモデルを生成してテクスチャを貼り替えられることが特徴です。

イノラボでは、かねてよりVR/AR領域の研究開発を進めており、特に近年は、スマートフォンをかざしたりヘッドマウントディスプレイを装着したりせずに、自然な動きの中でARを体験できる仕組みの開発に取り組んでいます。この知見にDensePoseを組み合わせて新たなユーザー体験を創出し、誰もが手軽に楽しめる仕組みとして開発したのが「なりきりアート」です。開発にあたっては、DensePoseの仕様に合わせて簡単にテクスチャをマッピングする技術や、人の動きに応じてリアルタイムで画像変換処理を行うための高速化技術など、イノラボ独自の技術を適用しています。

DensePoseは非商用のオープンソースとして公開されているため、これを応用した実サービスはまだ登場していませんが、イノラボの研究成果として形にし、広く発信していくことで、一般の方が最先端テクノロジーに触れる機会を創出し、さらなる応用研究に向けたフィードバックを得ることを狙いとしています。

「なりきりアート」は、アートと教育をテーマに、先端テクノロジーを体感できるARシステムです。カメラの前に立つと、スクリーンに映った自分や仲間の動きに合わせて、ヒーローの衣装やユニフォーム、あるいは自分が描いたデザイン画などのテクスチャが身体にぴったり重なって表示され、誰でも手軽に「なりきり」体験を楽しむことができます。

Yahoo! JAPAN Hack Day 2018は、ヤフー株式会社が主催する日本最大規模のハッカソンイベントです。80組約300名のクリエイターが一堂に会し、アプリやIoTハードウエアなどを24時間で開発するハッカソンを中心に、エンターテインメントとテクノロジーを融合させたライブパフォーマンスや、様々なテクノロジー体感装置の展示が行われます。2日間でおよそ2万人の動員が見込まれています。