VTC19-Projects

はじめての開催、そして「VTuber技術特化・学生個人限定」という特殊なコンテストにもかかわらず、数多くの協賛企業やメディア、大学ゼミ等でご紹介いただき、また学生の皆様から数多くのご応募を頂き誠にありがとうございました。審査は基本的に(1)新規性、(2)技術力、(3)実現によるインパクトの3要素で素点をつけ、未完成ではあるが良質な提案には審査事務局より実現に向けたアドバイスや、参考にすべき先行事例、実際にどんな場面で使えそうか?といったレビューをリアルタイムで複数回フィードバックさせていただきました。エントリーが早かった方も、ギリギリだった方も等しく、学生ならではの挑戦・進化成長・本気さをプラス評価いたしました。最終選考作品の決定に際しては 「この業界に紹介すべき才能とは?」という視点に立ち返り、最終選考会でのプロフェッショナリズムの発揮とパフォーマンス視点を加えてノミネート作品を決定いたしました。

最終発表会 ノミネート作品

最終発表会におけるアバターによる口頭発表・質疑応答を予定しております

利用者調査から見た日本におけるVRChat利用のコミュニティと経済圏

新保正悟
早稲田大学社会科学部/VLEAP CEO
  • アバター社会

なぜVRChatは他のVRサービスと違い、これほどまでの熱狂的な人気を集めているのだろうか。形成された独自コミュニティと、Boothを中心とする3Dモデルの販売経済圏がその人気の要因であると仮定し、VRChatの利用実態と界隈のコミュニティやコミュニケーションの在り方、そして3DモデルやVR関連機器などの購買状況について調査した。

【公開済資料】
序論と研究手法について
VRChat利用者動向について
オープンコミュニティについて
クローズドコミュニティについて
経済圏について

【講評】本研究はオンラインコミュニティに対する地道なフィールド調査で、動的で主観的なメタバースの定性的・定量的な可視化に成功しているという意味で新規性や技術、インパクトは評価されるべきであろう。

鏡像を用いたアバター交流体験の提案

石井 泰誠
電気通信大学 Ⅰ類 4年
  • キャラクター表現技術
  • VTuber活動分野を広げる未来技術

鏡を模した設置型提示装置によるアバターとの近距離交流体験の提案。VTuberとファンである体験者が交流を行うリアルイベントに着目し、鏡を模したディスプレイに現実の体験者の姿と背景、アバターを鏡像として表示し体験者の認知空間上で近距離にアバターの存在を提示する提案。

【講評】大人たちのVTuber関連開発がHMDやスマートフォンでガチ恋距離を実装する挑戦をする中で、完全に装着物なしで多人数同時、かつちょっと自然なシチュエーションが作れるリアルイベント向けの体験アイディアはシンプルであるが秀逸。HapbeatとVRStudioLabが開発する「Haptic Minesweeper」とのコラボも可能性がある。

新しい力学センサの開発とセンサを使ったハンドトラッキングデバイスの提案

倉茂雄人 (公立はこだて未来大学システム情報科学部情報デザインコース)
  • モーション認識/自動生成
  • VTuber活動分野を広げる未来技術
  • ハードウェア

VTuber等で使用されるハンドトラッキングデバイスは現状、磁気やジャイロといったセンサやカメラを使用して手の形状や動きを取得する。本研究は、それらを解決するために、杉浦らが2012年に発表したMetaSkinをもとに、回路と外装の開発、使う伸縮素材の検討、ライブラリの開発を行い、一般的な機材や素材で、1センサあたり300円程度でセンサを作ることに成功している。

【既発表関連資料】
日本VR学会大会ACM VRST2019

【講評】ストッキングを使った先行研究を強い執着力で深め、最終的にインパクトのある価格帯と品質になるまでたった一人で錬成している。環境ノイズにも強い全身モーショントラッキングが可能であり、今後の発展も期待できる。地方在住学生であるハンディを超え、世界に挑戦する姿勢、アバター社会へ貢献のための熱量を感じる提案。

アバターファッションデザイン

劉卓(リュウタク) (デジタルハリウッド大学大学院デジタルコンテンツマネジメント学科)
Twitter@ralicre
  • キャラクター表現技術
  • バーチャルギフト
  • アバター社会
  • VTuber活動分野を広げる未来技術

バーチャルリアリティの普及における必然な未来として、衣装とファッションの発展が重要である。バーチャル世界は衣装の特異性、特に「現実世界での普段の衣装はバーチャル世界で直接使うとダサくなる」という仮説に基づき、バーチャル世界の衣装を現実世界の衣装と同じ重要性担うために「アバターファッションデザイン」を技術として提案する。

【講評】これはデザインなのか?ともすればVRoidというツールの上の塗り絵でもあり、パタンナーの仕事とも言えなくもない。テクノロジーというよりはテクニックなのではないか?しかし「イメージしたファッションにアバターを着せ替える最適な方法」として理解した場合、数多くの技術的課題が存在する。また現実経済の衣装においてもテーラーメイドで制作すれば十分なフィーが支払われるべき内容であり、将来的に共通化できるワークフローや技術で改善されるべき課題の種を十分な美術とともに描き出し、非常に短い期間でVTuber達に試着されている。VTuberに評価されたインパクトある提案として評価に値する。


Twitter
電光超人P@ralicre

Celebrity and Anonymity: Differences and similarities between Western and Japanese VTuber character identity formation (有名であること・匿名性:西洋と日本のVTuberキャラクターアイデンティティ形成の違いと類似点)

Liudmila Bredikhina (Masters Degree in Asian Studies at Geneva University)
  • Anthropology

This research explores virtual character formation, notion of self and self-presentation based on classic identity theories by Schegloff, Van Langenhove and Harré, Butler and cognitive science. It aims to introduce differences and similarities in virtual identity construction between Western and Japanese VTuber. Western and Japanese VTuber were asked to answer a survey designed to understand, from different perspectives, the thought process behind virtual identity construction.

この研究は、仮想キャラクターの形成、自己および自己提示の概念について、Schegloff、Van Langenhove、Harré、Butlerおよび認知科学による古典的アイデンティティ理論に基づいて調査します。欧米と日本のVTuber間の仮想アイデンティティ構築の違いと類似点を紹介することを目的として、欧米および日本のVTuberのアイデンティティ構築の背後にある思考プロセスを異なる視点から理解するために設計されたアンケート調査を実施しました。

【使用しているフォーム】ご協力ください

【講評】日本と欧米のアバターアイデンティティの差異と共通性に関する調査研究であるが、日本語、フランス語、英語で同時にメールやSNS、Googleフォームを介して展開している。現在の日本のVTuberムーブメントを人類学の切り口で描写した研究は価値が高いが、過去に初音ミクの研究などで述べられている見解と異なり、キャラクター設計のアイデンティティ決定のほとんどは、ユーザー自身が決定している点なども新しく、スイスからのリモート研究を通して提案者自身がVTuber/アバター社会に深く入り込んでいく様子が興味深い。

無意識的なアプローチを行うキャラクターエージェントの展示作品への誘導

松田康生 (大阪工業大学大学院 情報科学研究科)
  • キャラクター表現技術
  • アバター社会
  • エージェント社会

仮想空間内に美術品をデジタルアーカイブとして3Dで再現し、さらに景観や美術館を仮想空間内に作成しHMDを用いることで没入体験する試みが増えている。没入型ソーシャルプラットフォームで開催されているバーチャルマーケットの賑わいから今後も仮想空間内に3D作品を展示して没入観賞する試みは発展していくと思われる。しかし現実空間の美術館のようにガイドを雇って常駐させることは難しい。
 そこで仮想空間内をキャラクターエージェントを用いて来場者ユーザーを案内したい。Schmidtらの研究で仮想空間内でキャラクターエージェントと空間を共有することによりユーザーエクスペリエンスを向上させることができる可能性があることが示されている。だが、常にエージェントがユーザーに対して一方的にガイドを行ってしまえばユーザーはエージェントに煩わしさを感じ、観賞体験を低下させてしまう恐れがある。そこで来場者ユーザーの体験を阻害しないガイドが必要になる。
 吉田らの研究ではエージェントの顔向きや視線による同調心理や共同注意によってユーザーの行動を促していた。従来の顔向きや視線、音声や指さしによる誘導方法以外にアホ毛による誘導を提案する。アホ毛を用いることで野地らの研究のように表情を使わず感情を提示することができ、その感情を容易に読み解くことができる。また、アホ毛はどの角度からでも同様に確認することができる。しかしアホ毛を用いて人の視線や行動の誘導を行った事例は少ない。
 そこで本研究では無意識的なアプローチ注目し、従来的な顔向きや視線のほかにキャラクターのアホ毛による作品への誘導を目的とする。そして来場者がエージェントと共に美術館内で観賞体験を行い、エージェントからの無意識的なアプローチにより、来場者の観賞体験を阻害することなく、作品に誘導できないか検証する。
 美術館内を模した仮想空間を作成し、無意識的なアプローチを行うため、検証開始時や一定時間以上同じ作品を見ている場合等に誘導する作品の方向にアホ毛を向けて縦に揺らす等の機能をエージェントに実装する。
 将来的にキャラクターエージェントが人に対して煩わしさを感じさせずに誘導を行い、人とのコミュニケーションが可能になれば、エージェントは人の代わりにガイドやショップ店員のような働きができる。また、人とパートナー関係を結ぶ可能性も考えられる。

スタジオ会場リンクシステム

栢之間諒汰 (東京工業大学工学院情報通信系)
  • 番組データ分析
  • 演出技術

VTuberのライブ、リアルイベント向けのリアルタイム情報伝達システムです。 複数の遠隔会場における観客の反応(コールアンドレスポンスや歓声、野次)をスタジオの演者に低遅延で届け視覚化します。これにより、演者は各会場の雰囲気の確認、観客への返答が可能となります。また、演者へ観客の反応をフィードバックする裏で観客の反応を時間、会場ごとに集計し事後分析に活用することが可能です。
本システムはカメラを使わず、会場の音響、音声のみに基づき動作するため、観客に威圧感を与えることなく利用できます。

CLI/CUIでVTuberするためのASCII Artモデルの作成

岡本幸樹 (都立新宿山吹高等学校通信制課程)
  • 演出技術
  • アバター社会
  • Ascii art

文字通り”CLI/CUI上からVTuberをしたい”というプロジェクトの一環として作成中の「ASCII Artのモデルをlive2Dのように動かす」というものです。
ASCII文字でモデルを作り、それをLive2Dと同じような要領でパーツごとに分け、パラメーターに応じてそれぞれを動かすことでアニメーションさせます。
「映像・画像をASCII Artに変換」するプログラムや、「液体をシュミレートする」プログラム、また単独のASCII Artは前例がごまんとありますが、「live2dのように、モデルとして動かす」ものは自分が調べた所前例がありませんでした。そのため、新規性のある取り組みだと考えます。
技術的には、現状実装できている部分はさほど難しいことはしていません。しかし、今後必要となる「ASCII Artの変形・拡大縮小」は、未だ手段を考えているくらいには難易度が高いと考えています。
実現した際のインパクトについては、既存のVTuberさん達を支援するような取り組みではないためさほど高くないだろうと考えています。
しかし、昔からある分野でありつつ新しい表現技法・メディアアート的なものとして、表現の幅を広げることができると思っています。
2chやニコ動・YouTubeに一定数いるASCII Artを嗜む人、私のように新しく興味を持った人の表現を広げるツールとしてあっていいのではないかと思っています。

利用者のためのボイスチェンジャー

堀部貴紀 (明治大学先端メディアサイエンス学科)
  • ボイチェン系技術

本提案では、ボイスチェンジャーの利用範囲拡大を狙い、現在問題とされている収録環境や変換先の声との相性を可視化するシステムを構築する。
ボイスチェンジャーは現在注目されているコンテンツのひとつである。一般なボイスチェンジャーといえば、性別の変換や特定の誰かへの変換するものが想像つくだろう。また人気アニメ番組「名探偵コナン」のなかでは蝶ネクタイ型のボイスチェンジャーを使った事件の謎を究明するシーンを一度は見たことがあるだろう。さらに最近では人気番組のキャラクターになれるボイスチェンジャーが発売されるなど注目度は高く、今後期待されるコンテンツである。
しかし、様々な要因で満足のいく声質変換ができないことがある。1番の要因は収録時に混入する背景雑音が挙げられる。雑音が混入していないクリーンな音声であれば、うまく変換できるだろう。しかし携帯で配信をしている場合、発話者と収録端末との距離が離れていることや空調などの雑音を拾うことが変換に影響する。また収録者の声質となりたいタイプの声質の差が大きいとき、転声変換後のクオリティが低いことが問題となる。
今回はより高品質な変換音声を得るためのシステムを構築する。本提案では、収録音声から音声と背景雑音とのSN比を算出し、SN比があまりにも高く声質変換に不適切な環境であると判断したとき、収録環境を改善してもらえるようなアドバイスをしたい。例えば「もう少しマイクに近づいて話してみよう」や「周りの環境音が変換に影響しています」などである。収録環境の改善がなされるとさらに快適にボイスチェンジャーを楽しむことができるだろう。またWORLDでは収録された音声の基本周波数を調べることができる。基本周波数は人間の声の高さに対応しており、収録者の声に関する特徴を分析することができる。提案するボイスチェンジャーでは、収録者の平均基本周波数となりたいタイプの値の差をバーを表示する。この差によって転声適正を表示し、どのような声であれば相性が良いのか収録者に提案したい。そしてそれぞれのタイプに応じて、「もっと声を高くよう」や「抑揚をつけて話してみよう」など具体的なアドバイスをつけたい。このように環境改善と転声適正の2つの機能を加えることでよりボイスチェンジャーが使いやすくなると考える。
今後、ボイスチェンジャーを使ったボイスメッセージなど声にまつわるコンテンツが増えていくだろう。その際に送る相手になりきったメッセージや芸能人になりきることができるようになるだろう。またボイスチェンジャーを利用して声質変換することで、声に関する新しいアイデンティティを作ることができる。今回のシステムを元に、リアルタイム声質変換へと応用し、VTuberの配信支援を目指したい。

Vネットワーク(仮)

蓮沼雅之 (神奈川工科大学創造工学部ホームエレクトロニクス開発学科)
  • アバター社会
  • VTuber活動分野を広げる未来技術

3D、Live2DモデラーとVtuberになりたい人とのマッチングがより簡単になるVTuberのためのソーシャルプラットフォーム。
技術者はモデルを、魂側は配信機器を用意するだけでVtuberのプロデュース、Vtuberとしてのデビューが出来るアプリケーションを作る。
実現により絵師、モデラーと配信希望者の交流の増加、Vtuberの活動環境の改善、より手軽な配信環境の提供が望める。
モデル製作者がモデルをアップロードするとアプリケーション内で試運転、販売、配布、オーディションを行える。
Vtuberになりたい配信者はアップロードされたモデルの中から気になったものを選び製作者に向けたメッセージの送信やアバターの購入、オーディションへの参加、試着を行うことが出来る。
Vtuberのための配信支援機能としてWebカメラ、スマートフォンの内蔵カメラを使用したアプリケーション内での配信機能の他、録画機能と画面収録機能、外部配信機能を提供する。 1つのアプリケーション内での活動に留まらず、より広い活動が出来るようYoutube等大手動画配信サイトでの配信を支援することで多くの人に配信者とアプリケーションの存在を知ってもらう。

パーソナルキャプチャーシステム

三浦英介 (放送大学教養学部教養学科)
  • キャラクター表現技術
  • バーチャルギフト
  • アバター社会
  • VTuber活動分野を広げる未来技術

目標
3DCGのモーションとアニメーション作成の為、感覚的に操作が出来るコントローラを提供。 3DCG開発者だけでは無く、一般企業、学校、個人の利用を想定してコンテンツの充実と普及を目指す。
計画
ARマーカーとキャプチャー用のマーカーを開発する必要がある。プログラム開発は「Unity」を予定。
「パーソナルキャプチャーシステム」の機能は、大きく4点ある。
 ・モーションキャプチャーシステム  ・カメラコントロールシステム  ・リアルタイム出力  ・絵コンテ作成機能
・モーションキャプチャシステム
 人形にマーカーを取り付ける為に省スペースでの作業が可能。  人形による操作の為に俳優が演技する必要が無い。  カット毎にキーフレームを登録、モーションは自動補間。
・カメラコントロール
 3Dモデルデータを読み込み、ARマーカーを用いて表示させる。  ARで表示されたモデルをiPad等端末のカメラで撮影。  レンズは広角から望遠まで変更可能。  記録した3Dモデルとカメラの位置の座標データとカメラレンズ情報が保存。  3Dアプリケーションに読み込む事が出来る。
・リアルタイム出力
 リアルタイムモードでは、3Dモデルにモーションデータを読み込み。更に背景データやオブジェクトを配置する事が可能。その場で映像の記憶が出来る。またグリーンバック撮影で出力し、合成素材としての利用も可能。他にカメラエフェクトを利用する事で、超広角の魚眼レンズや超望遠でのボカシ効果が直感的に表現出来る。
・絵コンテ作成機能
 例えば紙をデジタルに取り込んで数字を書き直したとしても、数字が書き込まれた画像でしかないので、最終的に電卓を叩いて計算しなくてはいけない。絵コンテから簡単に時間尺を計算可能となり作業効率がアップする。

ギフト2.0(仮)

兒玉流生 (大阪工業大学機械工学科)
  • バーチャルギフト
  • アバター社会

ギフティング機能にもう少しアレンジを加えれればトップ層じゃないVライバーの引退数を減らせるのではないだろうか?
また、将来Vアバターが当たり前になった時、現在のような”ライバーとリスナー”という関係が変化するのではないだろうか?
ギフトランキング以外でもアプリで活躍できるような、フラットなVアバター同士でギフティングし合うような”ギフト2.0″を考え、社会実装を目指す。

マルチエンターテイナーだからこそできるVTuber表現

青木瑞季 (二松學舍大学国際政治経済学部国際政治経済学科)
  • VTuber活動分野を広げる未来技術

私、警戒ブロオドキャストCHERRYはマルチエンターテイナーである。
[自己紹介]
マルチエンターテイナーとは自身の活動内容が多いため勝手に作った肩書きである。
具体的には、音楽活動(楽器演奏、作詞作曲、即興、弾き語り)、創作活動(執筆、イラスト、漫画)、趣味活動(Disney、車、工具、大食い、Vroid、MMD)等をしているが、中の人は学生のため学業(語学、法学、政治、経済)とアルバイト(塾講師、GREEインターンやWFLE Studioでの装着・フロアサポート)をこなしたり、別人格として「mijuki*」というライブステージで歌唱するリアルアバターがいたりする。
雑ではあるが興味を持ったものに対し貪欲に挑戦し、スキルを増やしていく。その生き様、人生をもエンタメとして提供できればいい、と思い日々活動している。
ちなみに、両親の理解はない。
[活動紹介]
さて、今年一年の活動を紹介したい。
2018年12月20日 REALITY配信開始(VTuberデビュー)
・ピアノ弾き語り配信
・GREE VR Studio Labインターン
・転声こえうらない第1期調査
・WFLE Studio 装着・フロアサポート
・千葉大学出張講義
・VR学会出席
・CEDEC取材
・クラウドファンディング
・CD制作
・M3参加
[VTuberの活動を広げる技術]
REALITY使った弾き語りや構成、千葉大学付属小学校での実演、デジタルハリウッド大学院でのワークショップ等の事例を取り上げ、VTuberができる表現方法は Youtubeや動画、ライブだけではなく幅広い分野において実現することが可能であることを発表したい。

AR/VRデバイスを介した物理空間ユーザとメタバースユーザ同士の地球規模での相互コミュニケーション技術

リリスリリーホワイト (豊橋技術科学大学情報・知能工学専攻)
  • アバター社会
  • VTuber活動分野を広げる未来技術

近年、ソーシャルVRコンテンツの流行により、一般消費者がVR空間において物理空間とは異なる特性(外見、性格、役割など)を持ったアバタを利用してコミュニケーションをとる、いわばアバタ社会ともいうべき文化が隆起している。さらに、クリエイタ同士が互いの技術を見せ合う、あるいは新たな表現の場としてVR空間を利用しており、現実とは異なるレイヤで共創的かつ新生的な社会・経済圏が生まれつつある。一方、こうした活動はVR技術にリテラシの高いユーザに到達するのが主であり、活動内容自体の振る舞いもVR空間で執り行われているものであり、現実には波及しない。こういったアバタ社会での活動が現実での出来事にフィードバックすることができれば、メタバースの経済的利用やクリエイティビティのある活動をさらに拡充することが期待できる。
その手法として、本研究ではVR/ARデバイスを介したロケーションベースでのメタバースユーザと物理空間ユーザとが相互認識するシステムの開発を提案する。具体的には、メタバースユーザは現実を模した3D空間上で活動し、緯度経度情報をもとに現実ユーザが装着するARデバイスに可視化させる。一方で、現実ユーザ側もGPSおよびPDR技術を持って自身の位置情報をもとにVR空間上に自身の位置を可視化させる。すなわち、現実ユーザが特定の場所に行けば、その地点にいるVRユーザを認識できる、ということである。これにより、地球規模のデジタル空間上で異なるレイヤのユーザが相互認識することが可能となる。
これを利用することで例えば、メタバースユーザを一名観光ガイドとして雇い、案内してもらうことなどが可能である。そのほか、新たな娯楽表現の形として、例えばVtuberが巨大化してスカイツリーを破壊する配信をリアルタイムに行い、それを地上にいるARデバイスを持ったユーザが見上げるなどといったものが考えられる。将来的には、高齢者や引きこもりなど社会的・肉体的に労働力としての役割を担うことが困難な層にVRジョブという形で職を与えることが可能となり、社会的な問題を解決することが期待できる。

プレゼンス100%のARアバターライブシステム

堤海斗 (筑波大学情報学群情報科学類)
  • リアルタイムCG技術
  • キャラクター表現技術
  • モーション認識/自動生成
  • 5G/クラウド/通信活用技術
  • バーチャルギフト
  • 演出技術
  • アバター社会
  • VTuber活動分野を広げる未来技術

空間マッピングやオクルージョン、クラウドアンカー、触覚フィードバックなどの技術を使って、これまでのARライブでは実現できなかったような高度な存在感と手軽さを備えたアバター配信システムについての考察

LightField背景を用いたVTuberによる外ロケ

國見 樂 (法政大学情報科学部コンピュータ科学科)
  • リアルタイムCG技術
  • VTuber活動分野を広げる未来技術

LightFieldデータセットを背景に用いたVTuber撮影環境を提案する。LightFieldのピント位置が調節可能な特性を活かして、Unity上でDOFを自在に操作しながら、VTuberのモデルを合成する。背景撮影とモデル合成を異なるタイミングで行うことが出来る。実写背景でのVTuberの撮影手法の一つとして提案する。
実装としては、既存環境への導入を簡単にするためUnityで扱えるようにしたい。

最終選考の日程や出場条件については、 個別にご連絡させていただきます。 当日のタイムスケジュール等詳細はこちら。

その他ご応募いただいた作品

作品名が入ります。作品名が入ります。作品名が入ります。

名前名前 (学校名等が入ります)
  • キャラクター表現技術
  • バーチャルギフト
  • アバター社会
  • VTuber活動分野を広げる未来技術

ここに概要が入ります。ここに概要が入ります。ここに概要が入ります。ここに概要が入ります。ここに概要が入ります。ここに概要が入ります。ここに概要が入ります。ここに概要が入ります。

たくさんのご応募ありがとうございました。 最終発表会でお会いできることを楽しみにしています。