研究の問い / 技術の機能 Question
コミュニケーションの質や人間関係の深さは、これまで主観的な印象でしか語れませんでした。表情・視線・骨格・音声・会話量など多様な指標をAIで同時解析することで、「関係性の良さ」を客観データとして可視化できるかを探索したプロジェクトです。「人と人のあいだ」を数値として扱う研究基盤の構築を目指しました。
マルチモーダル計測とは
マルチモーダル行動解析とは、映像・音声・姿勢など複数センサーのデータを同時に取得・統合し、コミュニケーションの質や感情の動きを構造的に可視化する技術です。単一指標では捉えられない関係性の変化を多角的に定量化します。
プロジェクト概要 Project Overview
ヒトとヒトとのコミュニケーションを、多視点・多センサー計測によって定量的に可視化できるかを検証した事例です。行動・音声・表情など複数のデータを同時取得し、コミュニケーションの質や関係性の深まりを指標として抽出できるかをオルチェが検証しました。
-
目的
-
マルチモーダル計測でコミュニケーションの質を構造的に可視化できるか検証する
-
計測手法
-
マルチアングル映像・音声・骨格姿勢・AI解析の統合
-
使用機器
-
一眼レフ4台・PTZカメラ3台・GoPro・iPhone・RealSense・複数マイク
-
抽出指標
-
表情強度・視線・骨格姿勢・音声ピッチ・会話量・笑顔出現割合・見つめ合い頻度 など
背景・課題 Background
コミュニケーションの質や関係性の深まりは、印象や主観的評価に依存することが多く、客観的に測定する手法は限られています。単一カメラや単一指標では捉えられない、人と人の間の微妙な変化を定量的に扱うことへのニーズが高まっていました。
-
01
コミュニケーションの良し悪しは印象に頼られることが多く、客観的な評価手段が求められていました。
-
02
単一指標の限界
表情だけ・音声だけでは捉えきれない関係性の変化を、マルチモーダルな視点で統合的に評価する必要がありました。
-
03
大規模同時計測の難しさ
複数機器の同期・データ統合・リアルタイムモニタリングを実現する計測基盤の設計が課題でした。
アプローチ Approach
体験シーンにおいて、行動・音声・表情を同時に取得する多方向・多機能センサー環境を構築しました。複数カメラ・音声機器・処理機器を用い、コミュニケーションの様子を立体的に記録し、そのデータをAI解析により多層的な指標へ変換する設計としました。
見出しサンプル
-
撮影機器(10台以上) Camera Setup
- 一眼レフカメラ(4台)
- 高画質 PTZ カメラ(3台)
- GoPro・iPhone・3D 深度カメラ(RealSense)
多角的な映像取得により、表情・動作・視線を立体的に記録します。
approach-camera-setup.png -
音声収録機器 Audio Equipment
- 一眼用マイク・指向性マイク・ピンマイク
- 音声ミキサー(M-Audio、AudioTechnica)
複数音源を統合し、声の抑揚や感情推定に対応した音声データを取得します。
approach-audio-equipment.png -
データ処理環境 Processing Environment
- Mac(3台)・Surface(2台)
- 外付け SSD(4TB)
リアルタイムモニタリングと安全なデータ保存を実現する処理環境を構築しました。
approach-processing-env.png
見出しサンプル
-
抽出指標一覧 Extracted Metrics
- 顔位置検出・表情強度(ポジティブ・ネガティブ・活性度)
- 目の開き・顔角度(Yaw/Pitch/Roll)・視線方向
- 骨格姿勢推定・身体の向き
- 音声認識・ピッチ解析
- 会話量・笑顔出現割合・名前を呼ぶ回数・見つめ合い頻度・取り組み時間
行動・表情・音声を統合した多層的な指標群により、関係性の質を多角的に評価します。
approach-extracted-metrics.png
得られた知見・成果 Results
複数指標を統合することで、コミュニケーションの質や関係性の深まりを定量的に扱える可能性が示されました。笑顔・褒め言葉・視線・身体の向きなどの指標と、満足度や感情表現の強度との関連性を確認しました。
-
01
笑顔と自発性の関連を確認
笑顔や褒め言葉の頻度と参加者の自発性・満足度との関連性が定量的に確認されました。
-
02
視線・姿勢と感情表現の相関
視線が合うタイミングや身体の向きと感情表現強度との間に構造的な関係が見られました。
-
03
音声・行動指標で関係性を推定
取り組み時間や声の高さなど複数指標から、関係性の良好度を推定できる可能性が示されました。
位置付け・展望 Position & Outlook
見出しサンプル
本事例は、マルチアングル・マルチモーダル計測により、コミュニケーションの質を構造的に可視化できるかを検証したプロジェクトです。オルチェが構築した計測基盤は、教育・商品体験・子育て支援・ウェルビーイング研究など多岐にわたる分野での応用が期待されます。
- 教育・指導場面における関係性評価
- 商品体験・サービス体験の品質向上
- ウェルビーイング・子育て支援の設計高度化
- 感情・行動変化の定量モニタリング
見出しサンプル
体調や疲労、栄養状態など、身体のコンディションは多くの場合、採血や生理計測を通じて評価されてきました。しかし顔には、それらと連動する微かな変化が常に現れ続けています。オルチェは、負担の少ないカメラ計測を起点に、顔画像から身体の状態を推定する可能性を探っています。日々の健康観察に、あたらしい入り口をつくること。その挑戦を続けています。
体の状態は、顔にもあらわれます。オルチェは、そうした小さなサインを手がかりに、ヒトの状態を無理なく読み取る方法をめざしています。