会話映像から話者を自動検出する

複数人が同時に映る会話映像から、マイクなしに誰が話しているかをリアルタイムで判定できるか。人物追跡と口元の動作解析を組み合わせ、グループインタビューや議事録自動生成への応用を見据えた発話話者検出システムの開発に取り組みました。映像だけで「誰が話しているか」を正確に推定できれば、分析の幅は大きく広がります。

グループ会話における話者を正確に検出するためのアルゴリズム基盤を構築した事例です。本プロジェクトでは、顔特徴点追跡と口の開閉検知ディープラーニングモデルを統合し、映像内の発話者を自動的に推定する仕組みをオルチェが開発しました。

会話データを解析する際、「誰が話しているか」という情報は重要な要素です。特に複数人が同時に存在する環境では、発話者情報を安定的に取得できる仕組みがあることで、後続の解析や応用の幅が大きく広がります。

人物追跡と発話検知を分離し、それぞれを高精度化したうえで統合する二段構造のアルゴリズムを設計しました。顔の追跡によって人物ごとの位置・動きを安定的に取得し、口の開閉検知モデルによって発話瞬間を推定する構造です。

本プロジェクトにより、人物追跡処理系・口元動作検知モデル・統合型話者推定アルゴリズムからなる話者検出基盤を構築しました。映像ベースで発話者を推定するための技術土台を整備しました。

本基盤は、会話映像を扱う多様な研究・実務プロジェクトで再利用可能な汎用技術です。オルチェが提供する話者検出基盤は、会議記録・映像コンテンツ解析・ヘルスケア分野での会話支援など、幅広い応用への入口となります。

心理尺度はアンケートが語る「言葉の地図」、行動データはセンサが語る「動きの地図」。この2つの地図は、同じ人物を別の言語で描いているにもかかわらず、研究ではしばしば別々に扱われてきました。オルチェは、両者を同じ座標系で接続し、心理状態と実際の振る舞いのあいだにある関係を統合的に読み解くための枠組みを構築しています。
人の関係性や感情は、単純な数字では表しきれません。オルチェは、心理と行動のあいだにある構造を、丁寧に読み解く研究をめざしています。