Mood Analyzer

Mood Analyzer は音楽の感情的な特徴を分類し、それに合った Chroma ライティングを駆動します。ゲームプレイではなく音楽鑑賞を想定しており、Screen Sync とは排他的です。

ほとんどのタイトルではこれがトリガーされることはありません。ここで説明しているのは、これがゲームプレイ外でプレイヤーのシステムが切り替わるライティング経路だからです。

処理パイプライン

システムオーディオ出力は、およそ50 ms ごとに短いチャンク単位でキャプチャされ、2 つのモデルを順に通過します。

1. YAMNet が、存在する音の種類を識別します。
2. ムード分類器 がムードラベルを生成します。

強度も測定されるため、ライティングは瞬間の強さに比例して応答できます。

ムードラベル

分類器は 23 種類のラベルのうち 1 つを生成します。

Amusing        Annoying       Awe-inspiring  Beautiful
Bittersweet    Cheerful       Compassionate  Defiant
Dreamy         Eerie          Energizing     Entrancing
Erotic         Exciting       Heroic         Proud
Romantic       Sad            Scary          Serene
Tender         Tense          Transcendent

フィルタリングと集約

挙動	詳細
非音楽の除外	音声、無音、およびその他の特定のクラスは除外されます。音声中心のコンテンツは、仕様上ほとんどまたはまったく反応しません。
集約	予測は 2 秒間のウィンドウにわたって収集され、そのウィンドウで優勢だったムードが出力されます。
クラスの重み付け	結果が多様に保たれるよう、特定のムードは内部的に増強または抑制されます。

選択されたムードはイベントとして Chroma/WYVRN SDK に出力され、それに対応するライティングエフェクトが再生されます。

無音のライフサイクル

状態	挙動
オーディオ再生中	ムードが出力され、ライティングが応答する
オーディオが無音になる	STOP が即座に送信され、ライティングの応答が停止する
20 秒間無音	Chroma/WYVRN SDK が完全に解放される
オーディオが戻る	SDK が再初期化され、最初のムードが即座に出力される

20 秒間連続して無音が続くと、Mood Analyzer は Chroma SDK を解放してリソースを解放し、ライティングの制御を返します。そして Chroma アプリケーションのリストからエントリが消えます。オーディオが戻ると SDK が再初期化され、2 秒間の集約ウィンドウ全体を待つことなく最初のムードが出力されます。

音量が非常に低いパッセージは無音として認識され、この経路をトリガーする場合があります。

次へ

• Screen Sync: ゲームと動画向けのライティング経路
• Performance: デバイスの選択と実測コスト