ゲーム実況モード設定

概要

ゲーム実況モードは、AIキャラクターがリアルタイムでゲーム実況を行う機能です。画面を定期的にキャプチャし、マルチモーダルAIモデルにスクリーンショットを送信して、感情付きの実況コメントを生成します。YouTubeライブ配信と組み合わせることで、視聴者とインタラクションしながらゲーム実況を行うことも可能です。

TIP

ゲーム実況モードを使用するには、マルチモーダル対応（画像認識機能付き）のAIモデルを設定する必要があります。

ゲーム実況モード

ゲーム実況モードの有効/無効を切り替えます。有効にすると、メインページにゲームコントローラーボタンが表示されます。

排他制御

ゲーム実況モードは以下の機能と排他制御されています。ゲーム実況モードを有効にすると、これらの機能は自動的に無効になります。

• アイドルモード
• 人感検知
• リアルタイムAPI
• オーディオモード
• 外部連携モード
• スライドモード

なお、YouTubeモードとは排他ではなく、同時に利用できます。

環境変数:

# ゲーム実況モードの有効/無効（true/false）
NEXT_PUBLIC_GAME_COMMENTARY_ENABLED="false"

使い方

1. 設定画面でゲーム実況モードを有効にします
2. メインページにゲームコントローラーボタンが表示されます
3. ボタンをクリックすると実況が開始されます（画面キャプチャが自動的に始まります）
4. AIが画面をキャプチャ → 実況コメントを生成 → 音声で読み上げ → 待機 → 繰り返し
5. もう一度ボタンをクリックすると実況が停止します

通常チャットとの優先関係

ゲーム実況中にユーザーが通常チャットを送信した場合、通常チャットが優先されます。実況コメントの生成中や発話中であれば実況を中断し、チャット応答の処理が終わってから次の実況タイマーを再開します。

YouTube連携を併用している場合も、チャットログに保存された視聴者コメントやAI応答が次回の実況生成時の文脈として参照されます。実況コメント自体をチャットログに残すかどうかは「チャットログへの保存」で切り替えられます。

キャプチャ間隔

画面キャプチャの間隔を秒単位で設定します（0〜20秒）。前回の実況コメントの生成・読み上げが完了してから次のキャプチャまでの待機時間です。0秒に設定すると発話完了後すぐに次のキャプチャが行われます。完了ベースのsetTimeoutで制御されているため、生成や発話の処理中に次のキャプチャが重複することはありません。

環境変数:

# キャプチャ間隔（秒）
NEXT_PUBLIC_GAME_COMMENTARY_CAPTURE_INTERVAL="5"

参照コンテキスト数

実況コメント生成時に参照する過去の実況コメント数を設定します（0〜20）。過去のコメントをコンテキストとして含めることで、同じ内容の繰り返しを防ぎ、より自然な実況を実現します。実況履歴はチャットログとは別のリングバッファで管理されます。

0 に設定すると履歴参照を無効化し、毎回独立した実況を生成します（リングバッファへの追加もスキップされます）。

情景描写による画面状況の記憶

各キャプチャ時、AIは実況セリフとは別に情景描写（画面の客観的な状況記述）を生成します。情景描写は発話されず、裏でリングバッファに保存されます。次回以降のキャプチャ時に、過去の情景描写がコンテキストとしてAIに渡されるため、以下のような実況が可能になります。

• 「さっきよりHPが減ってるぞ！」のような画面変化の比較
• 「あのボスがまた出てきた！」のような過去イベントの参照
• 草原→洞窟→ボス部屋のようなゲーム進行の流れの把握

参照コンテキスト数の設定は、保持する情景描写の件数にも適用されます。例えばデフォルトの5に設定した場合、直近5回分の情景描写と実況セリフのペアが次回のAI呼び出し時にコンテキストとして渡されます。

API費用への影響

情景描写は実況セリフと同じAPI呼び出し内で生成されるため、追加のAPI呼び出しは発生しません。出力トークンが若干増加しますが、費用への影響は軽微です。ただし、参照コンテキスト数を増やすと入力トークンが増えるため、コストと実況品質のバランスを考慮して設定してください。

環境変数:

# 参照コンテキスト数
NEXT_PUBLIC_GAME_COMMENTARY_CONTEXT_COUNT="5"

プロンプトテンプレート

実況コメント生成に使用するプロンプトテンプレートをカスタマイズできます。テンプレートを空にするとデフォルトのプロンプトが使用されます。

環境変数:

# 実況プロンプトテンプレート
NEXT_PUBLIC_GAME_COMMENTARY_PROMPT_TEMPLATE=""

画像品質

キャプチャ画像のJPEG品質を設定します（0.3〜1.0）。値が低いほどファイルサイズが小さくなり、API呼び出しのコストを抑えられますが、画質が低下します。

環境変数:

# キャプチャ画像品質（0.3-1.0）
NEXT_PUBLIC_GAME_COMMENTARY_IMAGE_QUALITY="0.7"

リサイズ幅

キャプチャ画像のリサイズ幅をピクセル単位で設定します。0を指定するとリサイズなしになります。画像を小さくすることでAPI呼び出しのコストを抑えられます。

環境変数:

# リサイズ幅（px、0=リサイズなし）
NEXT_PUBLIC_GAME_COMMENTARY_RESIZE_WIDTH="1024"

チャットログへの保存

実況コメントをチャットログに保存するかどうかを設定します。有効にすると、実況コメントが [実況] プレフィックス付きでチャットログに保存されます。これにより、YouTube連携やMastraワークフローなど、チャットログを参照する他の機能とコンテキストを共有できます。

環境変数:

# チャットログへの保存（true/false）
NEXT_PUBLIC_GAME_COMMENTARY_SAVE_TO_CHAT="true"

映像遅延

画面共有の映像表示を指定秒数だけ遅延させます（0〜10秒）。AIの実況生成にかかる時間を補正し、音声と映像のタイミングを合わせる用途で利用します。0 で無効です。

遅延の対象

映像遅延はプレビュー表示にのみ適用されます。AIに送信されるキャプチャ画像は常にリアルタイムで取得されるため、実況の生成が遅くなることはありません。

環境変数:

# 映像遅延（秒、0=無効）
NEXT_PUBLIC_GAME_COMMENTARY_VIDEO_DELAY="0"

発話中の補助画像解析

実況の発話中にも低頻度で画面を解析し、次回の実況生成に補助情報として渡す機能です。有効にすると、長時間続く発話中にも画面の変化を取りこぼさず、場面の流れを補強した実況が可能になります。

API利用料について

補助画像解析は通常の実況生成とは別のAPI呼び出しで実行されるため、マルチモーダルAPIの追加利用料が発生します。高速かつ安価な画像解析モデルを使う場合のみ有効化を推奨します。

補助画像解析プロンプト

発話中の補助画像解析で使うシステムプロンプトです。ゲームのジャンルや見るべき要素をここで指定できます。どのゲームか分かる情報も含めると解析結果が安定します。プロンプトを空にするとデフォルトのプロンプトが使用されます。

補助画像解析の間隔

発話中の補助画像解析を何秒ごとに実行するかを設定します（1〜10秒）。短いほど場面追従は良くなりますが、API利用料は増えます。

環境変数:

# 発話中の補助画像解析の有効/無効（true/false）
NEXT_PUBLIC_GAME_COMMENTARY_BACKGROUND_ANALYSIS_ENABLED="false"

# 補助画像解析プロンプトテンプレート
NEXT_PUBLIC_GAME_COMMENTARY_BACKGROUND_ANALYSIS_PROMPT_TEMPLATE=""

# 補助画像解析の間隔（秒）
NEXT_PUBLIC_GAME_COMMENTARY_BACKGROUND_ANALYSIS_INTERVAL="2"