UE5の音声リップシンクプラグイン

LAM Audio2Expressionは、Unreal Engine 5（UE5）で音声から口の動きと表情を生成するリップシンクプラグインです。PC内で解析したARKit 52カーブやVisemeの重みを、BlueprintとAnimGraphでキャラクターへ適用します。

01 INPUT音声SoundWave / マイク / PCM

02 INFERENCEPC内で推論DirectML / CPU

03 EXPRESSIONARKit 52Blueprint / AnimGraph

プラグインを導入する · Windowsデモを試す · Blueprintの接続を見る

UE5でリップシンクを始める

そのまま使える配布版はUE 5.8.2／Windows x64向けです。UEへインポート済みのSoundWaveと、ARKit 52・5母音・Oculus互換のMorph Target、または表情カーブで動くリグを用意します。実行時にPythonや外部推論サービスは不要です。他のUE版は再ビルドが必要で、公開済みの検証対象には含まれません。

1. モデル入りプラグインを導入し、プロジェクトで有効にします。動作を先に見たい場合はWindowsデモを利用できます。
2. Blueprintで音声解析と再生を接続します。解析完了時に得られるClipで音声と表情を同期再生します。
3. ARKit表情カーブまたはVisemeを設定し、AnimGraphで適用します。出力先の名前や設定をキャラクターのリグに合わせてください。

やりたいこと	次に読むガイド
収録済みの台詞を繰り返し使う	SoundWaveの事前解析で保存し、先読みして実行時の推論なしで再生
マイク・外部PCMで口を動かす	ライブ入力の設定で更新間隔・提示遅延・検証範囲を確認
一時停止・シーク・音量・3D音声を制御する	再生制御とイベント
使用する音声駆動方式から選ぶ	UE5リップシンク手法の比較で出力・感情制御・導入条件を確認
映像の台詞をタイムラインで編集する	Sequencer・LAM Dialogueでスクラブ・MRQ出力。公開ソース限定、v0.3.0 ZIP未収録

ダウンロード

v0.3.0を公開中

モデル入りZIPにSoundWaveの事前解析・保存、5母音・Oculus互換Viseme変換、Blueprint版の顔デモが含まれます。収録済みの台詞はエディタで一度解析し、保存済みClipを実行時の推論なしで再生できます。

用途から選びたい場合は、音声リップシンク手法の比較でLAM・Audio2Face・MetaHumanなどの出力、感情表現、導入条件を確認できます。

プラグイン自分のUEプロジェクトへ
モデル入りZIP · 約391 MiB WindowsデモUEエディタなしで試す
実行版ZIP · 約971 MiB UEプロジェクトキャラクターと音声を編集
モデル入りZIP · 約427 MiB

すべてv0.3.0の配布物です。GitHubの自動生成する「Source code」ZIPにはモデルが含まれず、デモのプラグインも含まれません。チェックサムはプラグインReleaseとデモReleaseで確認できます。

日本語6音声の顔デモ

怒り、嫌悪、恐怖、喜び、悲しみ、驚きの6音声に合わせて表情を生成します。動画・音声・デモ演出：CC BY-SA 4.0。キャラクター：hinzka / VRoid。音声：JVNV / litagin。出典・利用条件

動画の配信元は現在利用できません。Windowsデモの起動手順から実際の動作を試せます。

対応環境とできること

項目	対応内容
エンジン・OS	Unreal Engine 5.8.2 / Windows x64
キャラクター	ARKit 52、5母音・Oculus互換Morph Target、またはカーブ駆動リグ
事前解析	通常のSoundWave、mono / stereo、8〜192 kHz、最大5分
再生	音声と表情の同期、一時停止、再開、シーク、音量、Submix、2D / 3D
ライブ入力	マイク・外部PCM。推論間隔は約33.3〜1000 ms
推論	DirectMLを優先し、利用できない場合はCPUへ切り替え

実行時にPythonや外部推論サーバーは不要です。SoundCue、MetaSound、Procedural SoundWave、外部WAV / MP3の直接読み込みは対象外です。対応範囲と測定条件は検証結果を参照してください。

このドキュメントの対象

2026年9月30日確認。基本手順はv0.3.0と公開ソースPlugin 1860d0e / Demo 9dee71dを対象とします。配布ZIPのビルド元はPlugin 1f06ac8 / Demo f3b6f13で、リリースマニフェストに記録されています。事前解析Clip・Viseme変換・Blueprintデモはいずれも配布版に含まれます。

後続ソースではBlueprint・アニメーションノードにLipsync検索キーワードが追加されました。v0.3.0 ZIPではLAMまたはノード名で検索してください。このメタデータ変更による実行時処理の変更はありません。ソースの記述子や既存画像には0.2.0と表示される場合がありますが、配布ZIPの記述子は0.3.0です。版の特定にはマニフェストとコミットを使用します。

上のプレビューは旧v0.2.0の録画で、v0.3.0の新規撮影ではありません。各ページ末尾から参照元を確認できます。

2026-10-09の公開ソース更新： Plugin 1642ffa / Demo 2fbdcb3にSequencer用LAM Dialogueを追加。専用トラックとサンプルはこのソースをビルドして利用します。上記v0.3.0ダウンロードの収録内容は変わりません。