Lip Sync 口型同步 — 让角色跟着任何音频开口说话
功能定位
Lip Sync（口型同步）是 domoai 的底层能力之一，也是数字化身（Talking Avatar）和角色动画的核心引擎。它能分析任何音频源，生成精确匹配的嘴部动作和面部表情。
三种用法
用法一：数字化身里默认开启
在 Talking Avatar 工具里，只要你上传了音频（或用文字转语音生成音频），Lip Sync 自动开启——你不需要单独操作。
用法二：角色转视频里叠加
先用骨架控姿生成角色做动作的视频，再用 Lip Sync 叠加嘴型同步——让角色一边跳舞一边唱歌。
用法三：视频转视频里配合
把真人视频送进视频转视频换风格，同时开启 Lip Sync——让动漫版的角色保留原始的口型节奏。
音频输入选项
| 选项 | 支持格式 | 大小限制 | 特点 |
|---|---|---|---|
| 文字转语音 | N/A | N/A | 6 种情绪、6 种声音选 |
| 上传音频文件 | MP3 / WAV / M4A | 最大 80MB | 支持整首歌、录音 |
| 声音复制（Voice Clone） | 上传样本 → 克隆 | — | 用自己的声音 |
| 直接录制 | 实时录音 | — | 移动端方便 |
效果质量
做得好的情况
- 清晰人声：咬字清楚、无背景噪音 → 唇形同步精确到每个音节
- 单人说话 / 唱歌：效果最好
- 中等语速：太快或太慢可能跟不上
可能的局限
- 快速说唱 / 绕口令：语速太快时唇形会模糊或跳帧
- 重叠人声（合唱）：AI 不知道跟谁同步
- 强背景音乐盖住人声：AI 无法识别说话内容
和音乐工作流的配合
domoai 官方推荐的音乐 MV 工作流：
- Suno 生成音乐
- ElevenLabs 生成或克隆人声
- domoai Talking Avatar：上传歌曲 + 选角色 → Lip Sync 自动完成
- 视频转视频：给角色套动漫风格
- Upscaler：升 4K 导出
全程不需要手动关键帧，几分钟就能出带完整口型同步的音乐视频。
典型应用场景
- VTuber / 虚拟主播：让虚拟形象开口说话，无需实时捕捉
- 产品讲解视频：用虚拟形象介绍产品，文字转语音 + Lip Sync
- 音乐 MV 制作：动漫角色演唱流行歌曲
- 有声书 / 播客：给音频配会说话的头像
- UGC 广告：快速制作角色口播广告