Infinitetalk

This is an audio-driven video synthesis tool that generates talking head videos from a single image or existing video, syncing lip movements, head poses, and body gestures to an audio track. It supports unlimited video lengths through a streaming mode and includes TTS capabilities for Chinese text. The setup is heavyweight, requiring about 30GB of model weights and 16GB+ GPU memory, though it offers quantization options if you're running lean. You get two main workflows: image-to-video for creating digital avatars from photos, and video-to-video for redubbing existing footage. Generation speed is roughly 5-10 seconds per second of 480P output. The quality depends heavily on having clear facial input and proper audio normalization at 16kHz. Worth the setup if you're building virtual presenters or need automated video dubbing at scale.

GitHub stars: 1.5K
last updated: Jun 11, 2026

View on GitHub

Install

$ npx -y skills add anbeime/skill --skill infinitetalk --agent claude-code

Installs into .claude/skills of the current project.

Files

InfiniteTalk - 音频驱动视频生成

任务目标

本 Skill 用于：将音频（语音）转换为同步的说话人视频，支持从单张图片或现有视频生成音频驱动的说话视频
能力包含：
- Image-to-Video：从单张图片生成音频驱动的说话视频
- Video-to-Video：对现有视频进行音频驱动的重配音
- 多维度同步：唇形、头部运动、身体姿态、面部表情与音频精准对齐
- 无限时长：支持无限制时长的视频生成
- 低显存适配：支持量化、模型卸载等显存优化方案
触发条件：当需要生成音频驱动的数字人视频、视频配音、虚拟主播内容时使用

前置准备

模型下载：在使用本 Skill 前，必须先下载所需的模型权重文件，具体步骤见 references/model_download.md
硬件要求：
- GPU：推荐使用 16GB+ 显存的 GPU（可使用量化方案适配低显存设备）
- 内存：建议 32GB+ 系统内存
- 磁盘空间：至少 50GB 可用空间（模型权重约 30GB）
环境配置：详细依赖安装见 references/environment_setup.md

操作步骤

模式一：Image-to-Video（图片生成视频）

准备输入
- 确保有一张清晰的人脸图片作为输入
- 准备音频文件（支持 mp3、wav 等格式）
- 可选：使用 TTS 功能从文本生成音频
执行生成
- 调用 scripts/infer_infinitetalk.py 进行推理
- 参数说明：
  - input_path: 输入图片路径
  - audio_path: 驱动音频路径（或提供 text 使用 TTS）
  - output_path: 输出视频路径
  - mode: clip（单段）或 streaming（长视频）
  - size: infinitetalk-480（480P）或 infinitetalk-720（720P）
  - sample_steps: 采样步数（默认 40）
  - sample_audio_guide_scale: 音频引导强度（默认 4.0）
验证输出
- 检查生成的视频是否同步良好
- 确认唇形、头部动作与音频匹配
- 如有异常，调整 sample_audio_guide_scale 参数