name: 视频生成 description: 当用户请求生成、创建或想象视频时使用此技能。支持结构化提示和参考图像以引导生成。

视频生成技能

概述

此技能使用结构化提示和Python脚本生成高质量视频。工作流程包括创建JSON格式的提示并执行视频生成，可选参考图像。

核心能力

为AIGC视频生成创建结构化JSON提示
支持参考图像作为引导或视频的首尾帧
通过自动化Python脚本执行生成视频

工作流程

步骤1：理解需求

当用户请求视频生成时，识别：

主题/内容：图像中应包含什么
风格偏好：艺术风格、情绪、调色板
技术规格：宽高比、构图、光照
参考图像：任何用于引导生成的图像
无需检查/mnt/user-data下的文件夹

步骤2：创建结构化提示

在/mnt/user-data/workspace/中生成结构化JSON文件，命名模式：{描述性名称}.json

步骤3：创建参考图像（当图像生成技能可用时可选）

为视频生成生成参考图像。

如果只提供1个图像，使用它作为视频的引导帧

步骤3：执行生成

调用Python脚本：

python /mnt/skills/public/video-generation/scripts/generate.py \
  --prompt-file /mnt/user-data/workspace/prompt-file.json \
  --reference-images /path/to/ref1.jpg \
  --output-file /mnt/user-data/outputs/generated-video.mp4 \
  --aspect-ratio 16:9

参数：

--prompt-file：JSON提示文件的绝对路径（必需）
--reference-images：参考图像的绝对路径（可选）
--output-file：输出图像文件的绝对路径（必需）
--aspect-ratio：生成图像的宽高比（可选，默认：16:9）

[!注意] 不要读取python文件，只需使用参数调用它。

视频生成示例

用户请求：“生成一个描绘《纳尼亚传奇：狮子、女巫和魔衣橱》开场的短视频片段”

步骤1：在线搜索《纳尼亚传奇：狮子、女巫和魔衣橱》的开场场景

步骤2：创建JSON提示文件，内容如下：

{
  "title": "纳尼亚传奇 - 火车站告别",
  "background": {
    "description": "二战疏散场景，在拥挤的伦敦火车站。蒸汽和烟雾弥漫在空气中，孩子们正被送往乡村以躲避闪电战。",
    "era": "1940年代战时的英国",
    "location": "伦敦火车站站台"
  },
  "characters": ["佩文西夫人", "露西·佩文西"],
  "camera": {
    "type": "近景双人镜头",
    "movement": "静态带细微手持运动",
    "angle": "侧面视图，亲密构图",
    "focus": "两张脸都在焦点，背景柔和虚化"
  },
  "dialogue": [
    {
      "character": "佩文西夫人",
      "text": "你必须为我勇敢，亲爱的。我会来接你的...我保证。"
    },
    {
      "character": "露西·佩文西",
      "text": "我会的，母亲。我保证。"
    }
  ],
  "audio": [
    {
      "type": "火车鸣笛（表示出发）",
      "volume": 1
    },
    {
      "type": "弦乐情感增强，然后渐弱",
      "volume": 0.5
    },
    {
      "type": "火车站的背景声音",
      "volume": 0.5
    }
  ]
}

步骤3：使用图像生成技能生成参考图像

加载图像生成技能并根据技能生成单个参考图像narnia-farewell-scene-01.jpg。

步骤4：使用generate.py脚本生成视频

python /mnt/skills/public/video-generation/scripts/generate.py \
  --prompt-file /mnt/user-data/workspace/narnia-farewell-scene.json \
  --reference-images /mnt/user-data/outputs/narnia-farewell-scene-01.jpg \
  --output-file /mnt/user-data/outputs/narnia-farewell-scene-01.mp4 \
  --aspect-ratio 16:9

不要读取python文件，只需使用参数调用它。

输出处理

生成后：

视频通常保存在/mnt/user-data/outputs/中
使用present_files工具首先与用户分享生成的视频以及生成的图像（如果适用）
提供生成结果的简要描述
如果需要调整，提供迭代选项

注意事项

无论用户语言如何，始终使用英语编写提示
JSON格式确保结构化、可解析的提示
参考图像显著提高生成质量
迭代优化对于获得最佳结果是正常的