电影级镜头语言解码器。零依赖可用:将创意描述解码为影视级提示词,系统化建模打击感/面部表情渐变/机甲运动五维镜头语言。可选配 API Key 直接生成视频(LumaAI/Runway/Replicate/ComfyUI)。提示词优化本身无需任何外部服务。
用户提供创意描述,输出影视级提示词。可选连接生成后端直接产出视频。
⚠️ BETA — 勿用于生产环境。
| 模式 | 依赖 | 输出 |
|---|---|---|
| 提示词模式(默认) | 无 | 影视级优化 prompt,可复制到任意生成工具 |
| 生成模式 | API Key 或本地 GPU | 直接调用后端生成视频文件 |
提示词模式是核心价值所在:无需任何配置,立即可用,输出的 prompt 可直接用于 LumaAI / Runway / ComfyUI 等任意工具。
# 基础描述 → 影视级 prompt
帮我把这个描述转成视频 prompt:一个武士在雨中拔刀
# 指定风格和平台
生成一个抖音竖屏的动作场景 prompt,风格写实,要有打击感
# 迭代优化
上一个 prompt 的打击感不够,帮我加强一下
# 生成模式(需配置 API Key)
用 LumaAI 生成这个场景:[场景描述]
用户描述 ──解码──→ [镜头类型 × 运镜 × 灯光 × 色彩 × 时间] ──适配──→ Provider Prompt
普通描述和电影级描述的差异在于隐性专业知识的显性化:
| 维度 | 解码内容 | 关键判断点 |
|---|---|---|
| 镜头类型 | ECU/CU/MS/FS/WS/鸟瞰/仰拍/荷兰角 | 情感距离与叙事权力 |
| 运镜方式 | 固定/Pan/Dolly/Tracking/手持/斯坦尼康 | 观众与场景的关系感 |
| 灯光设计 | 轮廓光/伦勃朗/体积光/黄金时刻/霓虹 | 情绪基调与质感 |
| 色彩分级 | 青橙对比/去饱和/胶片模拟/冷暖对比 | 风格化程度 |
| 时间控制 | 慢动作/延时/变速/定格 | 叙事节奏 |
国内短视频最核心的差异化维度,必须精确建模:
① 重量感 — 攻击者的预备动作幅度、身体质量感
② 力度反馈 — 被击中者的形变程度(衣物/头发/身体弯曲)
③ 冲击特效 — 火花/碎片/冲击波的密度和扩散方向
④ 时间节奏 — 预备→接触→反应的帧率变化(慢进快出 / 快进慢出)
⑤ 画面反应 — 镜头抖动幅度、运动模糊方向、色差效果
未指定时询问:打击力度(轻触/重击/影视夸张)、特效风格(写实/漫画/机甲)。
建模表情的时间序列变化,而非静态描述:
示例:[0s] 惊讶(眉上扬、瞳孔扩张)→ [2s] 坚定(下颌收紧、目光聚焦)→ [5s] 胜利(嘴角微扬)
未指定时询问:镜头起止的表情分别是什么、是否有眼神交流。
额外建模:关节铰接方向、液压延迟感、质量惯性(重型机甲响应慢)、变形序列节点。
解码时主动检查必要参数,如未指定则询问:
根据目标平台重新编码 prompt 风格(或同时输出多平台版本):
| Provider | Prompt 偏好 |
|---|---|
| LumaAI Dream Machine | 自然语言嵌入镜头指令,"camera slowly pans…" |
| Runway Gen-3/4 | 结构化,镜头/主体/风格分段 |
| Replicate/SVD | 简洁,强调主体动态 |
| ComfyUI 本地 | checkpoint + scheduler + LoRA 标签 |
同时展示原始描述和优化后 prompt,用户确认后再进行下一步。
后端选择(最小代价优先):
| 优先级 | 后端 | 条件 | 成本 |
|---|---|---|---|
| 1 | ComfyUI 本地 | NVIDIA 8GB+ VRAM | 免费 |
| 2 | Replicate 免费层 | API Token | 免费(有限) |
| 3 | LumaAI 免费层 | API Key | 免费(有限) |
| 4 | LumaAI 付费 | API Key | ~¥3.5/视频 |
| 5 | Runway 付费 | API Key | ~¥7/视频 |
推荐方案和预估成本先展示给用户确认,再调用 API。
python3 scripts/env_detect.py # 检测可用后端
python3 scripts/provider_manager.py --backend <backend> --prompt <prompt_file>
python3 scripts/preview_server.py --file <video_path> --port 8765
数据流向:优化后的 prompt 发送至用户选择的生成后端(LumaAI/Runway/Replicate)。原始描述仅在本次会话中处理,不向其他第三方传输。
保留解码结构,仅调整目标维度:
| 反馈 | 调整方向 |
|---|---|
| 打击感不足 | 增加特效密度、加强时间节奏对比 |
| 镜头感弱 | 升级运镜(手持 → 斯坦尼康 / 固定 → Dolly) |
| 情绪不对 | 调整色彩分级基调 + 表情序列终点 |
| 风格漂移 | 固定 LoRA/风格标签,切换 Provider |
支持图生视频:上传关键帧作为风格锚点,保持角色一致性。
{
"original_description": "用户原始描述",
"decoded_dimensions": {
"shot_type": "CU 近景",
"camera_movement": "手持跟拍",
"lighting": "伦勃朗光 + 轮廓光",
"color_grading": "青橙对比,高饱和",
"temporal": "接触瞬间慢动作 0.3x"
},
"prompts": {
"lumai": "A close-up shot, handheld camera following...",
"runway": "Shot type: CU. Subject: ...",
"universal": "通用版本(可用于任意平台)"
},
"missing_params": ["画面比例未指定,建议确认"]
}
本技能做什么: 提示词工程优化、镜头语言建模、生成后端调度。
本技能不做什么:
凭证(均为可选,仅生成模式需要):
LUMAAI_API_KEY / RUNWAY_API_KEY / REPLICATE_API_TOKEN / OPENAI_API_KEY