如何结合Llama 3与文心AI进行跨平台的剧本生成与视频渲染

先把最核心的问题摆出来：你有一套结构化的剧本，也拿到了Llama 3帮你生成的内容，但要把这些剧本直接喂给文心AI做视频渲染，中间总有一道跨不过去的墙——API权限不互通、格式不兼容、数据流断在半路上。这个卡点，几乎每个同时在用两套模型的团队都会撞到。 说白了，问题就出在跨平台的格式桥接上。Llama 3能吐出高质量的剧本，但文心AI只认自己那一套输入规则。你需要在中间层做一次结构化的“翻译”，把Llama 3的产出整理成文心AI能直接消费的JSON数据。这才是打通这条流水线的关键。 ## 导出Llama 3剧本为文心AI可识别的JSON Schema 在Ollama或揽睿星舟平台上跑Llama 3-8B的时候，不能让它自由发挥。必须强制指定输出结构，直接在提示词里把JSON Schema写死。比如这样输入：“请按以下JSON Schema生成1分钟短视频剧本，角色名不超过2人，场景数≤3，每场含【画面描述】【台词】【时长秒数】字段：{"scenes":[{"character":"string","scene_desc":"string","dialogue":"string","duration":0}]}”。 Llama 3返回的结果中，往往会带一些多余的说明文字，比如“好的，这是您要的剧本：”。必须手动把这些多余的开场白删干净，否则文心AI解析时会直接报错。这是最容易翻车的一步，也是最容易被忽略的一步。 处理完之后，把纯JSON文本复制到本地记事本，另存为UTF-8编码的`scene.json`文件。注意编码格式必须是UTF-8，否则后续API调用会遇到各种诡异的中文字符问题。 ## 用文心一言API接入scene.json并启动视频渲染 登录百度千帆大模型平台，进入文心一言的图像生成服务页，点击调用API。在请求体的body中选择raw，格式选JSON，然后把刚才保存的`scene.json`全文粘贴进去。 关键参数这样设：model设为`ernie-vilg-2.0`，prompt填`{{scene_desc}}`，style设成`cinematic`，分辨率固定为`1080x1920`。 有一个需要注意的细节：文心AI并不支持嵌套数组的批量提交。也就是说，你不能把整个`scenes`数组一次性丢过去。正确的做法是写一个Python脚本，循环读取`scene.json`里的每个场景元素，逐条发送请求。每次只处理一个`scene_desc`字段。单次请求只处理一个场景，简单直接，不容易出问题。 ## 拼接视频帧并合成带字幕的成片 这个阶段分四步走。 第一步，接收文心AI返回的每张图片的base64字符串，解码后保存为`001.png`，`002.png`，依次类推。文件名必须是三位数格式，否则ffmpeg拼帧时会乱序。 第二步，用ffmpeg按`scene.duration`字段设定的时长控制每帧的显示时间。命令示例：`ffmpeg -framerate 1/3 -i %03d.png -c:v libx264 -r 30 -pix_fmt yuv420p output.mp4`。这里的`-framerate 1/3`意思是每张图持续3秒，正好对应场景的时长设定。 第三步，用whisper.cpp提取原始台词文本，再用aeneas做时间轴对齐，生成`.srt`字幕文件。这一步的关键在于台词文本与视频帧的时间匹配，不能错位。 第四步，把字幕硬编码进视频：`ffmpeg -i output.mp4 -vf subtitles=subtitle.srt final.mp4`。硬编码的意思是字幕直接烧进画面，而不是作为外设文件，确保在任何播放器上都能正常显示。