先看看AutoStudio在实际运行中的表现。以下是几个多轮交互的生成案例，注意每一帧的人物、动物和物品都能保持连贯的外观和风格。

01 本地效果

turn 1: a girl, a boy and a man walking on the road to school
turn 2: a man wa ving goodbye to the girl
turn 3: girl, angry and arguing on street
turn 4: a girl and a boy playing with a dog
turn 5: sitting and sunbathing near the sea

基座 disney-pixar-cartoon-b

基座 DreamShaper

turn 1 : boy, white hair,blue eyes, singing to the Girl.girl, red hair, blue eyes, singing to the boy
turn 2：
boy, white hair, blue eyes, sitting on sofa and laughing. girl, red hair, blue eyes, sitting on sofa and angry
turn 3:
the boy walking on the street, boy, white hair, blue eyes, thinking and walking

基座 disney-pixar-cartoon-b

基座 DreamShaper

turn 1: white hair girl, playing.brown cat, playing.black cat, playing.
turn 2: a black cat, a yellow dog, a blue rabbit
turn 3: a lego man,a lego woman,a lego car, a lego house

基座 disney-pixar-cartoon-b

02 方案

2.1 架构

AutoStudio背后的核心思路，是用四个AI Agent（主题管理器、布局生成器、监督者和绘图器）加上一个主题数据库，协同完成多回合、多主题的交互式图像生成。

• 主题管理器负责解读用户对话，理解每一轮输入，并确保主题在整个故事中保持一致。
• 布局生成器根据主题管理器提供的信息，为每张图像中的各个元素（人物、物体等）规划出具体的位置和大小。
• 监督者则扮演“质检员”角色，对布局生成器给出的草图进行评估，并提出优化建议。
• 绘图器是最终的执行者，它依据精细化的布局和主题数据库，利用平行UNet（Parallel-UNet）和稳定扩散（Stable Diffusion）技术来生成图像。平行UNet通过两个并行的交叉注意力模块，分别强化文本和图像嵌入中的主题特征；稳定扩散则负责输出高质量的视觉内容。两者配合，既能保持主题的连贯性，又能让画面足够耐看。

具体的生成管线如下：

1. 用户输入与主题管理
   ：用户通过自然语言给出指令或故事线索。主题管理器解析这些输入，识别出不同的主题，并为每个主题及其组件分配唯一的ID和描述。

2. 布局生成
   ：依据主题管理器提供的描述，布局生成器绘制一张初步的布局草图，用边界框标出每个主题和组件的大致位置和尺寸。

3. 布局优化
   ：监督者审阅这张草图，给出改进建议，修正不合理的空间关系，让主题内和主题间的布局更合理。

4. 图像生成准备
   ：优化后的布局被送回布局生成器，生成最终版布局。同时，主题数据库根据布局和优化建议检索并更新主题信息。

5. 主题初始化生成
   ：利用稳定扩散模型和平行UNet，根据优化后的布局和数据库信息，为每个主题生成潜在特征图。对于小主题，通过调整边界框大小来保证特征不丢失，并使用前向扩散过程将单个主题图像合并成一个统一的指导图像。

6. 图像生成
   ：绘图器拿到最终的布局和主题信息，通过平行UNet生成图像。平行UNet的并行文本和图像交叉注意力模块强化了主题特征，最终输出与布局一致且主题特征鲜明的高质量图像。

2.2 主题初始化生成方法

生成过程中，需要初始化潜在特征图，以便更好地保留小主题的特征，防止主题丢失或相互混淆。这个方法会单独生成每个主体的粗粒度特征，用提取器提取这些特征，然后通过正向扩散映射到潜空间，并在全局生成的前几步进行局部替换。

具体来说，给定主题数据库 D，初始化方法生成一个潜在特征映射，这个映射根据布局在空间上合并了所有主题的特征。为了更好保留小主体和组件的细节，首先调整每个主体边界框的大小，保证其长边达到1024像素。然后，利用带有平行UNet的稳定扩散模型，为每个目标生成一幅裁剪并居中的单张图像，再通过扩散去噪获得对应的潜在特征。

2.3 绘图器核心：Parallel-UNet

标准稳定扩散模型中的UNet，依靠交叉注意力模块来提取文本特征，但这种方式很难充分表达多个主体的空间关系和细节特征。平行UNet是一个无需训练的布局调制注意力模块——它将UNet层原有的交叉注意力模块，拆分成两个并行的文本交叉注意力模块和图像交叉注意力模块，分别记为PTCA和PICA，用来细化潜在特征 Z。两个模块架构相同，核心思想是计算 Z 与每个主题的文本/图像嵌入之间的特征相似度。

备注：任意UNet层在去噪过程中的输入潜在特征表示为 Z。

03 总结

• AutoStudio能够在多次交互后，仍然较好地保持图像中主题元素（如人物、场景）的连贯性。
• 生成连环漫画的速度较快，一致性优于StoryDifusion。

• 概率性发生人物一致性问题。
• 生成的人物效果概率性出现瑕疵，比如多头、多手等身体缺陷（可能与基座模型有关）。
• 生成的图像并非每次都能完全正确遵循Prompt（也可能与基座模型有关）。

客观来说，效果确实不错，比之前的方法有明显进步，但瑕疵仍然存在。可以借鉴这套思路来制作连环漫画，但需要后期人工筛选——要么过滤掉问题图像，要么对同一主题和Prompt重复生成多张、挑出最好的。现阶段，它还不适合做全自动的连环漫画AI生成工具。