根据文字描述生成或修改插画、海报和视觉草图
使用边界：不冒充真人，不擅自模仿他人脸、声音和作品风格
一支多模态模型战队
本课任务：比较语言、图像、音频和视频模型的输入输出，并设计一个多模型协作任务。
一个能看图、听音频又会回答的 AI，内部一定只有一个模型吗？
- 01本课任务
- 02核心概念
- 03生活例子
- 04产品观察
- 05动手做
- 06迁移挑战
- 07闯关题
- 08今日收获
核心概念
先理解这个概念
多模态 AI 能处理两种以上的信息形式；产品可能使用统一模型，也可能让多个模型协作。
把概念连起来
模态是信息的表现形式，例如文字、图像、声音和视频。多模态系统需要把不同形式转换为可处理的表示，并在它们之间建立联系。真实产品可能由一个统一的多模态模型完成，也可能由识别、语言、图像和声音模型组成流水线。
生活里的例子
1
上传植物照片并让 AI 解释叶片特征
2
把故事脚本转成分镜、旁白和配乐
3
看一段实验视频并整理观察记录
动手做
多模态任务调度中心
本课配套图区
跨模态任务牌
抽到任务后，再用输入、模型、输出和检查卡排出协作顺序。
第 1 项使用：抽取一个跨模态任务让系统随机抽一张，也可以直接点选一张。
第 2 步：照着做
0 / 3完成一项，就点一下打勾
产品观察站
在真实产品里找到这个概念
观察能力与边界，不背按钮。
生成旁白、音效、配乐、动画片段和视频草稿
使用边界：发布前取得同意、标明 AI 参与并检查是否误导他人
迁移挑战
画一条多模态流水线
为一个故事短片画出文字、图片、声音和视频之间的转换路线。
完成后逐项自查
闯关题