Token 接龙:模型怎样写下一步
本课任务:用 Token、上下文和概率解释语言模型为什么能生成流畅文字,也为什么会跑偏。
模型是不是先在脑中想好整篇文章,再一次写出来?
- 01本课任务
- 02核心概念
- 03生活例子
- 04动手做
- 05迁移挑战
- 06闯关题
- 07今日收获
核心概念
先理解这个概念
语言模型把内容处理成 Token,根据当前上下文反复预测接下来合适的 Token。
把概念连起来
Token 可以是字、词或词的一部分。模型并不是从事实仓库里复制整段答案,而是在每一步计算许多候选的可能性并继续生成。提示、前文和随机性会改变候选分布,因此同一问题可能得到不同答案;流畅只说明语言接得像,不保证事实正确。
生活里的例子
1
“从前有一只”后面可能接猫、龙或机器人
2
温度等设置会影响结果的稳定与多样
3
错误开头可能被后续内容越接越远
动手做
全班概率接龙机
本课配套图区
Token 概率接龙桌
给候选后续分配筹码,再用骰子选择。观察一次小选择怎样让后面的故事完全分叉。
第 2 步:照着做
0 / 3完成一项,就点一下打勾
迁移挑战
解释一次跑偏
找一段生成文字,圈出最早出现问题的位置,并推测后文如何被它带偏。
完成后逐项自查
闯关题


