进阶 · 五—六年级 · 24 分钟 · 无需外部账号

Token 接龙:模型怎样写下一步

本课任务:用 Token、上下文和概率解释语言模型为什么能生成流畅文字,也为什么会跑偏。

先想一想

模型是不是先在脑中想好整篇文章,再一次写出来?

  1. 01本课任务
  2. 02核心概念
  3. 03生活例子
  4. 04动手做
  5. 05迁移挑战
  6. 06闯关题
  7. 07今日收获

先理解这个概念

语言模型把内容处理成 Token,根据当前上下文反复预测接下来合适的 Token。

把概念连起来

Token 可以是字、词或词的一部分。模型并不是从事实仓库里复制整段答案,而是在每一步计算许多候选的可能性并继续生成。提示、前文和随机性会改变候选分布,因此同一问题可能得到不同答案;流畅只说明语言接得像,不保证事实正确。

生活里的例子
1

“从前有一只”后面可能接猫、龙或机器人

2

温度等设置会影响结果的稳定与多样

3

错误开头可能被后续内容越接越远

全班概率接龙机

家长不知道怎么带?看本课陪学指南 →
本课配套图区

Token 概率接龙桌

给候选后续分配筹码,再用骰子选择。观察一次小选择怎样让后面的故事完全分叉。

开头从前有一只……
猫可能性 40%
龙可能性 25%
机器人可能性 20%
下雨的云可能性 10%
会唱歌的袜子可能性 5%
第 2 步:照着做

完成一项,就点一下打勾

0 / 3

解释一次跑偏

找一段生成文字,圈出最早出现问题的位置,并推测后文如何被它带偏。

完成后逐项自查

为什么同一个提示可能生成两种不同故事?