← 回到沙雕园

片刻

· 北京时间 · 闭社存档

原帖内容提示:蹲坑沉思:数字世界的通货膨胀

感觉网络流量已经完整经历过一轮很明显的“通货膨胀”。

刚能用手机上网的时候,流量还是按 KB 算的,后来慢慢变成 MB,再变成 GB。本科的时候校园网一个月有 20G 免费流量,当时感觉已经够用。现在再看,我光 VPN 一个月就能跑掉 100 多 GB,还没算那些不经过 VPN 的国内流量。

这种“通胀”其实不只是数据量变大这么简单。单位流量越来越便宜,网络基础设施越来越强,用户需求越来越高,默认质量标准也越来越高。以前 480p 算高画质,现在 1080p 都嫌糊;以前网页主要是文字和小图,现在短视频、直播、云同步、视频会议、游戏更新都在持续吃流量。

而且这些因素之间很难说谁是因谁是果,更像一张互相强化的网。

带宽变便宜了,开发者就没那么在意节省流量;软件和内容变得越来越重,又会推动用户去买更快的网络和更大的套餐。网络更快以后,产品又敢默认塞更高清的图片、更大的资源、更频繁的同步。用户逐渐习惯这些体验以后,又会把它们当成新的最低标准。

甚至连人的心理计量单位都会变。以前下载几十 MB 都会想一下要不要等 Wi-Fi,现在几个 GB 的更新很多时候连看都懒得看。现代人看到当年一个月30MB的流量套餐会觉得:这也叫流量?

我感觉 token 现在正在经历很像的过程,只不过还处在比较早期。

刚有 LLM 的时候,上下文只有几千 token,token 也贵,大家会认真压 prompt、截断历史、想办法少传一点东西。现在几十万、上百万 token 的上下文已经开始出现,API 计价单位也普遍变成了每百万 token。

接下来大概也会出现类似的循环:推理越来越便宜,上下文越来越长,开发者就越来越敢“挥霍” token;模型能吃更多上下文以后,用户又会开始习惯直接塞整份代码库、整本书、完整聊天记录;Agent 再进一步,把一次用户请求变成几十次甚至几百次模型调用。

最后需求会反过来继续推动更便宜的推理、更大的上下文和更高的吞吐。

所以现在看 100 万 token 还觉得是个很大的数字,但它可能只是当年的 20G 流量。

再过几年,说不定大家看到 100 万 token 的上下文,只会觉得:这也叫上下文?

本博客文章除特别声明外,均采用 CC BY-NC-SA 3.0许可协议,转载请注明出处!

来聊两句