Igotit
803 posts

Igotit
@Igotit
Author of 清歌输入法 https://t.co/klbHbV6nWC - iOS/macOS and Python developer. Like country music, coffee, billiard, running, biking, drunk coding.
Beijing Tham gia Mart 2007
280 Đang theo dõi698 Người theo dõi

字节要被取代了,取代它的是 token。
Karpathy 昨天在推上回了 Python 之父 Guido 一句话:
LLM = CPU,Agent = 操作系统内核。
但他补了一个很关键的细节:
LLM 处理的数据单位不是字节,是 token。
这个操作系统的运行方式不是确定性的,而是统计性的。
这是一种底层计算的范式转移。
过去六十年,计算机的世界建立在字节上。
一个字符 8 个 bit,精确,确定,不会出错。你写一个 1,存进去就是 1,读出来还是 1。
整个互联网、所有软件、所有数据库,都建立在这种确定性上。
现在 LLM 来了。它的基本单位是 token,不是字节。
token 是模糊的,一个词可能是一个 token,也可能被拆成两个。
它的输出是概率性的,同一个输入跑两遍可能得到不同的结果。
这就像从牛顿力学进入量子力学。
精确让位于概率,确定让位于统计。
Karpathy 把 LLM 比作 CPU,Agent 比作操作系统内核。
如果顺着这个类比往下推:
传统计算机:CPU 处理字节 → 内核调度进程 → 操作系统服务用户
AI 时代:LLM 处理 token → Agent 编排任务 → AI OS 服务用户
底层的数据单位变了,上面的一切都得跟着变。
操作系统要重写,软件要重做,人和计算机的交互方式要重新设计。
与其说是对上一代的升级,不如说是彻底换了轨道。
字节的世界里,谁掌握更多的数据(字节)谁就赢。
token 的世界里,谁掌握更多的 token 谁就赢。
字节的时代属于互联网,token 的时代属于 Agent。
BYTE ERA ➤ TOKEN ERA
Andrej Karpathy@karpathy
@gvanrossum LLM = CPU (data: tokens not bytes, dynamics: statistical and vague not deterministic and precise) Agent = operating system kernel
中文

@FeiyanXie 问题的关键在于0.9999……是人为构造出来的。任何无限循环小数本质上就是一个分数,而实际上没有哪个分数的分子除以分母会出现这个无限循环小数。这就是为什么最后等于1会让人有反直觉感的根本原因。
中文

@PaulAke21768043 @XueJia24682 @AmbXieFeng @MFA_China @xuejianosaka @SpoxCHN_MaoNing You did not vote someone to curse. You vote someone to have works done. Did your government have something done?
English

@XueJia24682 @AmbXieFeng @MFA_China @xuejianosaka @SpoxCHN_MaoNing But if you said anything bad about the government they will take that shit away from you.
English

这个视频的平均播放长度创了我频道的新高,目前1万4的播放量涨了200个粉丝,涨粉比例也蛮高,所以费点心思做认真的节目收获还不错。(按目前的趋势播放量还会继续增长)
Tinyfool@tinyfool
一个视频讲解清楚雅鲁藏布江下游水电工程|这既不会影响印度、巴基斯坦用水,也不是什么龙脉工程|墨脱水电站 youtu.be/8Cwhik44rUA?si… 来自 @YouTube
中文

完整看完了这个访谈,内容丰富而精彩。印象深刻处:川普建起关税墙,却仍走老路,而不拥抱新的技术生态;应该让小米和华为来美国投资建厂,50-50合资,并建立供应链;中国是严肃的对手,只诋毁没有用。
Why Trump Could Lose His Trade War With China | The Ezra Klein Show youtu.be/UqBa0hBAQBA?si…

YouTube
中文











