Igotit
803 posts

Igotit
@Igotit
Author of 清歌输入法 https://t.co/klbHbV6nWC - iOS/macOS and Python developer. Like country music, coffee, billiard, running, biking, drunk coding.
Beijing 가입일 Mart 2007
280 팔로잉697 팔로워

字节要被取代了,取代它的是 token。
Karpathy 昨天在推上回了 Python 之父 Guido 一句话:
LLM = CPU,Agent = 操作系统内核。
但他补了一个很关键的细节:
LLM 处理的数据单位不是字节,是 token。
这个操作系统的运行方式不是确定性的,而是统计性的。
这是一种底层计算的范式转移。
过去六十年,计算机的世界建立在字节上。
一个字符 8 个 bit,精确,确定,不会出错。你写一个 1,存进去就是 1,读出来还是 1。
整个互联网、所有软件、所有数据库,都建立在这种确定性上。
现在 LLM 来了。它的基本单位是 token,不是字节。
token 是模糊的,一个词可能是一个 token,也可能被拆成两个。
它的输出是概率性的,同一个输入跑两遍可能得到不同的结果。
这就像从牛顿力学进入量子力学。
精确让位于概率,确定让位于统计。
Karpathy 把 LLM 比作 CPU,Agent 比作操作系统内核。
如果顺着这个类比往下推:
传统计算机:CPU 处理字节 → 内核调度进程 → 操作系统服务用户
AI 时代:LLM 处理 token → Agent 编排任务 → AI OS 服务用户
底层的数据单位变了,上面的一切都得跟着变。
操作系统要重写,软件要重做,人和计算机的交互方式要重新设计。
与其说是对上一代的升级,不如说是彻底换了轨道。
字节的世界里,谁掌握更多的数据(字节)谁就赢。
token 的世界里,谁掌握更多的 token 谁就赢。
字节的时代属于互联网,token 的时代属于 Agent。
BYTE ERA ➤ TOKEN ERA
Andrej Karpathy@karpathy
@gvanrossum LLM = CPU (data: tokens not bytes, dynamics: statistical and vague not deterministic and precise) Agent = operating system kernel
中文

@FeiyanXie 问题的关键在于0.9999……是人为构造出来的。任何无限循环小数本质上就是一个分数,而实际上没有哪个分数的分子除以分母会出现这个无限循环小数。这就是为什么最后等于1会让人有反直觉感的根本原因。
中文

@PaulAke21768043 @XueJia24682 @AmbXieFeng @MFA_China @xuejianosaka @SpoxCHN_MaoNing You did not vote someone to curse. You vote someone to have works done. Did your government have something done?
English

@XueJia24682 @AmbXieFeng @MFA_China @xuejianosaka @SpoxCHN_MaoNing But if you said anything bad about the government they will take that shit away from you.
English

这个视频的平均播放长度创了我频道的新高,目前1万4的播放量涨了200个粉丝,涨粉比例也蛮高,所以费点心思做认真的节目收获还不错。(按目前的趋势播放量还会继续增长)
Tinyfool@tinyfool
一个视频讲解清楚雅鲁藏布江下游水电工程|这既不会影响印度、巴基斯坦用水,也不是什么龙脉工程|墨脱水电站 youtu.be/8Cwhik44rUA?si… 来自 @YouTube
中文

完整看完了这个访谈,内容丰富而精彩。印象深刻处:川普建起关税墙,却仍走老路,而不拥抱新的技术生态;应该让小米和华为来美国投资建厂,50-50合资,并建立供应链;中国是严肃的对手,只诋毁没有用。
Why Trump Could Lose His Trade War With China | The Ezra Klein Show youtu.be/UqBa0hBAQBA?si…

YouTube
中文











