Sabitlenmiş Tweet
Co všechno jde spočítat? Víc, než se zdá, ale všechno ne. Nicméně tenhle projekt plný čísel mě opravdu pohltil, dá se říct, že je v něm víc jak rok práce, hlavně ale přemýšlení, desítky probdělých nocí a hlavně stovky dní, kdy jsem byl mimo náš svět. Co s tím? K čemu to je dobré? Ale však to je jedno.
A co že tohle nakonec je? Malinkatý jazykový model, který běží na padesát let starém železe Atari XE. Ale vlastně je chytřejší, než by se zdálo. Ten procesor umí vymýšlet písmenka rychlostí pár za vteřinu. K tomu mu přitom stačí na každý z nich "jen" desítky tisíc sčítaní a dalších výpočtů. Takže tenhle J(azykový)A(tari)M(odel) dělá za desetinu vteřiny tak matematicky, co by člověku trvalo deset hodin nepřetržitého počítání. A dělá to na procesoru z roku 1975, který má 3 500 tranzistorů a spotřebovává asi jeden watt. Ale jeho mozeček je vlastně podobný těm velkým: má digitální neurony a ty pracují s informacemi rozloženými na bity (jedničky a nuly). A přitom jak nám bude připadat vedlé nás hloupý.
No a takové GPT potom dělá na jeden token to, co by člověku trvalo sto tisíc let!!! Déle, než je celá zaznamenaná historie civilizace. A potřebuje na to serverovnu se spotřebou stovek kilowattů.
Mezi tím stojí otázka: kolik z těch tisíců miliard operací je skutečně potřeba k tomu, abys dostal rozumnou odpověď?
Tady Pico JAM odpovídá na otázky s 9 200 celočíselnými sčítáními. V 1 600 bajtech vah. Na čipu se 3 500 tranzistory. A my lidé? Nám stačí stovka watů na všechno. A to je skutečně Boží 🪽A tohle je takové uzavření kruhu, na Atari to celé začalo (hry, Turbo 2000) a zase se to k němu všechno vrací. Jako v přírodě. Stále stejné a přitom pokaždé nové.
Tak Veselé Velikonoce 🥚💮🌷
Marek Spanel@maruksp
Show JAM: Just an Atari neural language Model, running bare-metal on 50 years old 8-bit hardware. Pure 6502 assembly. Integer-only inference. No floating point. No hardware multiply. No emulator tricks. Works on any Atari 400/800/XL/XE near you. Built for 1.79 MHz and 4 KB–80 KB RAM. Link in comments. 🖇️👇 #Turbo2026 #ICOMPUT #Atari #8bit
Čeština
