Zachary

231 posts

Zachary banner
Zachary

Zachary

@edingele59581

working on cracking AI routing https://t.co/tY7tVLGr5H actually at @fdotinc

lausanne Katılım Mart 2024
267 Takip Edilen65 Takipçiler
Sabitlenmiş Tweet
Zachary
Zachary@edingele59581·
"Science is what we understand well enough to explain to a computer. Art is everything else we do." That's what AI is about.
English
0
0
1
333
Zachary
Zachary@edingele59581·
Cut your agent cost by 63% in one prompt.
English
10
15
36
3.4K
Zachary retweetledi
m_ric
m_ric@AymericRoucher·
Je suis d'accord avec Le Cun là dessus, et c'est orthogonal à l'étude d'Anthropic sur le J-space. On sait (cf papier en commentaire) qu'un LLM est limité par sa profondeur (nombre de layers) à une certaine complexité maximale de problèmes. En gros, pour un problème qui demande de panser à N coups d'avance (par exemple un "mat en N coups" ou le problème des tours de Hanoi), si la profondeur de ton LLM n'est pas supérieure à une fonction polynomiale de N, il n'y arrivera pas du tout. C'est pour ça que Chain-of-Thought a tant explosé les scores et, après avoir commencé comme un gadget "let's think step-y-step" en 2023, est devenu un mécanisme fondamental de TOUS les LLM auourd'hui: CoT est un excellent moyen pour le LLM de loop sur un input. Les LLM passe une fois sur l'input, en déduit un token, repasse sur l'input +1 token, en déduit un autre... ça débloque toutes les classes de problèmes. C'est expliqué plus rigoureusement dans le papier en commentaire. Maintenant, si on accepte ce framework de "les transformers son naturellement limités en complexité, et le CoT est un moyen de loop" Alors la loop est en effet un peu pauvre, on ne passe que quelques bits d'info à chaque l'itération suivante. C'est d'ailleurs un problème que des architectures de Recurrent Transformers dont HRM ou TRM pourraient résoudre en passant de vrais vecteurs. De son côté, le papier d'Anthropic porte seulement sur "comment se passe une forward pass", pas sur la CoT. Ils y voient des représentations vectorielles complexe, mais ça ne dit rien sur l'efficacité ou pas de la CoT.
Fabien@Fabien_Mikol

LeCun : "le pb du LLM est que la seule communication d'information d'une étape à une autre est à travers un token discret de 3 octets", alors qu'un véritable raisonnement nécessite de manipuler en interne des représentations dans l'espace latent. L'étude Anthropic réfute cela 🧵

Français
28
79
520
91.6K
Zachary
Zachary@edingele59581·
Token optimizing > Token maximizing
English
2
4
7
205
Zachary retweetledi
Sadri
Sadri@0xSadri·
AI Underwear so you don't get injured anymore.
English
30
25
78
3.9K
Zachary retweetledi
Zack Z
Zack Z@ZackZuniga24·
wait…@fdotinc beat WHO in the tech world cup?
Zack Z tweet media
San Francisco, CA 🇺🇸 English
3
1
9
259
Zachary retweetledi
SemiAnalysis
SemiAnalysis@SemiAnalysis_·
Transformer’s Attention mechanism has come a long way. We’d like to thank the researchers and the engineers in the open-source community for continuing to make high-performance AI accessible. Please celebrate with us by sharing this post, tagging more contributors, and sharing anecdotes to complete the open history of Attention! (1/8)🧵
SemiAnalysis tweet media
English
29
153
1.5K
137K
Zachary retweetledi
Zachary
Zachary@edingele59581·
Human size robot fighting?! SF is definitely a crazy place 😂
English
0
0
0
50
Zachary retweetledi
Lucas Beyer (bl16)
Lucas Beyer (bl16)@giffmana·
lololol, @AnthropicAI I know this is currently the least of your problems, but maybe don't vibe-translate your UIs too much :D I tried out the Claude chrome extension. And it's in French because that's my browser language. It translates "approve the plan" to "approuve le forfait". "Le forfait" as used here does mean "the plan" but... "plan" as in "phone plan" not as in "plan of actions"! Took me a nice 10min until I realized why the fuck it calls its plan a "forfait"
Lucas Beyer (bl16) tweet media
English
25
3
271
35.9K
Zachary retweetledi
Oussama Ammar
Oussama Ammar@daedalium·
Day 1 with Fable: $376 in extra usage fees. I can see my future in open source more clearly than ever.
English
18
3
113
20.5K
Zachary
Zachary@edingele59581·
Coucou = Hey in french
English
0
0
0
29
Zachary
Zachary@edingele59581·
That's what they call AGI ?
Zachary tweet media
English
1
0
0
29
Zachary retweetledi
Aoden Teo
Aoden Teo@AodenTeoMT·
Today, we’re excited to introduce Miso One, the most emotive voice model in the world. Miso One is an 8-billion-parameter text-to-speech model for highly expressive speech generation. It emotes like a human and responds faster than a human, with just 110 milliseconds of latency. We’ve open-sourced the model weights, with API access coming soon. Hear how Miso One sounds in the thread below.
English
556
718
9.8K
5.1M
Zachary
Zachary@edingele59581·
@garrytan Working on that actually ( and still waiting YC reply ;) )
English
0
0
0
67