Prof. Otinga Mare KF
25.9K posts

Prof. Otinga Mare KF
@maregust
causation triggers causality
Nairobi, Kenya Katılım Şubat 2012
3.7K Takip Edilen731 Takipçiler
Prof. Otinga Mare KF retweetledi
Prof. Otinga Mare KF retweetledi

Prof. Otinga Mare KF retweetledi

Did a very different format with @reinerpope – a blackboard lecture where he walks through how frontier LLMs are trained and served.
It's shocking how much you can deduce about what the labs are doing from a handful of equations, public API prices, and some chalk.
It’s a bit technical, but I encourage you to hang in there - it’s really worth it.
There are less than a handful of people who understand the full stack of AI, from chip design to model architecture, as well as Reiner. It was a real delight to learn from him.
Recommend watching this one on YouTube so you can see the chalkboard.
0:00:00 – How batch size affects token cost and speed
0:31:59 – How MoE models are laid out across GPU racks
0:47:02 – How pipeline parallelism spreads model layers across racks
1:03:27 – Why Ilya said, “As we now know, pipelining is not wise.”
1:18:49 – Because of RL, models may be 100x over-trained beyond Chinchilla-optimal
1:32:52 – Deducing long context memory costs from API pricing
2:03:52 – Convergent evolution between neural nets and cryptography
English
Prof. Otinga Mare KF retweetledi
Prof. Otinga Mare KF retweetledi

Sir @demishassabis has a mind for synthesis. His favorite book is about a grand theory of everything. His preferred philosophers are seen by some as opposites. His life's work ranges from board games to Nobel-winning science.
We're grateful to have hosted Demis and his @GoogleDeepMind team at @sequoia AI Ascent last week for a fireside chat. He kindly gave us permission to share this, and you can watch the full video here:
00:00 Intro
00:38 The Common Thread
01:29 Games as AI Training
02:59 Startup Advice 1.0
04:39 Founding DeepMind
07:25 DeepMind and AGI
08:52 AI for Science
10:37 Biology Breakthroughs and Isomorphic
12:42 New Sciences
20:29 Philosophy
English
Prof. Otinga Mare KF retweetledi

Elon Musk avait dit un truc qui m'avait marqué sur l'allocation de ressources. En substance : passé un certain niveau de richesse, l'argent n'est plus de la consommation, c'est de l'allocation de capital.
Cette phrase change tout.
L'économie, dans le fond, c'est juste un problème d'allocation. Tu as des ressources finies et des usages infinis. Qui décide où va quoi ?
Imagine une cour de récré. 100 enfants, des paquets de cartes Pokémon distribués au hasard. Tu laisses faire. Très vite, un ordre émerge. Les bons joueurs accumulent les cartes rares, les collectionneurs trient, les négociateurs trouvent des deals. Personne n'a planifié. Et pourtant chaque carte finit dans les mains de celui qui en tire le plus de valeur. Le système maximise le bonheur total de la cour. C'est ça, la main invisible.
Maintenant fais entrer la maîtresse. Elle trouve ça injuste. Léo a 50 cartes, Tom en a 3. Elle confisque, redistribue, impose l'égalité. Trois effets immédiats. Les bons joueurs arrêtent de jouer, à quoi bon. Les mauvais n'ont plus de raison de progresser, ils auront leur part. Les échanges s'effondrent. La cour est égale, et morte. Elle a maximisé l'égalité, elle a détruit le bonheur.
Le problème de la maîtresse, c'est qu'elle ne peut pas avoir l'information que la cour avait collectivement. C'est le problème du calcul économique de Mises, formulé en 1920. L'URSS a essayé de le résoudre pendant 70 ans avec le Gosplan. Résultat : pénuries, queues, effondrement. Pas parce que les Soviétiques étaient bêtes, parce que le problème est mathématiquement insoluble en mode centralisé.
Quand Musk a 200 milliards, il ne les consomme pas, il les alloue. SpaceX, Starlink, Neuralink, xAI. Chaque dollar est un pari sur le futur. Et lui a un track record. PayPal, Tesla, SpaceX. Il a démontré qu'il sait identifier des problèmes immenses et y allouer des ressources avec un rendement spectaculaire.
L'État aussi a un track record. Hôpitaux qui s'effondrent, éducation qui décline, dette qui explose, services publics qui se dégradent malgré des budgets en hausse constante. Le marché identifie les bons allocateurs, la politique identifie les bons communicants.
Le profit n'est pas une finalité, c'est un signal. Il dit : tu as alloué des ressources rares vers un usage que les gens valorisent suffisamment pour payer. Plus le profit est gros, plus la création de valeur est grande. Quand Starlink est rentable, ça veut dire que des millions de gens dans des zones rurales ont enfin internet. Quand un ministère est en déficit, ça veut dire qu'il consomme plus qu'il ne produit. L'un crée, l'autre détruit, et on appelle ça redistribution.
Dans nos sociétés il y a deux catégories d'acteurs. Les entrepreneurs et les bureaucrates. L'entrepreneur prend un risque personnel pour identifier un problème, mobiliser des ressources, créer une solution. S'il se trompe il perd. S'il a raison, ses clients gagnent, ses employés gagnent, ses fournisseurs gagnent, l'État collecte des impôts. Il est la cellule de base du progrès humain.
Le bureaucrate ne prend aucun risque personnel. Son salaire est garanti. Au mieux il maintient une rente existante. Au pire il la détruit par excès de réglementation, mauvaise allocation forcée, incitations perverses qui découragent ceux qui produisent. Mais dans aucun cas il ne crée.
Regarde les 50 dernières années. iPhone, internet civil, SpaceX, Tesla, Google, Amazon, Stripe, mRNA, ChatGPT. Toutes des inventions privées, portées par des entrepreneurs, financées par du capital risque. Pas un seul ministère n'a inventé quoi que ce soit qui ait changé ta vie au quotidien.
La France est devenue le laboratoire mondial de la dérive bureaucratique. 57% du PIB en dépenses publiques, record absolu. Une administration tentaculaire, une fiscalité qui pénalise la création de richesse. Résultat : décrochage face aux États-Unis, à l'Allemagne, à la Suisse. Fuite des cerveaux. Désindustrialisation. Dette qui explose.
Et le pire c'est que la mauvaise allocation s'auto-renforce. Plus l'État prélève, moins les entrepreneurs créent. Moins ils créent, moins il y a de base fiscale. Plus l'État s'endette et taxe. Boucle de rétroaction négative parfaite. La maîtresse pense qu'elle aide, et chaque année la cour produit moins.
Dans nos sociétés, ce sont les entrepreneurs, toujours, qui font avancer la civilisation. Les bureaucrates au mieux maintiennent une rente, au pire la détruisent. Aucune société n'a jamais progressé en taxant ses créateurs pour subventionner ses gestionnaires.
La question n'est jamais qui a combien. C'est qui alloue le mieux la prochaine unité de ressource pour maximiser le futur de l'humanité. La réponse depuis 200 ans n'a jamais changé. Ce ne sont pas les fonctionnaires.
Français
Prof. Otinga Mare KF retweetledi
Prof. Otinga Mare KF retweetledi

F = -kx - c ẋ + F₀ sin(ωt)
Mechanical resonance occurs when the driving frequency matches the system's natural frequency, leading to peak displacement. As the frequency (Hz) climbs, we observe the critical transition from low-frequency tracking to high-frequency damping and eventual isolation.
Watch as the internal valving manages energy dissipation. At the resonant frequency (seen around 2.4 Hz), the amplitude spikes as the system absorbs maximum energy. Beyond this point, the inertia of the mass leads to attenuation essential for maintaining stability in high-performance machinery.
This enables precise tuning of damping coefficients; perfect for optimizing ride quality, structural integrity, and mechanical longevity without the guesswork of traditional trial-and-error.
English
Prof. Otinga Mare KF retweetledi

y[1+(y′)^2]=k
The Brachistochrone problem is the ultimate "work smarter, not harder" of the physical world. While a straight line is the shortest distance, the cycloid is the fastest path because it front-loads acceleration.
It’s a beautiful reminder that in a gravitational field, the most direct route is rarely the most efficient. This is the Calculus of Variations in its most visceral, satisfying form.
Seeing the cycloid absolutely dust the straight line never gets old; it’s where mathematical optimization meets physical reality.
English
Prof. Otinga Mare KF retweetledi
Prof. Otinga Mare KF retweetledi

Mathematics. Infinity.
"Extruded Apollonian fractal."
By Yann Le Gall, @Yann_LeGall, Used with permission.
English
Prof. Otinga Mare KF retweetledi
Prof. Otinga Mare KF retweetledi
Prof. Otinga Mare KF retweetledi
Prof. Otinga Mare KF retweetledi

Ce gars de 20 ans, étudiant américain, vient de réaliser un exploit que des équipes entières n'ont pas réussi à accomplir en deux ans.
Une nuit. Trois dollars de composants. Une diode infrarouge, une photorésistance, un microcontrôleur de la taille d'une pièce de monnaie, un vieux portable.
Claude Code écrit le code pour convertir les données en coordonnées articulaires en temps réel. Résultat : 21 points de suivi, précision millimétrique. Il enregistre 14 secondes dans sa salle de bain. Il publie la vidéo sur Twitter.
Il n'en parle à personne. Sept jours plus tard, une grande entreprise technologique l'appelle. Elle développait un casque de réalité augmentée depuis deux ans et recherchait précisément cette technologie. Elle avait dépensé des millions. En vain.
Le lendemain, elle lui propose 230 000 dollars.
Defileo🔮@defileo
Français
Prof. Otinga Mare KF retweetledi
Prof. Otinga Mare KF retweetledi

Karl Popper on How We Gain Knowledge:
––Karl Popper: "People think, usually, that we acquire knowledge by opening our eyes and our ears and let the sensations stream into us, and they believe then that we record this like a camera. In my opinion, if we wish to get knowledge, we have to have a problem. It has to be knowledge of something.
We have to find out something. We don't have to wait for information to stream into us, but we have to be inquisitive if we want to get knowledge. If we were passive, we would gain a confused mass of sensations or something like that, which we would hardly be able to understand and to convert into what one may call knowledge.
Quite apart from that, perception is not really, in my opinion, the main source of our knowledge. The role of perception is to inform us about a momentary situation in our environment. But we couldn't really interpret our perceptions without knowing much more about our environment, namely, we know whether we are in a house or whether we are in a glacier.
So we have two kinds of knowledge: this wider knowledge of a frame in which we orientate ourselves, and the momentary perception which gives us information about the situation at that particular moment. And it is only this situation in which we can use our perception. So we have theoretical knowledge and, if you like, the momentary practical challenge to our theoretical knowledge.
And here comes perception in."
English
Prof. Otinga Mare KF retweetledi







