Matteo Robino 🌍

@rasbt Hard to judge without seeing it in full training, as it’s not the case here. I’m a bit skeptical about how this could scale without a norm layer, and also without skip connections on networks much larger than 100 million parameters. We always come back to the basics transformer

@iamsupersocks @Numerama sûrement une vieille photo

@Numerama Il a toujours les Meta Ray-Ban à ce que je vois. Dites-lui de mettre un petit scotch noir sur les caméras au cas où.

15 millions de paramètres. 1 seul GPU. LeWorldModel de Yann LeCun est un premier pas vers les « world models » capable de comprendre le monde physique 👉 l.numerama.com/IN0

@koylanai @IntuitMachine yes

@IntuitMachine memory stocks?

Ridiculous that a paper published a year ago (and republished by Google) tanked memory stocks today. This is how irrational the financial markets are.

@askalphaxiv they just train a LpJEPA ? what's new ?

Yann LeCun and his team can't stop cooking "LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels" One of the biggest bottlenecks of JEPA is they are hard to train, and this new research changes that. They propose LeWorldModel, which shows that a small model can learn a usable world model directly from raw pixels end-to-end. Sitting at 15M parameters, they made it without needing heuristics and avoiding anti-collapse hacks while staying competitive and planning up to 48x faster. Making JEPA based modeling much more accessible, cheaper, and stabler.

@cortisquared oui évidemment, d'un point de vue optimisation il est préférable de des le début prendre un gros modèle pour ensuite le quantiser que d'essayer d'entraîner avec moins de paramètres ou de rattraper avec du pruning.

Le truc qui m’étonne le plus avec les LLM c’est qu’on peut les quantifier agressivement (en gros jusqu’à 4 bit / paramètre) sans perte significative de précision. 4 bit c’est 16 valeurs possibles. Je n’y connais rien dans ce domaine, mais ça me laisse penser que >

@Okitwist @mengyer @ylecun have u read EchoJEPA ? I think it's the best example

@mengyer @ylecun Can we see the thing in action already ? jEPA has been talked about for years now , but all we see are papers and ideas . How about you fully train a model and show how it performs better than the existing ones ?

Nice work V-JEPA 2.1 from Meta. Our team has also been exploring for a long time on dense and hierarchical video SSL (e.g. FlowE, PooDLe, and Midway). Glad to see it works on a larger scale.

@KuangYilun @timrudner @NYUDataScience thanks !

@Robinohhh @timrudner @NYUDataScience Hi @Robinohhh, these LeJEPA & LpJEPA techniques were developed somewhat recently. In general, LeJEPA & LpJEPA have clear theoretical interpretations, good performances, and also provably generalize VCReg. They are promising candidate techniques for larger-scale training.

Nice write-up by @NYUDataScience about our recent SSL paper! 🚀🤖 We propose Rectified Distribution Matching Regularization (RDMReg) for JEPAs: a theoretically-grounded sparsification method that yields a sota sparsity–performance trade-off! 🌐Paper: arxiv.org/abs/2602.01456

@timrudner @NYUDataScience poke @KuangYilun

@timrudner @NYUDataScience Hello, do you understand why V-JEPA 2.1 does not utilize your method and opts for an EMA Teacher instead? Is it still considered superior to the LeJEPA/LpJEPA alternative without a teacher?

@cortisquared on sait que la qualité change selon le provider

Je ne sais pas si c’est un bug du modèle, un problème chez le provider ou mon agent (opencode) qui gère mal le contexte.

Il y a des utilisateurs de minimax-m2.5 ici ? Il se retrouve souvent planté dans des thinking loops, par exemple il se met a repeter la même phrase en boucle dans son bloc thinking et ne fait rien.

@AdrienBardes @JiangruiZhao @AIatMeta @ylecun V-JEPA 2.5 little typo, no ?

@JiangruiZhao @AIatMeta @ylecun We used it to blur faces and forgot about the watermark, will be fixed!

Why is there a watermark of Google banana here in V-JEPA 2.1? @AIatMeta @ylecun

@lagrandedeesse c'est un sociologue

Un grand philosophe... Voila pourquoi j'ai choisi de ne pas avoir de television...!

@evanfwost @FACEIT_OW @poko 👀

this was a faceit expert game last night, i think this guy is kinda sus, what do we think? @FACEIT_OW

@Amir_Intel @gchampeau je crois que oui, apresx je n'ai pas testé le a dégradation anglais - français non plus

@Robinohhh @gchampeau Même avec des outputs en français il est bon ?

🚨 Mistral AI nous vend une révolution avec son nouveau modèle Small 4, mais derrière le discours marketing bien huilé, la réalité est beaucoup moins reluisante Voici les 4 gros malaises qu'ils essaient de vous cacher! 🧵👇 ​1. Un modèle « Small » qui a la taille d'un éléphant 🐘 Mistral a osé baptiser son modèle « Small », alors qu'il embarque 119 milliards de paramètres et pèse la bagatelle de 242 Go à télécharger (mdr je vous laisse imaginer la machine de zinzin pour l'utiliser simonwillison.net). Dans la réalité, il est impossible à faire tourner sur un ordinateur classique, poussant les développeurs à s'exclamer avec ironie : « bon sang, "petit" ce n'est plus ce que c'était! » (reddit.com/r/LocalLLaMA/c…). ​2. Le syndrome de l'autruche face au vrai rival 🙈 L'entreprise crie victoire en se comparant au modèle américain GPT-OSS 120B, mais passe totalement sous silence le modèle qui le domine réellement : Qwen 3.5 (reddit.com/r/LocalLLaMA/c…). Ce concurrent asiatique, pourtant beaucoup plus léger, l'écrase en sciences complexes avec un score de 84,2 contre seulement 71,2 pour Mistral, et le bat aussi en programmation avec 74,6 contre 63,6 (reddit.com/r/LocalLLaMA/c…). ​3. Une IA « visionnaire » qui a sérieusement besoin de lunettes 👓 Mistral vante haut et fort les capacités visuelles révolutionnaires de son modèle (mistral.ai/news/mistral-s…). Pourtant, lors d'un test indépendant lui demandant de générer le dessin d'un pélican sur un vélo, le résultat a été désastreux : le vélo était « à l'envers et mutilé » et l'oiseau se résumait à une triste « série de courbes grises » (simonwillison.net). ​4. La fonctionnalité star vendue... mais cassée 💥 La plus grande innovation mise en avant (le réglage de l'effort de réflexion ou reasoning_effort) était tout simplement impossible à configurer à la sortie car absente de leur propre manuel d'utilisation (simonwillison.net). Pire encore, lorsqu'on laisse l'IA travailler en autonomie sur de longs projets, ce réglage fait complètement planter le système avec une erreur fatale (400 reasoning_effort must be one of none or default) qui bloque les utilisateurs (github.com/openclaw/openc…).

@gchampeau @Amir_Intel test le Qwen dense de 27b si ça passe en Q4 (sinon Q3), mais ça pourrait être lent en inférence

@Amir_Intel Au passage, pour du rédactionnel et de l'analyse de document en local, tu conseilles quoi avec un GPU de 16 Go ? Je suis toujours sur GPT-oss 20B mais y a peut-être mieux.

@PierreN04450898 @DFintelligence de quelle world model parles tu qui n'utilise pas de transformer ?

@DFintelligence Les world models ne sont pas basés sur les transformers, donc ils ne nécessitent pas des quantités astronomiques de données comme pour les LLM. Ensuite les flux audio/video/sensoriels utilisés par les world models véhiculent énormément plus de d'informations qu'un texte.

Bon sinon, tous les journalistes qui interviewent Yann Le Cun ou écrivent des articles sur lui, c’est quand que vous allez poser la vraie bonne question ???????????????????? ELLES VONT SORTIR D’OÙ, LES DONNÉES D’ENTRAÎNEMENT ????????????????????????????? Parce que c’est bien de parler de rupture avec les LLM, mais si les LLM ont marché aussi bien, aussi vite, c’est surtout parce que la data était disponible en masse. Et malgré ça, sa collecte coûte déjà des dizaines de millions de dollars. DONC COMMENT ILS VONT FAIRE ??????????????????????????

@Smockkyy @Herve_Le_Vrai_ @NVIDIAGeForceFR on peut imaginer que le jeu personalise la DA du DLSS 5 via un finetuning, d'où fait que le DLSS 5 est disponible sur très peu de jeu. x.com/i/status/20336…

@Robinohhh @Herve_Le_Vrai_ @NVIDIAGeForceFR Ça changeait pas la gueule des persos, à la base c'est pour gagner des perfs sans perdre en fidélité visuelle, pas la changer totalement

Nous annonçons le NVIDIA DLSS 5, une avancée majeure alimentée par l’IA qui franchit un nouveau cap en matière de fidélité visuelle dans les jeux, disponible cet automne. Le DLSS 5 enrichit chaque pixel avec un éclairage et des matériaux photoréalistes, réduisant ainsi davantage l’écart entre le rendu et la réalité.

@Herve_Le_Vrai_ @NVIDIAGeForceFR ça disait pareil du DLSS 1 et 2, aujourd'hui tout le monde l'utilise

@NVIDIAGeForceFR C’est de la merde. On remarque immédiatement que c’est de l’IA. Faites remonter l’info, les joueurs ne veulent pas de votre IA de merde.

@YogSoth0 @MistralDevs only 6b active

@MistralDevs "small" "119B parameters"

🔥 Meet Mistral Small 4: One model to do it all. ⚡ 128 experts, 119B total parameters, 256k context window ⚡ Configurable Reasoning ⚡ Apache 2.0 ⚡ 40% faster, 3x more throughput Our first model to unify the capabilities of our flagship models into a single, versatile model.

@gchampeau @Zai_org ⤴️ il y a deux liens

@gchampeau @Zai_org Prend l'abonnement codex a 20€ tu auras normalement pas mal de quota. Sinon prend Kimi pour 1$ kimi.com/kimiplus/sale?… reddit.com/r/LocalLLaMA/c…

Certains ont essayé GLM-5 via @Zai_org ici ? Pas encore fait de mon côté mais la différence de prix est tellement folle que je me demande si la différence de qualité justifie de rester sur Claude ou Codex, pour des projets persos.