Roei Herzig

🚨Humanoid learning faces a major data gap: existing policies are trained on just a few hours of data. Video generation models offer a scalable bridge. Our new work shows how a humanoid can execute human actions from generated videos zero-shot. @berkeley_ai @nyuniversity Kepler

Understanding the principles underlying Embodied AI systems is critical if we want to build embodied models.🧠🤖 But beyond that, the key question is: based on those principles, what architectures and inductive biases are best suited for these models? 🤔 This is where the real challenge begins. Unlike CNNs and Transformers, we are still far from identifying the right models and representations for Physical AI, and this is the line of research that excites me most and is the main focus of my research.🤖🔬

📢 Deadline Extension for MMFM Workshop @ #CVPR2026! We are extending the submission deadline to **March 14, 2026 (AoE)**. For updated details on submission timelines and guidelines, please refer to the workshop website and OpenReview page below. We’re excited to see your work!

TLDR: Your SSL model behaves like this: 1. Directional neural collapse: within-class variance shrinks along class-separating directions, even if it stays large elsewhere. 2. Task orthogonalization: different downstream tasks tend to use nearly orthogonal decision directions.

Our deadline is only one week away! Don't forget to submit!

Reward modeling with trajectories is really neat!

Always be on team Jitendra 🦾

@holynski_ (It is actually the best way to learn structured underlying representations for pre-training from human videos, which do not have any robotic annotations, but can still be used for robotic action prediction.)

@holynski_ I think the point is not to diminish the role of 3D representations, but to be clearer about the goal: we should learn these representations not just to solve more 3D tasks, but to support perception for action. 3D/4D representations carry important signals about a robot’s state.

it might be true that 3d isn't as useful for some of the things we thought it might be (robotics?), but the most pessimistic interpretation of this blog as "3d isn't useful" or "3d is an unnecessary intermediate representation" is wrong. spatial (3D) quantities are themselves valuable. at the very least as interpretable human interfaces, as efficient representations of the visual world, or as signals that define or guide the construction and layouts of our spaces. the association of 3D creation/prediction with the "fake tasks" presented in Ross's talk is misleading. surfaces, free space, and the 3D world are actually very real things, unlike n-grams, semantics, and other NLP tasks that were strictly human constructs. 3D is no more fake than the pixels in our videos. if anything, it's probably less fake---like, what's natural about a grid of pixels?

@rosikand @vincesitzmann No...For example, MIT's Horn "Robot Vision" book. Vision was built to enable agents operate in the physical world.

@roeiherzig @vincesitzmann How? Wasn’t the entire field about manually crafting feature extractors and filters?

I agree with @vincesitzmann, but I’d argue computer vision was fundamentally about perception-action in its early days. That focus only shifted once the Internet and large-scale data took over in the 90s. We are now simply returning to our roots. 🤖

@vincesitzmann Couldn't agree more. Computer vision, from its origins, was built to enable robotic control. Perception and action have gone hand in hand for a long time now (e.g., "Robot Vision" by Horn).

In my recent blog post, I argue that "vision" is only well-defined as part of perception-action loops, and that the conventional view of computer vision - mapping imagery to intermediate representations (3D, flow, segmentation...) is about to go away. vincentsitzmann.com/blog/bitter_le…

@GuanyaShi Omg, when I tell people that training a 3-4B language decoder is so relaxing, they don't believe me!

This is so true! My main relaxation activities (during the work time) now are paper reading and training ~1B language models 😂

@Amit_Mandelbaum נקודות יפות. האמתי שיש המון דברים שAI לא קרוב לפתור, אז התשובה שלי היא למה לא להיות חוקרי AI, פשוט?...

מחשבות נוגות על claude code, בינה מלאכותית והעתיד המקצועי יום אחד נסעתי עם חבר טוב ברכבת, ושאלתי אותו את השאלה, בהנחה שהסיכוי שלא יצטרכו את המקצוע בעוד חמש שנים שלך יותר גדול מ0, מה אתה עושה כדי להיערך לזה? לשנינו לא הייתה תשובה טובה מספיק הנה האמת, האמת היא שמאחורי כל חדוות היצירה הגדולה מאחורי השימוש בכלי AI מסתתרת תחושת ריקנות גדולה, ואפילו פחד מסוים. ככל שהכלים מתקדמים הצורך בפיקוח והתערבות אנושית הולך ופוחת. גם העבודה נראית שונה מאוד, מללכת ולעבוד קשה בלתכנת (ואני באמת אוהב את זה) העבודה הפכה למתן הוראות, לחכות שהוא יסיים (לגנוב איזה משחק שחמט או עוד סרטון ביוטיוב ברקע) ולהמשיך, ואחרי שמפשיטים את הכיף (האמיתי) ביכולת ליצור לבד משהו מאפס, נותרת השאלה המהותית של מה אני עושה בעצם, וחמור מכך, האם באמת צריך אותי כאן, ואם כן, האם זה יהיה נכון עוד שנה? שנתיים? חמש? כי אם כל אחד יכול לייצר מוצרים מאפס, אז גם המוצר שלך נבלע בתור רעש אינסופי של מוצרים. ואם כל אחד יכול להיות גם מתכנת גם איש פרודוקט, גם איש שיווק, אז מה יעשו מי שלא רוצים את זה? מה יעשה מי שלא רוצה להיות ה 10x Engineer? מה יעשה מי שלא יכול? הרי התמונות היפות שצילמתם והעליתם לאינסטגרם נלחמים ברעש האינסופי ששם, וזה עוד תחביב, מה קורה כשהמקצוע שלכם פשוט נבלע ברעש אינסופי של מיליוני אנשים שעושים בדיוק את אותו הדבר? אני מרגיש שהדבר חמור פי כמה לאנשי AI כמוני. כשעשיתי את התואר השני שני לפני יותר מעשור היו מעט מאוד אנשים בעולם שידעו לעבוד טוב עם מודלים. בחצי שנה האחרונה נחשפתי להמון חברות ואנשים שבנו מוצרי AI מעולים בלי שום רקע קודם. עזבו, אני בעצמי בניתי מוצרי AI סופר מורכבים עם כמעט 0 התערבות שלי. דברים שלא היו אפשריים לפני חצי שנה. לפני כמה שנים כתבתי פוסט שהפך להיות מאוד וויראלי על למה ממש חשוב לעשות תואר שני ב AI, היום? אני בכלל לא בטוח שהייתי ממליץ על זה. מה העתיד המקצועי של אנשי הטכנולוגיה? אני נמצא בתעשייה כבר 15 שנה והשינוי שקורה עכשיו הוא משהו שלא ראיתי בחיים. מקצועות שלמים הולכים להיעלם. וכן, אני יודע, תמיד זה קרה, ופעם כולם היו חקלאים, ובכל זאת, לאן אנחנו הולכים מכאן? לזה מתווספת תחושות ה FOMO האינסופית שגובה מחיר נפשי משמעותי, הצורך להיות מעודכן כל הזמן, הצורך ״לא להישאר מאחורה״, ותאמינו לי, בתור אחד שחווה איזה גל אחד או שניים של AI-Hype, מה שקורה עכשיו הוא דבר אמיתי, והוא משפיע לא טוב על המון אנשים סביבי. אנשים מוכשרים, וחכמים, שמרגישים שהם יוצאים מהמירוץ, או שפשוט לא בא להם להשתתף בו יותר. מישהו כתב פה לפני כמה ימים שעכשיו זה זמן מצוין להיות יזם. אני חולק עליו, אני לא מקנא בעליל ביזמי AI היום, שמוצאים את הטכנולוגיה שהם משתמשים בה משתנה כל חודש, שנלחמים בילדים מסן פרנסיסקו שעובדים 996 (תשע עד תשע, שש ימים בשבוע). עוד מוקדם לשפוט מה יקרה, ויש שיגידו שמה שהיה הוא שיהיה ואנשים ממציאים מקצועות חדשים. אני כן מרגיש שיש פה מחיר נפשי משמעותי, שלא מדברים עליו מספיק, ואנחנו לפני (שלא לומר בעיצומו) של משבר אמיתי, שקשה לשפוט איך נצא ממנו ולאן.

While our paper shows how you can move from video generation models to robot trajectories, I believe the right long-term approach is to work with latent representations. arxiv.org/abs/2512.05094

@carlosdponx Well said.

I disagree. Learn the fancy stuff first if that interests you, go as deep as you want into it, then learn the fundamentals underneath when you know the fancy stuff enough to know you’re missing the “why” of how it all works underneath. If you tell new people they have to learn MPC and pid loops before they get to play with training and deploying AI models, they’ll go too long without the results that got them interested in the first place and churn out. Don’t listen to purists. You can learn stuff in whatever order you want, there are no rules and robotics isn’t near solved yet.

@cs_mshah Yes, we will release the code in the coming weeks, hopefully soon.

@roeiherzig Amazing work @roeiherzig. When are you planning to release the code?

🚨Humanoid learning faces a major data gap: existing policies are trained on just a few hours of data. Video generation models offer a scalable bridge. Our new work shows how a humanoid can execute human actions from generated videos zero-shot. @berkeley_ai @nyuniversity Kepler

Well, we put out a paper a few weeks ago showing how to do this 😀....We proposed a generalist policy for achieving it 🤖✨: x.com/roeiherzig/sta…

@tkipf Holy shit! This is amazing

Personal intelligence in Gemini is 🔥🔥🔥 If only this existed before I did all my US visa/GC paperwork. So many hours spent on painstakingly reconstructing my precise travel history over many years by manually sifting through emails, calendar entries etc. — now this is just a prompt away.