Roei Herzig

If you want a vision encoder for dexterous manipulation, what should be the most important part to model? 🤔 Current standard models like CLIP, SigLIP, and DINOv2 have an incredible grasp of semantics and spatial details. But they lack the action-centric structure needed for downstream visuomotor control. But collecting annotated robotic trajectories at scale is SUPER expensive and largely unrealistic. So, how do we bridge this gap? We introduce CAIP (Contrastive Action-Image Pre-training) ⬇️ 🔸 Action-centric upstream: we align visual observations with action chunks through a contrastive objective. 🔸 Human video as a proxy: we represent 3D human hand poses analogously to robotic end-effector actions, tapping into a massive source of human demonstrations. 🔸 Massive scale: pre-trained on over 32,000 hours of manipulation video, driving both sample efficiency and robust generalization. 🔸 Hardware proven: achieves a 76% average success rate on a real-world Dexmate Vega bimanual @DexmateAI manipulator with dual 22-DoF Sharpa Wave hands @SharpaRobotics . 🔸 State-of-the-art: significantly outperforms strong baselines like DINOv2, SigLIP, MVP, and Qwen3.5 ViT across complex tasks, even under unexpected lighting changes and visual distractors. 🌐 Project: caip-encoder.github.io 📝 Blog: x.com/roeiherzig/sta… 📄 Paper: arxiv.org/abs/2606.17256 💻 Model: huggingface.co/yuvansharma/ca…

Just to say: Israel took home 5 medals – 4 silver and 1 gold – for a country that represents around 1% of India's population.

@DJiafei @NUSComputing @ASTARsg Good luck 🤞

Finally back in Singapore 🇸🇬! Excited to start my first day at @NUSComputing and joint appointment with @ASTARsg ! I’m excited to contribute to Singapore’s Embodied AI landscape, which has grown tremendously since I left for my PhD four years ago. If you’re working on Physical AI in Singapore, feel free to reach out, I’d love to chat about potential collaborations and opportunities!

@urieli17 אממ זה לא נראה לי הסנריו המדובר כרגע ל5 שנים הקרובות. תדמיין יותר עוזר בית שמחליף מצעים, עושה כביסה, מחליף כלים, ומנקה. זה יותר ריאלי.

@roeiherzig אתה לא ראית ציןצים על זה שחשמלאים ושרברבים חסינים מAI?

מה שאני אוהב בסרטון הזה הוא לא הצגת היכולת של הרובוט אלא העובדה שהוא מערער את הקביעות הנחרצות כל כך ש"AI לא יחליף את מי שעושה עבודת כפיים". אף אחד לא יודע מתי הטכנולוגיה תבשיל באמת, והChatGPT מומנט ברובוטיקה יכול להיות מעבר לפינה.

@redstone_hong DINO is not a strong encoder for affordances and ego-centric views. I find the paper's conclusion to be very weird.

Good paper! frozen Dino wins

Like any other “free” gift in life: thank you, but no thank you.😂

@0fir0z @jonastbrg @S_y_Cohen ישראל מקום מדהים בסהכ. עם רמה גבוהה ואנשים טובים.

@jonastbrg @roeiherzig @S_y_Cohen זה עלינו לבנות פה תעשייה כדי שישתלם להם לחזור :)

טוב זה תוכן של לינקדאין אבל למי אכפת אחד הדברים שאני הכי מתרגש לקראתם קורה מחר - האירוע הראשון של קהילת IRH - Israel Robotics Hub אני אעשה ספויילר ואגיד שזה אירוע שיש לי באמת מעט זכות בו - אבל שמבחינתי קם 100% מהקסם שהוא טוויטר. @0fir0z שהקשר ביני לבינו התחיל פה - ומשם זה קרה

@S_y_Cohen @0fir0z מגניב מאוד. המון בהצלחה

@roeiherzig @0fir0z אופיר ואיתי על זה. כבר בכנס הראשון יש שילוב של אקדמיה, יזמים ומשקיעים, ומגזר ציבורי. רק נמשיך למעלה מכאן

@VikiiML @urieli17 אחד לאחד מה שקורה בביי🤣😂

@urieli17 ישראלים מפחידים ישראלים אחרים מאימת לונדון בזמן שנופלים עליהם בתדירות יותר גבוהה מגשם זה טופ תופעות הזייה

אתמול חזרתי מלונדון והיה פשוט מצוין. בעיקר הבנתי שכל ההפחדות שאמרו לפי הטיסה היו ממש מוגזמות. הרגשתי הכי בטוח בעולם, דברנו עברית כרגיל ואפילו שאמרנו שאנחנו מישראל לאף אחד לא היה אכפת. היה מזג אוויר מצוין, אוכל טעים והרבה תוכן איכותי בכנס. 10/10.

Egypt Won 🤣😂

@urieli17 אחי, אתה חי במדינה שנמצאת כבר 3 שנים במלחמה חחח, ברור שלונדון עדיפה😂🤣 בוא נגיד ככה, למקרה שאתה צריך כיולים לעתיד..כל פעם שמפחידים אותך במדיה על כמה מפחיד ליהודים לחיות בחול, תחשוב מה רושמים במדיה לתייר הממוצע שרוצה לבקר בישראל...משנו בסטייל של כל שניה מישהו מת ברחוב🤣

This work is very interesting and sheds light on the factors that contribute to the scalability of RL.

@urieli17 זאת בדיוק הנקודה, שזה לא שונה בכלל. זה לא כזה שונה מאף חברה או מעבדה שבוחרת לעשות פיינטיון...

@roeiherzig טני חושב שבהקשר שלהם בטח. זה חלק מאוד ליבתי שמשפיע דרמטית. זה מאוד שונה מהרבה חברות שעושות את זה.

אני רואה שבייס מקבלים הרבה הייט על זה שהם לא שחררו בנ'מארקים למודל החדש שלהם ונראה לי הבעיה היא בתיאום ציפיות. אני לא חושב שיש מישהו בבייס שמתיימר להציג איזה מודל SOTA הכי חזק בעולם שמנצח את כולם. זה נטו מודל קיים שעשו לו התאמות למשימות של בייס. נטו לחסוך כסף.

@urieli17 אתה חושב שהבחירה ללכת על מודל פנימי כדי לחסוך טוקנים זה אסטרטגית שונה מחברות אחרות שבוחרות לעשות כך? (ויש המון כאלה...)

@roeiherzig ברור לכן אני חושב שהיה חוסר תיאום ציפיות. מלאאא חברות עושות את זה. זה לא בהכרח חדשות. פה זה כן יותר אסטרטגי לכן זה מעניין.

@yoavgo I wouldn't, but well, I remember they have a vision/embodied track, no?

@roeiherzig so why submit to acl?

whats your opinion re ACL submissions that have nothing to do with NLP (beyond the relation to LLM)? lets say a challenging tool use benchmark, but where nothing is specifically about human language, language use, etc?

@yoavgo Usually, language in robotics is pretty limited and mostly centered around instructions...

@roeiherzig i guess it depends? some aspects clearly relate to linguistic or linguistic adjacent abilities. these are legit (if these abilities get some of the focus). but others do not.