Guy tamam

@MikeE_3_14 זה ככ יפה

האם LLMs צריכים לישון? 🧠 (7 שעות מטכליות לפחות😎) מתברר שהסוד לחשיבה עמוקה ב-ai לא מסתתר בעוד כוח חישוב גולמי או בזיכרון מנופח, אלא בארכיטקטורה חדשנית שמשנה את הדרך שבה מודלים "מעכלים" מידע. שיפור זיכרון תמורת חישוב 💾 📳מודלים מבוססי טרנספורמרים קורסים(attention וכאלו) ״תחת העומס״ כשמזינים אותם בטקסטים ארוכים. הפתרון של התעשייה היה מעבר למודלים "היברידיים", שמשלבים מנגנוני Attention לשליפת מידע טרי, עם "משקולות מהירות" לאחסון דחוס של היסטוריה(זוכרים ssms, ממבות וכאלו - דיברתי עליהם הרבה ב -2024) אבל כאן מסתתר פער חשוב: היכולת טכנית לאחסן מידע לא מבטיחה את היכולת לחשוב עליו. המודלים האלו זוכרים מצוין, אבל נכשלים לחלוטין כשהם צריכים לבצע חשיבה מורכבת על מידע שכבר נמחק מהזיכרון הפעיל (הקאש) שלהם. כאן נכנסת החדשנות של המאמר "Language Models Need Sleep", שמציג פתרון שלם המשלב שיטת אימון ומנגנון פעולה בזמן אמת. איך זה עובד בזמן אמת (אינפרנס)?כשאתם מזינים למודל טקסט ארוך, רגע לפני שחלון הקונטקסט שלו מתמלא והמידע עומד להימחק, המודל מבצע עצירה יזומה ונכנס ל"מוד שינה". בשלב הזה, הוא מפסיק לקלוט מידע חדש, ובמקום זאת מבצע סדרה של מעברים מחזוריים (רקורסיביים) על המידע שכבר קרא. הוא משתמש בכללי למידה פנימיים כדי לעדכן שוב ושוב את המשקולות הקבועות שלו. הפעולה האינטנסיבית הזו ממירה זיכרון זמני חולף למבנה ידע עמוק ויציב. איך מאמנים את זה ?כדי שהרשת תדע לבצע את הקסם הזה, יצרו תהליך אימון עם טקסט ההקשר דרך כל אותן לולאות "שינה". האימון הזה מכריח את המודל ללמוד בעצמו מהי הדרך המתמטית האופטימלית לדחוס טקסט לזיכרון שימושי. למה זה משנה? כי הוא מעביר את נטל החישוב הכבד לעיבוד שמתרחש "ברקע", תוך כדי הקריאה. כך, כשאתם שואלים שאלה בסוף הטקסט, המודל שולף את התשובה במעבר מהיר אחד, בלי לפגוע במהירות התגובה (לייטנסי). הניסויים מוכיחים שככל שמאריכים את "זמן השינה", הביצועים משתפרים במשימות הדורשות הסקה מורכבת (כמו ניתוב בגרפים או חשיבה מתמטית ב-GSM-Infinite) – בדיוק היכן שמודלים היברידיים רגילים קורסים. בסיכום: חלון קונטקסט אינסופי הוא לא התשובה. כדי ש-AI יוכל לבצע חשיבה רב-שלבית אמיתית, צריך לאמן אותה לקחת הפסקות, לעכל את המידע אופליין, ולהפוך אותו לידע שמוכן לשליפה. 🚀

@garrytan The new game for those who wonder isn’t just finding a restaurant it’s arranging the entire evening. From proactively understanding the need for a night out, to booking a babysitter, reserving a table, and managing everything if you decide to stay in the city. ->dont underprice.

Founders must stop trying to building 2010-era businesses with 2026-era technology. Don't try to rebuild Foursquare or Yelp. Don't try to recreate Basecamp by 37 Signals with $10/mo SaaS pricing. Don't underprice! If it works it's worth a lot more. Don't be tempted to become "Tech enabled PE" with revenue tricks. The rules of tech changed with AI. Play the new game.

@MikeE_3_14 🚓״סובארו פורסטר תעמוד בצד״

❌️חייב לפרוק: הדרכים הרעות ביותר להתחיל איתי שיחה: 1. יש לי חבר שיש לו תכונה x אז אין מצב ש x תופס פחות מ y% באוכלוסיה 2. אני לא מומחה בנושא, אבל המאמר/מומחה/בלוג הזה בטוח(!!) טועה 3. אני לא מבין גדול במתמטיקה אבל אני מנסה לפתור בעיות ארדוש עם ai 4. עשיתי מחקר מעמיק בנושא x ולמרות ששמעתי עליו אתמול, יש לי תובנות מהפכניות 5. עשיתי משהו ש 100% אף אחד לא עשה בוודאות יש לי מדגם גדול מספיק וכל השיחות האלו מסתיימות במבוכה של הדובר. תהיו צנועים יותר ומבוססי עובדות בבקשה! תביאו לי את הדרכים הרעות להתחיל שיחה איתכם👇

@MikeE_3_14 הסמקתי

@GuyMosheTamam יש לך, אני בטוח😉

🎲שאלת הסתברות של מייק שתעזור לכם להתעורר במקום הקפה שלכם: לא קשה ואלגנטית 5⃣ תגרילו 5 מספרים מ-1 עד 100 ללא החזרה (זה חשוב, מספרים שונים). 📊מה הסיכוי שהם יצאו ממוינים בסדר עולה או יורד (גם אם לא רציף)? רוב האנשים טועים פי 10 לפחות. תגיבו עם התשובה שלכם (בלי להסתכל קודם!).

@MikeE_3_14 אההה, הריכוז שלי יצא לסיבוב, דימיינתי בראש שאלה אחרת. לצערי אין לי את הכלים לחשב דבר כזה מהראש בעצמי :)

@GuyMosheTamam אוקיי, אז מה התשובה?

@HddSpyr @useKled נכון

@GuyMosheTamam @useKled בטוח זה ישפיע כמו בllm אבל נראה לי שאנחנו עדיין עושים בלייצר ולצרוך מלא דאטה מבלי לבחול כדי שאולי אולי יהיה סיכוי שנגיע ככה לגנרליזציה

הינה טייק מעניין של הסינים על אחד מצווארי הבקבוק הכי גדולים בעולם הרובוטיקה: איך משיגים מספיק דאטה פיזי אמיתי כדי לאמן רובוטים הומנואידיים? במערב בונים מעבדות, מחסנים וחדרי לוגיסטיקה כדי לייצר את הדאטה הזה. משלמים לאנשים לבצע משימות מבוימות כדי ללמד רובוטים איך העולם עובד. סין, כמו סין, מצאה דרך לעשות את זה בסקייל. ↓ 🧵

@Eyal__Weiss שאלה, פתאום תהיתי, איך ואם בכלל ישפיעו פערי התרבות בין הדאטה הסיני לדאטה המערבי על הרובוטים שיאומנו עליו, אגב, גם בדאטה המערבי, יהיו פערים בין סקנדינבים לאמריקאים, אתה חושב שזה שיקול?

יש כל מיני שיטות איסוף דאטה לאימון רובוטים, רובן משלימות ולא חליפיות. דאטה איכותי עדיין מהווה צוואר בקבוק, אבל זה הולך ומשתפר. ספיר מתארת יפה שיטה מעניינת שמפעילים כרגע בסין לרכישת מידע שנועד לצורך חיקוי פעולות של בני אדם 👇🏽

@HddSpyr @useKled פתאום חשבתי, איך ואם בכלל ישפיעו פערי התרבות בין הדאטה הסיני לדאטה המערבי על הרובוטים שיאומנו עליו, וגם בדאטה המערבי, יהיו פערים בין סקנדינבים לאמריקאים, מעניין אם זה שיקול

@GuyMosheTamam @useKled כן זה לא אותו הדבר הם מרקטפלייס שאתה עושה ומעלה.. זה קצת שונה פה אבל מסכימה עובדים על מני פתרונות גם במערב

@MichaStocks ה90 מיליון זה לא נתון רשמי. ובהנחה שכן, הarr של בייס הוא 100 מיליון דולר, עבור כל דולר הם משלמים 0.9 דולר היחידה הזו רווחית. הבעיה פה היא לא ה cac, הבעיה היא עלויות המחשוב, זו הסיבה שהם מפתחים מודל פנימי. שאר הביקורת קצת חסרת מעוף ובעיקר מתארת את תסכול המשקיעים.

וויקס. $WIX

@hasolidit @MichaStocks למה את מניחה שהבייבק הוא עבור ההנהלה? לדעתי זו ביקורת קצת קשה ומתעלמת מהמחויבות שההנהלה הציגה לאורך השנים כלפי החברה. השערה שלי שהבייבק היה הכרחי אסטרטגית כדי לאפשר להנהלה לבצע מהלכים אגרסיביים לטובת החברה שהמשקיעים לא יאהבו. כרגע זו תיאוריה אולי נאיבית, אבל ככה נראית התבצרות.

אחלה טייק. הביקורת שלך על הבייבאקס הזכירה לי את הגרף הזה... בתאוריה ההנהלה יודעת טוב מכל אחד אחר מתי המניה נסחרת מתחת לשווי ההוגן ואם שווה לבצע רכישה עצמית. בפרקטיקה הנהלות רבות נוטות לבצע בייבאקס דווקא כשהמניה יקרה ולעצור אותן כשהמניה זולה. למשל ב-2008 תכניות לרכישה עצמית נעצרו כמעט בכל השוק. לא יודעת אם זה המצב בוויקס, אבל הנהלות רבות מתוגמלות לפי פרמטרים כמו צמיחה ברווח למניה, ובייבאקס בכל מחיר זה קיצור דרך מכאני לשם... עוד סיבה מדוע אני מעדיפה דיבידנדים.

@MHorovicz מאוד מגניב מרים. זה מעניין/הגיוני להשתמש בזה לחיזוי כלשהו? לדוגמא, להזין למודל תוכן חדשותי אקטואלי על טראמפ ולבקש ממנו שיחזה/יכתוב ציוץ אפשרי שטראמפ יעלה? לגבי טראמפ, הוא מפרסם במקביל באיקס וברשת שלו?

את הניסוי החביב של טראמפ ומודל השפה סיימתי כשהראש שלי מפוצץ בעוד כיוונים ורעיונות מחקריים להמשך. אז המשכתי להעמיק וזה מרתק. לקחתי סה״כ 220,000 ציוצים אמיתיים ואימנתי 4 מודלים פרסונליים: על טראמפ, אילון מאסק, חברי הקונגרס דמוקרטים, וחברי קונגרס רפובליקנים. זה מייצר לנו מרחב מגוון ומקור להשוואה. ספוילר? הבן אדם הכי כאוטי זה לא בהכרח מי שדמיינתם. אז מה קיבלנו הפעם? 🧵 >>

@atmoio Dear Mo, thank you for being the voice of reason. the amount of “tech influencers” on payroll criticizing this vid worries me that you’ve been marked by vc’s and labs as a tokenminimiser. Maybe consider keeping low profile for a while..:). Keep pushing those buttons 🙌🏾

a few of you have been riled up by this video which includes such iconic phrases as AI “sucks balls at coding,” “go fuck yourself,” “materialist propaganda wet dream bullshit,” passing AI through a “glory hole,” and lastly, failing to properly take accountability for my children and mother-in-law. for posterity, i’d like to make a written record of actual claims i’ve made without the seemingly not-so-funny shit-posting wrapper. 1. there is no consensus on intelligence in animals. why are armchair thinkers claiming AGI is already here? and why is demis hassabis meanwhile saying we are nowhere near AGI? 2. often when the shortfalls of LLMs is brought up, proponents say “yeah but, 12-18 months these issues won’t exist anymore.” this constant prognostication about future progress is not useful discourse and is a form of religious psychosis. i say that in future videos, i will simply judge llms by their current abilities, and not by future potential. 3. i say that llms are not actually intelligent and that david deutsch argues intelligence and consciousness/personhood seem to be inseparable. i say that for this reason llms are not actually intelligent but “trick” credulous people into believing they are. here of course we are getting into axiomatic word game territory so no one wins. that feigning intelligence is equivalent to it is not a settled matter and while this “fake” intelligence may help you do some work, it does not obviate the need for clearly delineating between true intelligence and a model of it. actually nothing is more important than this very question. regarding ai “sucking balls at coding”, i was somewhat re-enlivened to make this claim after watching a 20 minute video i uploaded on yt back in february when i used to do coding screen shares / daily dev logs. i was (am) a huge user of these tools. the “sucks balls” isn’t that it can’t do some things for you. it’s that it can’t ultimately get you to your final final destination. to me, it wasn’t so obvious there were net gains in productivity, all things considered, even though day to day you kind of felt like there were. i make about 2-3 videos a week and it’s easy to miss that these videos are usually performative storytelling. they are presentations meant to get you through the whole thing. that this one was particularly over the top was precisely the point. it’s a “drunken rant” genre that is meant to be a vicarious/cathartic ventilation of pent up frustrations that many of us feel towards the industry-wide token mania that is resulting in the serious loss of what it even means to be human. and for what? higher productivity gains? my job is simply to tell stories that draw attention to this fact.

@HddSpyr נשמע מאוד הגיוני, יהיה מעניין לשמוע מה קרה שם בפנים

@GuyMosheTamam יכול להיות אבל בסוף זה מבלבל את כולם. גם פנימית וגם חיצונית וזה מייצר תחרות לא בריאה. בייחוד שלאט לאט היכולות האלה מתחילות להיות גם אצל כל חברות המודלים וההנגשה שלהם יכולה לקרות ביום והם ימחקו

כל הפיד שלי מלא עכשיו בדיווחים על זה ש־Wix הולכת לפטר 20% מהעובדים שלה. ודווקא בזמן ש־Base44 בצמיחה משוגעת… Wix מתרסקת. ולא, זה לא עוד סיפור על “AI מחליף עובדים”. לדעתי זה סיפור הרבה יותר מעניין ומורכב: חברה שזיהתה נכון את מהפכת ה־AI, עשתה כמעט כל מה שצריך על הנייר… אבל אולי איבדה שליטה על הכלכלה של המהלך. 🧵

@HddSpyr אולי אני טועה כמובן

@HddSpyr לא הכרתי, הסתכלתי הרגע, וזה מעניין כי אם הבנתי נכון יש כאן וריאציה של וייבקוד+editor, שאפילו היום זה לא לגמרי פתור במוצרי וייב קודינג אחרים, וכמוצר הוא משתלב מדויק יותר לדנ״א המוצרי שלהם. מה שכן מדובר על מסלול אדופשן שונה והרכישה של בייס הייתה כדי לצמצם את הפער של הai הכי מהר

@DaveShapi Wasn’t familiar with this theory, but Im always telling my wife, for us to improve as a species we will need to go through the “crab” molting phase, we will be exposed, sensitive and it will be a mess. But we will grow stronger.

Humanity is about to go through a major, collective positive disintegration. It's gonna be messy.

@MatthewBerman Mo is different, it’s not the subject but the mix of his character, cleverness , wit, etc. I don’t care if hell talk about plumbing it still be more interesting than 99.9% of “tech influencers”

He called out my openclaw use cases video as proof that optimistic videos about AI get more views. Guess he forgot he gets millions of views on his videos?

@Eyal__Weiss - שידרוגי תוכנה - טכנאים לא תלויים - jailbreak

@Eyal__Weiss טירוף! מעניין אילו סגמנטים יפתחו סביב זה - עלי אקספרס -בנייה עצמית לא מורכבת - שידרוגי חומרה - נגיד סוגי ידיים לעבודות ספציפיות - obd -חלקי חילוף לא מקוריים -״ביגוד״/קאברים/פיירינג כמו לאופנועי כבדים - כלי עבודה/בית יעודיים להיומנוידים - בכללי מוצרים שהמשתמש הוא רובוט טירוף😅

יפה, מתקדמים. אב-טיפוס סיני לרובוט הומנואיד מבושל לרמה סבירה (כנראה) ב-150 אלף שקל. אין סיבה אמיתית שרובוט כזה יעלה יותר מ-25k$ (יעני חצי מחיר מהיום) עוד ~5 שנים. בטווח הארוך יותר, סביר שנראה מוצרי קונסיומר עם תג מחיר שנע בין אלפי דולרים בודדים למוצרים בסיסיים יחסית ועד סדר גודל של 20-25 אלף דולר למוצרי פרימיום, עם מגוון רחב סביב 10-15k$. רובוטים הומנואידים הולכים להיהפך לתעשייה שלמה ו*ענקית* בסקייל עולמי. לשם השוואה, בעולם יש כנראה סביב ~1.5 מיליארד כלי רכב מסוגים שונים, ואילו "רק" כמה עשרות מליונים של רובוטים (מכל הסוגים). סביר שנראה את תעשיית הרובוטים כולה (לא רק רובוטים הומנואידים) מדביקה על פני שנים רבות (עשורים) את המספרים של תעשיית הרכב, ואף עוברת אותה בשלב מסוים. מתוכם, יש מבנה פירמידה הקשור בין רמת מורכבות למספר, כלומר המון רובוטים בסיסיים יחסית, ו"מעט" רובוטים משוכללים. אגב, לא ניתן היה להתקדם עם תעשיית הרובוטיקה לשלב הנוכחי (ובטח שלא למה שמתוכנן לעשור הקרוב) ללא פריצות הדרך שנעשו בתחום הבינה המלאכותית. אז אם אתם סקפטיים לגבי אמירות 10X למיניהן בתחום התוכנה (אולי בצדק במקרים מסוימים), אז קחו בחשבון שיש בהחלט השלכות דרמטיות על העולם הפיזי שצפויות להתרחש מול העיניים של כולנו, שאף אחד לא יוכל להתכחש אליהן. mako.co.il/news-channel12…