techbrAIn

מדובר בחברה שמחלקת למיליוני משתמשים שלה, קונטקסט ווינדוס של מיליון טוקנים, באהלן אהלן, יש לה כוח חישוב בדיוני. כולנו בפור פליי של הAGI של אנתרופיק, שמשחק איתנו עם פיצ׳ר חדש כל כמה ימים. המשחק של התוכנה הסתיים, מעכשיו אנחנו במשחק של חומרה….

@darkfaqtor @shaysegal כי אי אפשר לבצע איתו pre-training אמיתי מאפס למודל רציני (30B ומעלה)..

@shaysegal מניח שזה לAI? למה לא m5 max נגיד?

כאילו שהמלחמה לא מספיק קשה יש כאן ארבעה 5090 שמסתכלים עליי ולא שלי

@0fir0z קו המחשבה הוא הנסיון להוזיל בעלויות, שבמקום לנסות לאמן מודל עולם במיליוני דולרים, שזה פתרון כללי. אולי אפשר, עם המוצר של skild, ובשילוב פתרונות תוכנה נוספים, לייצר פתרונות יותר ספציפיים, בהרבה יותר זול.

אתה מתייחס לחברה אולי הכי מוצלחת ומתקדמת בעולם בתחום הזה ספציפית שעד שהגיע לנקודה שהיא יכולה לרכוש משימה ולקוח באופן שבו תיארת הייתה צריכה לעשות הרבה חידושים ומחקרים האם ניתן? בוודאי, כשאתם זוג פרופ׳, המבוגר בהם עוסק בזה כל חייו והצעיר שבהם נחשב עילוי שבשנות העשרים המוקדמות שלו כבר צפו שיקבל פרס נובל בחייו אני חייב לומר שאני מתקשה לעקוב אחרי קו המחשבה שלך, מה אתה בדיוק מנסה להבין?

אני עדיין חושב שמודלי עולם הם הכיוון שכנראה ישלוט ברובוטיקה. אבל צריך להודות באמת: כשמחברים למודל חיקוי שכבת RL אפקטיבית שמלטשת את השלבים הכי עדינים וקשים בביצוע, זה כבר נהיה פייט אמיתי.

@0fir0z 2. זה מה שהיה פחות ברור לי, כי ראיתי כאן: x.com/skildai/status… שכביכול ״מתקינים מוח״ לזרוע הרובוטית, ומלמדים אותה לבצע רצף פעולות של עובד עם כמה עשרות שעות וידאו של אדם שמבצע את את זה, ואז היא מבצעת את הפעולות. אז אולי כן ניתן לצמצם עלויות של מודל עולם, לסביבות ספציפיות?

לא, אתה מפשט דיון מאוד מורכב ועושה חיבורים על בסיס הנחות שגויות 1. היכולת של מודל עולם לבצע משימות בסביבה מוכרת לא נגזרת מההיכרות עם העולם שבו הוא פועל, להפך, הרעיון הוא שמודלי עולם יכולים להגיע לסביבות לא מוכרות ולפעול בהן באופן טבעי על בסיס סביבות שאותן הם למדו בזמן האימון 2. אם היה לנו יכולת לפרק את המטלות לסט פקודות מדויקות, לא היינו צריכים את הAI, החוסר יכולת שלנו להגדיר את הסביבה, הרובוט והמשימה הגנריים באופן אלגוריתמי הוא הצורך שלנו ברכיב הAI שיוכל לגשר

@0fir0z 1. אוקיי, אז אתה מדבר על pre-training מלא, עם דאטהסט של אלפי סביבות שונות, כדי שיידע איך לפעול בסביבה חדשה, זה ברור, בעיית אימון כמו שאני מכיר (שזה עסק של מיליוני דולרים לאימון).

@0fir0z אנסה לחדד: אם מודל עולם מלא, הוא מודל שיכול לגרום ליומנואיד שלי לבצע לי את כל מטלות הבית אצלי, כי הוא מכיר את העולם (הבית שלי). אז האם הLLM agent stack שצירפתי, פשוט יוכל לגרום לרובוט לבצע מטלת בית ספציפית, לא בגלל שהוא מכיר את העולם, אלא כי נתתי לו ערימות של פקודות מדוייקות.

זאת שאלה יותר מדי כללית שהבעיה העיקרית בה היא בעיניי הבעיה העיקרית של אנשים שרק נחשפים לרובוטיקה לראשונה ומנסים להשליך מושגים והנחות יסוד ממה שידוע לנו בעולמות הAI ה״קלאסיים״ לרובוטיקה - זאת טעות בסיסית במקרה שלך, אתה מנסה להשליך גישה של benchmark שעל פניו היא נכונה אבל היא כשלעצמה בעיה שאינה פתורה עדיין בAI לרובוטיקה ולכן קשה מאוד לקיים דיון מדיד על פניו אם הפתרון הזה היה נותן 80 אחוז יכולת (בין אם ב10 אחוז או ב10000 אחוז עלות) כנראה שהוא היה מקבל את ההד המתאים ולכן בלי שאני מכיר אותו לעומק אני מעריך שזה לא המקרה

@0fir0z נכון, השאלה מבחינת התוצאה בפועל, זה יספק את ה80%-90% ממה ש״מודל עולם מלא״ מבצע? ההקבלה שלי היא כמו ההבדל בין pre-training מלא מאפס בעלות של מאות אלפי דולרים, לבין RAG שמספק 80% מהתוצאה, בגג 10% מהעלות. או שזה שונה לחלוטין?

זה לא world model. זה LLM agent stack לרובוטיקה. כלומר: שכבת פרומפטים, כלים וסקריפטים מעל מודל שפה. מודל עולם, לעומת זאת, מנסה ללמוד ולג׳נרט את דינמיקת העולם עצמו, לחזות תוצאות של פעולות, לתכנן קדימה ולבצע אותן אלה לא וריאציות של אותו דבר. אלה שתי פילוסופיות כמעט הפוכות. (ולמעשה הייתי נזהר מאוד מכל מיני אנשים כמו החשבון הזה שמפרסמים קליקבייטים)

@krishdotdev > Math creates strong engineers. > Strong engineers build C. ….

> Strong engineers build C. > C builds the foundations. > Foundations create leverage. > Leverage creates comfort. > Comfort creates Python. > Python creates AI. > AI creates vibe coding. > Vibe coding creates weak engineers. > Weak engineers create collapse. > Collapse creates strong engineers.

@nabotweet הזיה לקרוא כאן תגובות של אנשים שמזלזלים מקצועית ביאן לקון, שלא קידמו את המדע, אלפית ממה שהוא קידם.. ״הבנאדם לא רלוונטי יותר מ20 שנה״, בטח גם על אינשטיין הם היו אומרים את זה, כשהוא ניסה במשך עשורים למצוא תיאוריה שתיישב את הסתירה עם הפיזיקה הקוונטית. פשוט הזויים..

יאן לקון, מדען ה-AI הראשי של מטא, הקים סטארטאפ חדש. גייס מיליארד דולר בסיד. הסיד הכי גדול בהיסטוריה של אירופה. התזה שלו: כל מודלי השפה, ChatGPT, Claude, Gemini, בנויים על ארכיטקטורה שגויה. מיליארד דולר על ההנחה שכולם טועים. או שהוא צודק, או שזה הסיד הכי יקר שנשרף אי פעם.

@urieli17 יותר לכיוון הרעיונות למודל כספי שיחזיר לי את ה100K$ כשזה רץ בחדר העבודה בביתי..

@FootballIsraeli אמממ משכנעים ממש טוב שיש מודל כספי שמצדיק את זה?

אתמול בכנס של אנבידיה היו המון הכרזות מאוד משמעותיות ואני עושה פה סיכום של כל הדברים המעניינים שעלו. היו באמת הרבה אז אנסה להביא את העיקר. בהמשך, אביא גם פרשנות מעמיקה והדעה שלי על כל ההכרזות. נתחיל?

@urieli17 100 אלף דולר ידידי. רעיונות איך מחזירים אותם עם המפלצת הזאת?

@FootballIsraeli אני צריך להתארגן על אחד כזה

@GadiAleks מייקרוסופט שחררה אתמול מודל חדש שאומן על 100 מיליארד פרמטרים, ורץ לוקלית בכל מחשב על CPU בלבד (!!!), ככה שברור שהפתרון לא טמון בערימות כח חישוב שצורכות 1% מהחשמל בעולם. אנחנו עכשיו בשלב שהיו בסבנטיז עם מחשבים בגודל של חדר. ה״ג׳וק״ של הAI יגיע ולא בעוד הרבה זמן…

אני רואה עתיד שבו מודלים בקוד פתוח שיכולים לרוץ במחשב האישי שלנו יספיקו ל-99% ממה שאנחנו צריכים בדרך כלל.

@Amit_Mandelbaum זה לא סוד, שחלק לא קטן ממהשקעה בAI של המדינה, מיועד לתעשיות הצבאיות. ומי שסימנכ״ל חברה שמתמחה בשיפור הדאטה לAI למערכות בזמן אמת (כמו הlatency) - מכיר את האתגרים, בהחלט הוא מינוי מתאים לדרישות. גיוס אנשים מהתעשיה, יצריך התנהלות כמו התעשיה, וזה בהחלט מינוי הגיוני, וצעד נכון.

@MatanLevi1 כדי שהאקוסיסטם יהיה שלם, אתה חייב כאן מוצר שעולה לבד 3500$

אקוסיסטם שלם של אפל ב6500₪ איזה תקופה מדהימה

@claudeai You got 24 hours to respond..

@Amit_Mandelbaum התחום כמו שהכרנו אותו ייעלם תוך שנה. עם הvera rubin שיהיה זמין בחצי השני של 26, תוכל לבצע אוטונומית פרוייקטים שעד היום היית צריך צוות שלם - בפרומפט פשוט בבית. וברגע שמעבדי פוטונים ייצאו לשוק (וזה יקרה תוך 5 שנים) - יהיו פרוייקטים שבני אדם כבר לא באמת יוכלו לבדוק לעומק.

הסרטון הזה התפוצץ ובצדק כי הוא מתאר מה שמתכנתים רבים מאוד מרגישים בימינו, תהייה קיומית של למה צריך אותי בעצם. הבחור כאן מתאר איך נעלמה לו חדוות היצירה מצד אחד, איך נעלם לו החיבור הרגשי למה שהוא עובד עליו, ומצד שני, הוא מתאר, זה כמו סמים, הוא לא באמת יכול להפסיק עם זה, הוא לא יכול למחוק את כל הכלי AI ולהעמיד פנים כאילו הם לא קיימים. אין לו גם שום מסקנה לכאן או לכאן, הוא משקף בצדק את הבלבול העמוק שנמצא בעולם התוכנה כרגע. אני יכול להעיד על עצמי, שלכתוב קוד היום נראה לי כמו משימה ממש מוזרה, ואני נהניתי לכתוב קוד מאוד. אנשים בתגובות מתארים את ה Flow, המצב הזה שאתה נכנס לזון מסוים, שבו אתה מקודד, ברצף, בריכוז, את החווה הגדולה שבזה. זה נעלם, וכמו שהוא מאתר בסרטון, אנחנו גם לא מבינים לאן זה הולך בכלל, כולנו פשוט מחכים שהמעבדות הגדולות יראו מה אפשר עוד לעשות, ובינתיים אנחנו מנסים להבין מה קורה למקצוע שלנו, בהצלחה מועטה. . מעניין מאוד,ומבלבל.

@amsterdamski2 תוך לכל היותר 12 חודשים - גם הבעיה הזאת תיעלם. אבל אז אתה לא באמת ״תברא״ משהו, אתה תבקש משהו, שהקוד יבין כבר +- מה אתה רוצה, וישלח אלפי סוכנים שירימו לבד את הפרוייקט. בהתחלה ייקחו על זה מאות אם לא אלפי דולרים (שעדיין ישתלמו למי שצריך), עד שתגיע פריצת הדרך הבאה, שתוזיל עלויות.

טוב יש בעיה ואני אגיד אותה בקול רם ומי שירצה לסקול אותי באבנים יסקול אבל אני מביע פה כאב אמיתי: היום הבנתי ש, בניגוד לעבודה האמיתית שלי, היכן שאני יוצר ״מוצר״ ואז עובר הלאה ל״מוצר״ הבא, עם הקלוד קוד אני עובד כל הזמן על אותו המוצר. וזו בעיה >

@BryanKeIIy @tim_cook Nvidia has pretty much embarrassed Apple in the AI ​​market. but Nvidia has one problem - its tech is optimized for 2D. And now Apple has an opportunity to take the 3D tech that will turn Nvidia into Nokia, and save the Apple Vision Pro, for which this tech is perfect

Integrated photonic 3D tensor processing engine nature.com/articles/s4137…