Yaniv Nikankin

103 posts

Yaniv Nikankin

Yaniv Nikankin

@YNikankin

PhD student @Technion_CS_NLP, looking inside language models

เข้าร่วม Ocak 2022
428 กำลังติดตาม259 ผู้ติดตาม
Yaniv Nikankin
Yaniv Nikankin@YNikankin·
@WashingtonExp בשולי הדברים, זה היה טיווין לניסטר שאמר את זה
עברית
2
0
7
253
Rotem Oreg-Kalisky (Washington Express)
בממשל ממהרים להריץ דף מסרים שיצדיק את מזכר ההבנות (MoU) במקום לפרסם את המזכר עצמו וזה לבדו אומר דרשני, אבל כמות הסילופים והעיוותים שיש פה היא בליגה אחרת: 1. "לאיראן לעולם לא יהיה נשק גרעיני". איך ה-MOU מעגן את זה? איזה מנגנונים - בעולמות הטכנולוגיה או הפיקוח - מבטיחים את זה? כרגע זה נראה כאילו האיראנים אמרו "וואלה נשבעים באמא שלא נחתור לגרעין, נודרים לך" וטראמפ קנה את זה. 2. הקשקוש על "אובמה לא הביא הסכם חתום" הוא פשוט, וסליחה על השיפוטיות, מביך. כאילו שש המעצמות, איראן והאיחוד האירופי התדיינו במשך שנתיים ואז בסוף סיכמו את המגעים שלהם בלחיצת יד ג'נטלמנית. בכללי, הניסיון להסביר "למה זה הסכם יותר טוב מההסכם של אובמה" (יש section שלם על זה בדף המסרים) מעיד כאלף עדים על איכות ההסכם ועל עיסוק היתר של טראמפ באובמה, בעיקר לאור העובדה שיש לטראמפ לפחות יתרון אחד מובהק - הוא באמת השמיד, פיזית, הרבה מהיכולות של איראן. 3. לא חושב שיש נתונים אבל "סיום המלחמה בלבנון" מעניין, לדעתי, בערך 5% מהציבור האמריקאי, ולדעתי יותר מעניין דמוקרטים מאשר רפובליקנים. ההחלטה להדגיש את ההישג הזה היא להבנתי בעיקר איתות שהכלב האמריקאי לא נותן לזנב הישראלי לכשכש בו. 4. הסיפור על הפרשת הכספים מדהים בעיניי: במשך שנים טראמפ והרפובליקנים סיפרו כמה "אובמה נתן כסף לאיראנים" ותיארו את זה כשוחד מכספי המיסים של סם וברברה, כשבפועל אלו היו כספים מוקפאים בדיוק כמו עכשיו - רק בערך שליש מהסכום, תלוי איך סופרים. טיריון לאניסטר אמר פעם שמלך אמיתי לא צריך לצעוק "אני המלך", ובהמשלה - מי שמביא הסכם (או מזכר הבנות) טוב לאמריקה ולעולם לא צריך לפרסם דף מסרים על כמה ההסכם טוב כשאפשר פשוט לפרסם אותו.
Rotem Oreg-Kalisky (Washington Express) tweet media
עברית
13
7
111
4.2K
Yaniv Nikankin
Yaniv Nikankin@YNikankin·
@nsaphra As a side note, this is a cool visualization! Which tool did you use for it?
English
1
0
0
66
Naomi Saphra
Naomi Saphra@nsaphra·
The intuition: Real-world superposition is noisy, so LLMs are more reliable in situations where the relevant features are orthogonal. A model makes more mistakes when there is a narrow angle between them, creating compositional interference.
English
5
2
40
8.8K
Naomi Saphra
Naomi Saphra@nsaphra·
We don’t always know what problems are hard for LLMs. So devs evaluate on tasks HUMANS find hard or on broad benchmarks. What if we could instead anticipate which scenarios a model will fail on—all without evaluating specific input examples? 🧵NEW PAPER by @jenniferlumeng &al
Naomi Saphra tweet media
English
8
48
272
28.5K
Yaniv Nikankin
Yaniv Nikankin@YNikankin·
I think this raises interesting questions like "which other abstract concepts are encoded in activations" and (on a more philosophical note) "how can we identify NOVEL abstract concepts, which we can't generate labels for".
English
1
0
7
214
Yaniv Nikankin
Yaniv Nikankin@YNikankin·
Do reasoning models internally represent abstract properties of their own chain of thought (such as "which steps are important"), while not surfacing these properties in their tokens?
Yaniv Nikankin tweet media
English
1
15
50
4K
Yaniv Nikankin รีทวีตแล้ว
Gabriel Franco
Gabriel Franco@gvsfranco·
🧠🤖 The 2026 New England Mechanistic Interpretability (NEMI) Workshop will be Aug. 14 at Boston University! Help spread the word and join the New England mech interp community! Registration and submission info in thread:👇
Gabriel Franco tweet media
English
2
30
119
22.4K
Yaniv Nikankin รีทวีตแล้ว
Amil Dravid
Amil Dravid@_AmilDravid·
Scaling laws describe how loss changes with scale. Do neurons inside models change predictably too? We study vision and language models up to 30B params and find systematic scaling in neuron universality, specialization, and selectivity. Paper+code: avdravid.github.io/rosetta-neuron… 1/n
English
13
83
417
203.7K
Yaniv Nikankin รีทวีตแล้ว
Hadas Orgad
Hadas Orgad@OrgadHadas·
Excited that our paper on Actionable Interpretability got accepted to ICML! And just in time -- we also heard that our Actionable Interpretability workshop will be happening again, in COLM! See you in Korea 🇰🇷 and SF🌉 [Arxiv paper link in the comment]
Hadas Orgad@OrgadHadas

Our ICML 2025 workshop on Actionable Interpretability drew massive interest. But the same questions kept coming up: What does "actionable" mean? Is it achievable? How? We're ready to answer. 🧵

English
4
20
164
15.7K
Yaniv Nikankin
Yaniv Nikankin@YNikankin·
@yevgets אבל זה ש*אפשר* להריץ כל ניסוי לכל הרחבה אפשרית לא אומר שצריך (לא הכל רלוונטי ועשוי להסתיר את העיקר עם הרבה תפל). מה שכן, אני מסכים איתך שזה כבר משנה מאוד את עבודת המחקר, הרבה פחות דגש על הרצת ניסוים והרבה יותר על מחשבה על השאלות הנכונות וכו'.
עברית
0
0
1
12
Yevgeny Tsodikovich
Yevgeny Tsodikovich@yevgets·
במקום מאמר תאוריה עם כמה הרחבות, לא נסתפק בפחות ממאמר עם כל ההרחבות האפשריות, כל הדוגמאות הנגדיות להרחבות הלא אפשריות, והמון המון משפטים ותוצאות. הנפח של "המידע" שיש בכל מאמר יגדל והמחקר יתמקד בדברים אחרים. או שלא. נגמר היין, חוזרים לקפה.5/5
עברית
2
0
24
793
Yevgeny Tsodikovich
Yevgeny Tsodikovich@yevgets·
שתיתי היום יין וחשבתי קצת על החיים, האקדמיה ובינ"מ והיות ואין פילטרים בין המוח לטוויטר, עכשיו תורכם להנות. אבל קודם, סיפור 1/
Yevgeny Tsodikovich tweet media
עברית
5
0
46
9.4K
Yaniv Nikankin รีทวีตแล้ว
Yonatan Belinkov
Yonatan Belinkov@boknilev·
Funding opportunity for PhD students for 4 month visits in Israeli universities. Contact if you're interested in an internship with me. Focus areas: Interpretability and controllability of LLMs, AI safety, multi-agent communication, AI for Science. azrielifoundation.org/fellows/visiti…
English
0
17
65
7.7K
Matan Arbel-Groissman
Matan Arbel-Groissman@ArbleMatan·
@evangelionim @ArielaGoesFake אני לא באמת מדבר איתם. מדברים על המזג אוויר בסופ״ש או אם יש לי תוכניות כיפיות לסופ״ש. שיחות נפש או סתם לצחוק על החיים? לא.
עברית
2
0
0
64
Ariela
Ariela@ArielaGoesFake·
מבחינתי הקושי העיקרי בהגירה הוא שיש רק שפה אחת בעולם, שבערך 15 מיליון אנשים בלבד דוברים אותה, שהיא השפה שלי. אני יכולה להתנסח בה בצורה מדויקת לגמרי, להצחיק, להכעיס, לרגש, לשמח. בכל שפה אחרת בעולם אני אהיה נכה. לאדם כמוני זה הפסד נוראי.
Marty McFly@DrBrownEmmett

אחרי מלא תשובות אני פשוט מבין דבר אחד, מי שאומר שקשה זה בעיקר מי שעושה רילוקיישן והוא דחוק כספית, כי רב הבעיות (מלבד השתלבות הילדים) זה בעיות שניתן לקנות ולטפל בכסף. יש לי עשרות חברים שברחו מפה בעשור האחרון, כולם מאושרים והמשותף לכולם הוא מצב כלכלי טוב

עברית
40
0
321
24.3K
Yaniv Nikankin
Yaniv Nikankin@YNikankin·
@Idaneretz מה מיוחד במערכת אוטובוסים שלהם?
עברית
1
0
3
152
Idan Eretz
Idan Eretz@Idaneretz·
אני בכנות מת על הקטע שהגולן הוא קצת המערב הפרוע של ישראל. יש להם גם מערכת אוטובוסים שעובדת אחרת לגמרי מאשר בכל מקום אחר. הם לא מחכים לאף אחד, הם פשוט עושים. אבל האמת שהסיפור הזה דווקא נולד מכשלון גדול לחזור ללימודים אחרי "עם כלביא". הכתבה המלאה כאן: globes.co.il/news/article.a…
עברית
5
0
89
2.7K
Idan Eretz
Idan Eretz@Idaneretz·
בכל הארץ אין לימודים פרונטליים, חוץ במקום אחד: רמת הגולן. במועצה האזורית גולן הביאו את רוב המורים ורוב הגננות בהתנדבות (הם ממילא מקבלים שכר) ללמד ולתת פעילות פרונטלית לילדי גן עד כיתה ג' בבוקר, והזום צומצם לשעות הצהריים בלבד. סגן ראש המועצה אמר לי: תנו לרשויות אוטונומיה חינוכית
Idan Eretz tweet media
עברית
18
10
499
12.6K
Yaniv Nikankin
Yaniv Nikankin@YNikankin·
@alono88 @PnL63962200 מעניין שזה קורה בצורה כל כך רחבה - בערך שליש מהפרומפטים שלי לג'מיני מגיעים ללופ
עברית
0
0
1
29
PnL
PnL@PnL63962200·
נראה לי שברתי את ג'מיני (זה מה שמוצג כשלוחצים show thinking והוא לא מסיים אף פעם לכתוב את זה)
PnL tweet media
עברית
7
0
36
12.4K