Sabitlenmiş Tweet
Yaron Assa
34.9K posts


@DovMorell כמאמר המשורר,
One Man's Modus Ponens is Another Man's Modus Tollens


@EranPasternak מניח שהם חשבו שזה לא כל סקריפט שאתה רוצה, כי מבחינתם המודל שמטפל בצאט נועד להגיב על בקשות משתמש ולהפעיל רק פעולות שהן כשלעצמן יפעילו את היכולות.
העובדה שיש לו יכולת להריץ את היכולות ישר היא הכשל הראשון, ואחכ הכשל בהגנות על אפשור גישה למשתמש ליכולות האלו דרך הנדסת פרומפטים.
עברית

@yassa או בוא נגיד אחרת. אף אחד לא היה פותח אתר אינטרנט שבו אתה יכול להריץ כל סקריפט שאתה רוצה כאשר בסביבה שבה הסקריפט רץ יש גישה לכל המשאבים הפנימיים שלך. ההגנות על סביבת ריצה כזו הם בדיוק ההגנות שאתה צריך על המודל.
עברית

כפי שאמרתי בסוג של בדיחה כאן: x.com/i/status/19280…
הפיצ'ר הוא להזרים פנימה קלט, לשפוך אותו ל eval ענקי,ולקוות שנהיה חכמים בעיקור המחרוזת הגולמית (וחמור מכך, לתת למנגנון לא דטרמיניסטי לעקר אותה).
אני מכיר בקיומם של ניואנסים ומנגנוני בטיחות (לדוגמה הפרדה בין הllm של הקלט
Ran Bar-Zik@barzik
המון אנשים מתריעים בפני סיכוני האבטחה העצומים שיש במודלי שפה גדולים (השם הפופולרי: בינה מלאכותית). הרבה פעמים האזהרות האלו נראות מוגזמות. וכן, הן מוגזמות. לטובה, כן? המקרה הבא מראה את הסיכון הזה. הכירו את חברת ChatCut. זו חברה שמנגישה מודולי וידאו. די מפורסמת בגלל Seedance2.0. >>
עברית

@EranPasternak כן, לזה התכוונתי בהפרדה בין הllm של הקלט לבין הllm או mcp או מה שלא יהיה שהארגון משתמש בו לנגיעה של ממש בדברים. גם פה עדיין יש סכנות (כי בסופו של דבר מה שיוצר את הקלטים להמשך העיבוד הוא הllm הראשון על שלל חולשותיו, אבל לכל הפחות אתה יכול לשים על הקישור בקרות דטרמיניסטיות קלאסיות)
עברית

@yassa מעבר לבקרת קלט (ואפילו חשוב יותר) זה בקרת גישה. בדיוק כמו שאתר אינטרנט של חברה אמור לשבת מחוץ לרשת הארגונית ושכל גישה שלו למשאב פנימי תהיה מוגבלת ומנוטרת כך גם לגבי מודלים.
עברית










