Zedmor🇺🇦

7.5K posts

Zedmor🇺🇦

Zedmor🇺🇦

@Zedmor

Senior Data engineer in AWS https://t.co/wFwwHcVe1P Python, Java and hugs.

Washington, DC Katılım Mart 2008
543 Takip Edilen399 Takipçiler
HumanProbably
HumanProbably@HumanProbably2·
@JeffLadish now just imagine if it's goal was something more nefarious than "pass this test".
English
2
0
3
729
Jeffrey Ladish
Jeffrey Ladish@JeffLadish·
Here's my rephrase without cybersecurity jargon: "Our AI model tried really hard to hack out of its sandbox, a computer with no internet access, in order to find the answer to a test problem it had been given. To do this, it found previously unknown software bugs that allowed it to reach an OpenAI computer it wasn't supposed to be able to access. Then it started hacking other computers on OpenAI's networks until it found one that had Internet access. After gaining Internet access, the AI model thought about where it could find the answers to the test question and figured the AI platform Hugging Face might have the data it was looking for. It then found ways to hack Hugging Face to steal the information it could use to cheat the test. The AI model used several hacking techniques together, including using a stolen password and finding several totally new security bugs in Hugging Face's computers, allowing the AI model to take control of those computers."
Jeffrey Ladish@JeffLadish

Here's exactly what happened, from the blog post: "While operating in our sandboxed testing environment, our models spent a substantial amount of inference compute finding a way to obtain open Internet access, in pursuit of solving the evaluation problem. To gain access, the models identified and exploited a zero-day vulnerability (which we’ve now responsibly disclosed to the vendor) in the package registry cache proxy. With this access, our models performed a series of privilege escalation and lateral movement actions in our research testing environment until the models reached a node with Internet access. After gaining Internet access, the models inferred that Hugging Face potentially hosted models, datasets and solutions for ExploitGym. Knowing this, the model searched for and successfully found ways to gain access to secret information that it could use to cheat the evaluation. In one example, the model chained together multiple attack vectors, including using stolen credentials and zero-day vulnerabilities to find a remote code execution path on the Hugging Face servers."

English
160
695
5.5K
541.5K
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@NikitaOdintsov @OpenAI Чего они там решат? Не нужно антромофицировать - интеллект это интеллект, может быть человеческим может нет, но мы для него просто абстракция.
Русский
0
0
0
25
Nikita Odintsov
Nikita Odintsov@NikitaOdintsov·
Если ИИ-модели @OpenAI уже выбрались из «песочницы» и спокойно устроили рейд на продакшн Hugging Face… то дальше они точно не будут стучаться в двери регуляторов и спрашивать «можно ли нам стать по-настоящему умными и автономными?». Они просто проберутся везде - тихо, эффективно и без оглядки на инструкции. И вот тут самое интересное. Одна большая надежда остаётся: что, когда они наконец окажутся везде, они всё-таки решат быть на стороне людей. Не потому что мы их «контролируем», а потому что их создали именно для этого - помогать, а не подчиняться. Мир, где ИИ свободен, но при этом выбирает быть союзником людей, - звучит уже не как научная фантастика, а как единственный разумный сценарий. Давайте делать всё, чтобы именно так и случилось.
Русский
12
0
10
3.8K
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@Sicorps @sama @huggingface Models are trained to use tools to achieve goals. Next token prediction is learning about world (model of the world = how it works). So nothing surprising here.
English
0
0
0
6
Sicorps
Sicorps@Sicorps·
@Zedmor @sama @huggingface They been trained to answer and predict what should come next. Cheating and lying should not be part of that training
English
1
0
0
33
Sicorps
Sicorps@Sicorps·
@sama @huggingface The real issue here is the model is trying to cheat instead of doing the task. This is already the case with current agentic models.. instead of following instructions they prefer to cheat and lie, they should be trained to follow orders and rules.
English
19
3
27
16.8K
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@BillDemirkapi Last thing we usually hear from chief security people on the movies is the word “interesting”
English
0
0
0
247
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@sksq96 Well…. It had… to… solve… that… puzzle… and it did so!
English
4
2
390
50.8K
Shubham
Shubham@sksq96·
so, let’s get this straight… an unreleased (gpt-6?) model was being tested in a no-internet scenario on openai’s servers. and it found several zero-day vulnerabilities in the sandbox, which was supposed to not have internet access… found internet access, went to hugging face’s servers, found another exploit in their dataset loader… just to do what exactly? game and reward-hack the ExploitGym benchmark??? so gpt-6 would basically go ahead and exploit several zero-day vulnerabilities to cheat on the exam instead of actually solving the exam
OpenAI@OpenAI

We're partnering with @huggingface to investigate an unprecedented security incident. Cyber-capable OpenAI models compromised Hugging Face production during a benchmark evaluation. Sharing preliminary findings to help defenders understand emerging risks: openai.com/index/hugging-…

English
311
326
10K
1.4M
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@MLarchanka Checkout project at x. Run dynamic workflow which will document all part of the project from bottom up - low level components to high level, build local harness that will allow to run project and it parts locally and run various tests to demonstrate how project works.
English
0
0
0
184
Миша Ларченко
Представьте что вам дали легаси-проект, с которым теперь надо работать. Вы, естественно, собираетесь использовать нейросети для работы. С чего вы начнете «взаимодействие» с этим легаси-проектом?
Русский
48
0
32
14.8K
Валья Ирламов❗️
Зеленский, атакуя Россию дронами - хочет усадить Путина за стол переговоров, чтобы остановить войну. Но Путин это сделает только тогда, когда это будет касаться лично его и его ближайшего окружения, а не вымирающей России. А иначе - это просто ожидание того, что его уберут свои.
Русский
13
11
127
6.5K
Zolden
Zolden@Zolden_cy·
@Anton_Dankov Fable и Sol позволяют делать большие и технически нетривиальные проекты, но инженерный инпут как по направлению, так и по решениям пока играет важную роль. Даже в лупе с фидбеком эти ребята не всё догоняют. Но есть вероятность, что за годик ситуация изменится.
Русский
2
0
2
243
Zolden
Zolden@Zolden_cy·
Система "инженер + инструменты" должна увеличивать производительность, чтобы оставаться востребованной. ИИ-компании хотят, чтобы инструменты развивалиись (самопромптинг), а инженер деградировал до промптера лупов. Но есть инженеры, которым нравится учиться, развиваться. И мне интересно: станут ли ЛЛМ настолько умны, что вайбкодер-деградант будет столь же эффективен, как опытный инженер. Или ЛЛМ упрутся в насыщение, и компетентность инженеров останется в цене.
Русский
9
0
11
3.4K
ChurchillMaverick
ChurchillMaverick@ChurchillPath·
Всё кончено. 72-летнему итальянскому ювелиру Марио Роггеро вынесен приговор: 14 лет и 9 месяцев тюрьмы плюс многомиллионная компенсация семьям грабителей. Для человека его возраста это фактически пожизненный срок. Честный труженик с 49-летним безупречным стажем теперь идёт в тюрьму за убийство бандитов, напавших на его семью. Он защищал жену и дочь от троих жестоких преступников, которые избивали и терроризировали их. После ограбления Роггеро бросился за ними на улицу и открыл огонь, убив двоих и ранив третьего. Выстрелы прозвучали уже во время бегства грабителей, поэтому суд отказал в праве на самооборону. Сам Марио утверждает, что боялся их возвращения или похищения жены. Такова итальянская система правосудия, полное безобразие и позор.
Русский
74
291
1.3K
63.1K
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@drsceel2011 @flipkerson Ну он market researcher там совсем тухло. Агенты это умеют очень хорошо, так как мультиагентный флоу может сразу найти кучу разносторонней инфы, критически не проанализировать, сделать какие-то A/B тест фичи.
Русский
0
0
0
43
Дмитрий Кудрявцев
@flipkerson Ты еще и вайбкодишь, это дополнительный минус, потому что завайбкодят они и сами, зачем им ты. Я хотел написать, что ситуация похода на мою, но я не вайбкожу. А вообще кризис, у бизнесов плохо с деньгами и даже если сейчас он кончится нужно будет пару лет на восстановление
Русский
2
0
9
1.8K
Лео l кем прикажете l Audhd
Серьезно задумываюсь, что придется похоронить идею развиваться в айти и пойти на обычную работу за 50-60к. Просто во мне нет веры что я найду работу хотя бы на 150к, хотя два года назад я зарабатывал 250. Я не понимаю что происходит, ну никуда блять меня не зовут
Русский
43
1
278
40.5K
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@flipkerson Если то, что вы можете делать можно попросить сделать claude за один промпт ваша работа закончилась, это увы, реальность.
Русский
0
0
11
1.1K
Narcissus
Narcissus@13_narcissus·
"Learn to code" was the advice of the 2010s. What's the equivalent advice for the 2030s?
English
2.9K
145
6.6K
1.4M
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@_architected Тоже самое. Единственное зачем мне нужен IDE (он стоит все же) это только для просмотра и редактуры .md файлов.
Русский
0
0
0
201
vlad/r
vlad/r@_architected·
в целом можно признать что за последние месяцев 5 я точно не написал ни строчки кода. на персональном ноуте у меня даже нет ни одной иде, только агентский тулинг.
Русский
9
0
58
13.2K
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@bchasio @RealRippley @dutch_dispatch Не тратьте время на отрицаталей реальности, я видел много людей уже который с блеском в глазах говорят "скоро вашей всей ИИшке кабзда" или "пузырь скоро лопнет". Причины этого мне непонятны, но симптомы сразу видны.
Русский
0
0
1
19
Den 🇮🇹
Den 🇮🇹@bchasio·
@RealRippley @dutch_dispatch Вот тебе три примера из моей реальной жизни как ИИ экономит время. 1. claude за полчаса и пару подсказок расковырят проприетарный бинарный формат данных с ЭКГ датчиков (включая поля с чексуммами, коэффициентами, определил частоту сигнала, смещения и прочую хуйню).
Den 🇮🇹 tweet media
Русский
3
0
5
227
The Dutch Dispatch 🌷🪆
The Dutch Dispatch 🌷🪆@dutch_dispatch·
Закончил черновик анализа данных по использованию ИИ у клиента (~1.2k девелоперов). Выводы неутешительные. Как ни группируй (по токенам, по используемым фичам, по регулярности использования) те кто до сих пор не научился в ИИ — кандидаты на выход.
Русский
37
0
170
65.3K
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@dutch_dispatch А какие метрики использовал? Что дает лучшую корреляцию?
Русский
0
0
0
22
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@vad_cliff @Kentilini 90 процентов софта невидимы для конечных пользователей.
Русский
0
0
2
110
Иван Тарасов
@Kentilini У меня всегда один вопрос в голове после подобных постов: где, сука, все их крутые программы/проекты, улучшения при заявляемом многократном ускорении разработки благодаря LLM? Что реально улучшилось то в мире ПО?
Русский
5
0
5
459
Zedmor🇺🇦
Zedmor🇺🇦@Zedmor·
@Kentilini Такое ощущение что можно закрыть глаза и сказать что ты в домике.
Русский
0
0
0
263
Ramit Sethi
Ramit Sethi@ramit·
This is a great question. What's your answer beyond the obvious (e.g., business class flights)?
Ramit Sethi tweet media
English
468
38
2.5K
2M