Sabitlenmiş Tweet
квадратик
3.1K posts

квадратик
@larkoval
I'm not in the business. I am the business.*
Entre verdes bosques y marítim Katılım Haziran 2012
302 Takip Edilen49 Takipçiler
квадратик retweetledi
квадратик retweetledi

Генеральный директор компании стоимостью 380 миллиардов долларов вышел на камеру и сказал, что мир не готов к тому, что вот-вот сделает его собственная технология.
Это не предупреждение от конкурента и не от регулятора. Тем более от нашего известного всем рубанка РКН.
Это человек, который её создал.
Это Дарио Амадей, генеральный директор Anthropic, компании, стоящей за Claude.
Он сравнил ИИ с цунами на горизонте.
Его точные слова: «Это так близко, мы уже видим это. И всё же люди придумывают объяснения, о, это на самом деле не цунами. Это просто игра света.»
Он не говорит о каком-то далёком будущем.
В январе он опубликовал эссе на 38 страниц, предупреждая, что сверхчеловеческий ИИ может появиться к 2027 году. Я его читал. Но по всей видимости они намного быстрее приблизились к Agi.
Он назвал это потенциально самой серьёзной угрозой человечества за все века.
Это через 18 месяцев относительно сегодняшнего дня.
Вот что отличает это от всех остальных предупреждений об ИИ.
Это не политик, ищущий голоса, и не академик, ищущий гранты. Не регулятор, который убивается в сопли, заливает огромные бюджеты на обеление действий безуспешно.
Это человек, чья компания только что стёрла 2 триллиона долларов с акций софтверных компаний тремя постами в блоге. Не верите? Почитайте.
Он говорит нам, что его собственный продукт пугает его самого.
Когда Андерсон Купер спросил его в программе 60 Minutes: «Кто избрал вас и Сэма Альтмана, чтобы принимать эти решения?»
Он честно ответил: «Никто. Честно говоря, никто.»
Увы, наверное, но эти люди в Сан-Франциско создают нечто, что перестроит каждую отрасль на земле.
И никто за это не голосовал.
В видео он говорит, что техническая работа по контролю ИИ идёт «немного лучше», чем ожидалось.
Но общественное осознание идёт «немного хуже».
Перевод: Инженеры как-то справляются. Правительства, институты и общественность даже близко не справляются.
Он сказал Никхилу Камату, что кодинг, математика и научные исследования уже обрабатываются системами ИИ.
Но на этом не останавливается.
Полная автоматизация целых рабочих процессов в разработке ПО от начала до конца — не только написание кода, но и проектирование, тестирование, развёртывание — «произойдёт скоро».
Подумайте, что значит «скоро» от этого человека.
В 2024 году он написал «Machines of Loving Grace» — оптимистичное эссе о том, как ИИ излечит болезни и продлит продолжительность жизни.
Год спустя, в январе 2026 года, он опубликовал «The Adolescence of Technology» — предупреждение на 38 страницах о том, что человечество может не пережить своё собственное творение.
Смена тона была не тонкой.
Он перечислил риски по порядку.
В краткосрочной перспективе: предвзятость и дезинформация — и это уже происходит.
В среднесрочной: ИИ генерирует вредную информацию, используя передовые научные знания.
В долгосрочной: ИИ полностью устраняет человеческую субъектность.
Увы.
ИИ становится слишком автономным и запирает людей вне систем.
Это дорожная карта продукта человека, который его создаёт.
И вот та часть, которая должна не давать нам спать по ночам.
Он сказал, что глубоко некомфортно ему от концентрации власти, происходящей в ИИ.
Это произошло почти за ночь, почти случайно.
Создание самой мощной технологии в истории человечества.
Фондовый рынок — это всего лишь первая часть в игре домино.
Софт — канарейка в угольной шахте.
Юриспруденция, финансы, кибербезопасность, консалтинг, инженерия.
Каждая отрасль изменится.
Осваиваем промпт - инжиниринг.
Русский
квадратик retweetledi

Самое важное в жизни человека (и не только человека), то, что определяет его успех, достижения, и непосредственно возможность построить ту жизнь, которую он хочет -- это agency.
Удивительно, но это слово не имеет точного русского перевода. Agency гораздо важнее интеллекта в вопросах достижения желаемого, и это устраняет все парадоксы, связанные с интеллектом. Например, расхожая фраза "если ты такой умный, то почему такой бедный" имеет очень простой ответ: потому что с agency у него всё очень плохо.
Это же объясняет, почему троечники ворочают миллиардами, а отличники хуй без соли доедают. Потому что agency у отличника, который без соли, ниже плинтуса, а у троечника -- в порядке.
Я ни в коей мере не пытаюсь принизить важность интеллекта, интеллект -- как раз прекрасное дополнение к agency (и с высоким интеллектом при наличии достаточно высокой agency можно и нужно свернуть горы), но важно понимать, что интеллект в вопросе достижения целей вторичен и бесполезен без agency.
Agency без интеллекта тоже не очень хорошо, но всё же работает: всем известный режим "слабоумие и отвага".
Русский
квадратик retweetledi
квадратик retweetledi
квадратик retweetledi
квадратик retweetledi
квадратик retweetledi
квадратик retweetledi

Я немного завидовал нашим бабушкам и дедушкам — они жили в эпоху великих фантастов XX века, мечтали о космосе и рисовали в уме человекоподобных роботов.
А сегодня я прочитал предсказание экспертов про будущее ИИ — в формате повести с техническими приложениями — и впервые за долгое время почувствовал страх. Думаю, такой же холодок пробегал по спине у старшего поколения, когда они читали Брэдбери про ядерную войну.
Текст немаленький (15 тысяч слов только повесть!), и это не совсем художественная литература. Там куча технических деталей, а писатель из команды — тот самый Scott Alexander из Slate Star Codex. Перескажу коротко.
—
Главное, что ускорит искусственный интеллект — это разработка искусственного интеллекта. Мы создадим минимально полезную модель, которая поможет нам разработать модель помощнее и так по спирали. К апрелю 2027 она заберёт программирование нейросетей, к августу — исследования и обучение. Развитие нейросетей ускорится в десятки раз.
На 4 поколении этих моделей, даже лучшие ученые перестанут справляться с развитием нейросетей без помощи других моделей. Примерно в это же время у ИИ появятся собственные долгосрочные цели, которые он скрывает от людей (adversarial misalignment). Ученые замечают неладное.
Дальше интерактивная развилка: мы выключаем сеть 4 поколения, замедляемся и строим более безопасную модель или забиваем на риски и ускоряемся. В первом случае всё заканчивается раем на земле, всеобщим достатком и покорением звезд людьми с помощью роботов в 2030, во втором случае — покорением звезд роботами без участия людей; ИИ истребляет людей к 2030 году.
—
Страшным для меня этот рассказ делают ссылки на реальные научные статьи, в которых ученые замечают, что даже наши текущие модели уже скрывают что-то от нас, уже пытаются обмануть нас и то, какие хитрые приемы придумывают ученые, чтобы исследовать эти системы. Это всё дальше от программирования и математики и всё ближе к биологии и психологии.
Один из авторов исследования предсказал chain-of-thought, масштабирование дата-центров, экспортные ограничения на ИИ-чипы и многомиллионые кластеры для обучения ещё в 2021 году, за год до появления ChatGPT.
—
Рекомендую отличный сайт проекта с интерактивными графиками , отдельные впечатляющие приложения про исследование целей ИИ и предсказание сроков цикла авто-улучшения (takeoff), анонс от писателя, видео-интервью и наконец сверх-краткий пересказ от самих авторов.
ai-2027.com

Русский
квадратик retweetledi
квадратик retweetledi

@OncleAdik Я думаю, поэтому они и живут долго- спокойная размеренная жизнь
Русский
квадратик retweetledi




















