George

𝕏 Chat is the highest encrypted communication system built for maximum privacy with truly unbreakable protection Your conversations are fully locked. This level encryption can never be compromised, with zero third-party dependencies

класс

Excited to release new repo: nanochat! (it's among the most unhinged I've written). Unlike my earlier similar repo nanoGPT which only covered pretraining, nanochat is a minimal, from scratch, full-stack training/inference pipeline of a simple ChatGPT clone in a single, dependency-minimal codebase. You boot up a cloud GPU box, run a single script and in as little as 4 hours later you can talk to your own LLM in a ChatGPT-like web UI. It weighs ~8,000 lines of imo quite clean code to: - Train the tokenizer using a new Rust implementation - Pretrain a Transformer LLM on FineWeb, evaluate CORE score across a number of metrics - Midtrain on user-assistant conversations from SmolTalk, multiple choice questions, tool use. - SFT, evaluate the chat model on world knowledge multiple choice (ARC-E/C, MMLU), math (GSM8K), code (HumanEval) - RL the model optionally on GSM8K with "GRPO" - Efficient inference the model in an Engine with KV cache, simple prefill/decode, tool use (Python interpreter in a lightweight sandbox), talk to it over CLI or ChatGPT-like WebUI. - Write a single markdown report card, summarizing and gamifying the whole thing. Even for as low as ~$100 in cost (~4 hours on an 8XH100 node), you can train a little ChatGPT clone that you can kind of talk to, and which can write stories/poems, answer simple questions. About ~12 hours surpasses GPT-2 CORE metric. As you further scale up towards ~$1000 (~41.6 hours of training), it quickly becomes a lot more coherent and can solve simple math/code problems and take multiple choice tests. E.g. a depth 30 model trained for 24 hours (this is about equal to FLOPs of GPT-3 Small 125M and 1/1000th of GPT-3) gets into 40s on MMLU and 70s on ARC-Easy, 20s on GSM8K, etc. My goal is to get the full "strong baseline" stack into one cohesive, minimal, readable, hackable, maximally forkable repo. nanochat will be the capstone project of LLM101n (which is still being developed). I think it also has potential to grow into a research harness, or a benchmark, similar to nanoGPT before it. It is by no means finished, tuned or optimized (actually I think there's likely quite a bit of low-hanging fruit), but I think it's at a place where the overall skeleton is ok enough that it can go up on GitHub where all the parts of it can be improved. Link to repo and a detailed walkthrough of the nanochat speedrun is in the reply.

Альфред Кох, говоря о речи Путина на Валдае, высмеял«его ставшие уже традиционными рассказы про то, что Россия дважды просилась в НАТО, но ей отказали. Здесь мне все ясно: - пишет Кох Путин никак не поймет простую вещь: НАТО – это альянс демократий. Если ты не демократия – тебе нечего там делать». Вот эта вечная песня российских либералов, а потом российских леваков, что НАТО России не угрожает, так могут думать только шовинисты, на этот раз спета Кохом на новый лад со словами, что, дескать, какой странный Путин, просился в НАТО, а не знал, что НАТО – это альянс демократий. По этому поводу я с удовольствием пополемизирую с Альфредом Рейнгольдовичем и скажу, что он не прав, по крайней мере, по четырем пунктам. Вот как в анекдоте. Во-первых, не было патронов. Во-первых, я напомню, что среди стран-членов-основателей НАТО является такая прекрасная страна, как Португалия, руководителем которой в то время был диктатор Салазар, когда она стала членом-основателем НАТО. Там еще и другие некоторые были интересные страны. Но просто вот кейса Португалии достаточно. Как мы видим, вполне прекрасно диктаторские режимы не только уживаются в НАТО, но и являются странами-членами-основателями НАТО. Там, видимо, все-таки какие-то другие критерии. Во-вторых, напоминаю, что Путин просился в НАТО в 2000, в 2001 и, если я не ошибаюсь, в 2002 году. Я эту историю рассказывала, но на всякий случай повторю. Первый раз Путин просился в НАТО, как только он стал президентом. В этот момент президентом американским был Билл Клинтон. И Путин поднял этот разговор в частном с ним разговоре. Клинтон сказал: «Это интересная идея». Вечером он вернулся и сказал: «Моим советникам это не нравится». Соответственно, Путин после этого перестал проситься у Клинтона. Но тут Клинтона не переизбрали. Вернее, тут стал другой президент, президент Буш, после чего произошло 11 сентября, после чего Путин позвонил Бушу и выразил соболезнования. И вскоре он попросился в НАТО. 3 октября, то есть буквально через три недели после 11 сентября, он приехал в Брюссель, в штаб-квартиру НАТО. Тогда лорд Робертсон, если я не ошибаюсь, возглавлял НАТО. Соответственно, это был скоординированный приезд. И Путин, помимо всего прочего, сказал, что Россия бы хотела вступить в НАТО. Это было неофициальное, но очень важное для Путина общение. После чего лорд Робертсон сказал, что, во-первых, Россия должна заполнить большой формуляр для вступления, а во-вторых, она должна будет, если она подаст заявку, ждать своей очереди, потому что тут есть Литва, Латвия, Эстония, они уже подали заявки, они должны идти вперед. И Путин после этих слов стал белый. Как я понимаю, был еще отдельный разговор Путина непосредственно с Бушем. Ему тоже было отказано. После чего, обратите внимание, Путин не только не свернул сотрудничество с НАТО, но, наоборот, продолжал, желая понравиться НАТО, организовывать, предоставлять в Ульяновске аэродромы подскока для операций НАТО в Афганистане, многие другие вещи делал, многие другие предлагал механизмы сотрудничества. Кроме того, что еще гораздо важнее, Путин, конечно, сделал новую ставку вскоре после этого. Он начал договариваться непосредственно с Германией, минуя НАТО. С геополитической точки зрения, напоминаю вам, это было самым большим геополитическим кошмаром британских, а затем и американских стратегов, если крупнейшая страна – Германия – договорится с другой крупнейшей страной – Россией – и, соответственно, они окажутся против Британии и Соединенных Штатов вместе. Именно в этом был секрет, когда Путин пытался превратить Германию в газовый хаб России в Европе, потому что тем самым он обеспечивал также и политический союз, который, как Путин надеялся, послужит противовесом Соединенным Штатам, которые Германию превратили в своего вассала и через этого вассала правили Евросоюзом, а кроме того, делали его основным поворотным механизмом управления внутри самого НАТО. Просто это я к чему говорю? 2000 и 2001 год. Явно президент Путин не был еще диктатором. В России только что состоялись совершенно действительно демократические выборы. То есть если вы Салазара не считаете диктатором, а Путина в 2000 году считаете диктатором, то у меня для вас плохие новости. Кроме того, и это очень важно, я напоминаю Альфреду Коху, что в НАТО просился не только Путин, в НАТО просился непосредственно Ельцин. Он просился в НАТО два раза, по крайней мере из того, что мне сейчас известно, из того, что пишет Скотт Нортон в своей книге «Provoked». Первый раз Ельцин просился, еще когда был жив Советский Союз, то есть будучи главой Российской Федерации свеженовообразованной. Ельцин таким образом пытался вытащить коврик из-под ног Горбачева и проситься в НАТО, несмотря на то что Советский Союз еще был членом Варшавского договора, что, строго говоря, составляло государственную измену. Но самое главное, что Ельцин просился в НАТО в 1994 году, когда стало известно, что будет волна расширения НАТО, что туда будут принимать Польшу, Чехию и так далее. Тогда Ельцин просто попросился всем четырьмя копытами. Это был его разговор с госсекретарем Кристофером. В Вашингтоне было большое замешательство. И они долго искали, что Ельцину ответить, и наконец решили его обмануть. Дословно обмануть. Они решили сказать Ельцину, что НАТО теряет свое значение, что оно не будет механизмом военной колонизации Европы и Америки, каковым оно являлось и каковым оно полностью состоялось, что оно будет отмирать, а вместо него будет программа «Партнерство во имя мира», и вот в эту программу «Партнерство во имя мира» Россию с удовольствием приглашают. После чего Ельцин просто расплакался от счастья и сказал Кристоферу: «Как вы хорошо придумали». И обращаю ваше внимание, что это не был случайно не получившийся план. Это был способ обмануть Ельцина. С самого начала в Америке понимали, что «Партнерство во имя мира» – это глухой бюрократический тупик, это способ списать проблему, в данном случае российскую проблему, загнать ее в дальний ящик, а потом она как-нибудь тихо сама умрет. А реальный путь был с самого начала, в этот момент продолжался, ровно тот, который планировался, то есть кооптация все новых и новых стран Восточной Европы, бывших членов Варшавского договора, в НАТО как элемент построения новой системы буферных государств вокруг империи под названием США. Так вот, обращаю внимание Альфреда Коха, что, ну хорошо, Путин – диктатор, и в 2000 году в Америке это уже знали, а Ельцина-то чего в 1994 году не приняли? И более того, не просто не приняли, а решили обмануть? Что, неужели тоже был Ельцин диктатор? И четвертый пункт моего возражения. И это самый главный пункт. Он очень простой. Дело в том, что если вы посмотрите на дискуссию, которая кипела в американских политических и экспертных кругах в 1994 и особенно в 1996 и 1997 году, когда как раз пришло время принимать новых членов, вы обнаружите, что это была вся дискуссия о том, что принятие новых членов в НАТО будет катастрофой с точки зрения возобновления холодной войны. Я многократно уже цитировала разных людей, которые против всего этого возражали. Но я вот на этот раз просто процитирую Джорджа Кеннана. Напоминаю, что Джордж Кеннан – это тот человек, который являлся архитектором всей системы сдерживания Советского Союза. И вот в 1997 году в разгар как раз этой дискуссии Джордж Кеннан пишет в New York Times: «Расширение НАТО будет самой судьбоносной ошибкой американской политики за все время после холодной войны. Я предвижу, что она приведет к новой холодной войне, которая, вероятно, кончится горячей войной». Это дословно. Это в 1997 году, без всякого Путина, пишет Джордж Кеннан. – «И концом попытки построить в России работающую демократию. Я также вижу тотальный, трагический и ненужный конец вполне приемлемому взаимоотношению этой страны с остатком Европы, с остальной Европой». Как я уже сказала, такие взгляды выражало огромное количество членов американского истеблишмента, начиная от Патрика Бьюкенена, советника Рейгана, до, скажем, главы Комитета начальников военных штабов господина Шаликашвили или там Роберта Макнамары, человека, который был министром обороны во время Вьетнамской войны, так на минуточку. Вы скажете: а как же получается, что тогда НАТО расширилось? Ответ – потому что существовала другая точка зрения, которая была представлена Збигневом Бжезинским тогда же, в 1997 году, когда Збигнев Бжезинский писал в своей «Великой шахматной доске»: «Украина, новое важное пространство на евразийской шахматной доске, является поворотной точкой геополитики. Без Украины Россия перестает быть империей. Крайне важно, чтобы в Евразии не появилось соперника, способного доминировать в Евразии и бросить вызов Америке. А три главных императива имперской геостратегии – это предотвращение объединения варваров». Тоже цитата закончена. То есть обращаю ваше внимание, что в Америке кипела горячая дискуссия. В ней почти не употреблялось слово «демократия». В ней вообще еще никто не знал о Путине, потому что речь шла о 1996-1997 году. И эта дискуссия была не на тему того, угрожает или не угрожает расширение НАТО России. Обе стороны этой дискуссии были абсолютно согласны, что расширение НАТО – это мера, направленная в том числе против России. Просто одна сторона этой дискуссии, условно говоря, партия Кеннана, считала это безумием, считала это перерастяжением имперских возможностей Америки и считала, что это ненужная политика американских реваншистов, которые пытаются добить поверженного противника в тот момент, когда он повержен, и что кончится это катастрофой. Не для России, а для Соединенных Штатов Америки. А другая партия, условно говоря, партия Бжезинского, считала, что пока Россия валяется в дерьме и пыли, ее вот как раз надо добить, в том числе уже тогда было определено поле боя – Украина – как абсолютно ключевая точка приложения сил, и что просто Россия будет такая слабая и такая разорванная, что к тому моменту, когда Россия окажется окружена кольцом враждебных ей государств, именно враждебных, вступивших в НАТО и играющих роль буферных государств, и даже если на территории одного из них произойдет война, вернее, когда на территории одного из них произойдет война, то это будет прокси-война, которая Америке ничего не будет стоить, а России будет стоить нового поражения и нового расчленения. И нельзя упускать этот потрясающий исторический момент. Извините, когда дом горит, грабь во время пожара. Почему я об этом говорю? Потому что это полностью опровергает тезис уважаемого Альфреда Рейнгольдовича. Как я уже сказала, ни один из участников этой дискуссии в высшем американском политическом истеблишменте не сомневался, что одной из составных частей расширения НАТО является уничтожение и унижение России. Просто партия Бжезинского считала, что это самое оно, это то, что надо, бей пока дают, а партия Кеннана считала, что, ребята, вы переувлеклись и лучше не доводить дело до второго раунда, вот как с Германией в 1918 и в 1945 году, и лучше не навязывать России Версальского договора, потому что то, что является расширением НАТО для России, это то же самое, что Версальский договор для Германии в 1918 году. youtube.com/watch?v=1Z6dK_… youtube.com/watch?v=1Z6dK_…

Version 0.1 early beta of Grokipedia will be published in 2 weeks

Grokipedia is going to be the world's biggest, most accurate knowledge source, for humans and AI with no limits on use Currently, Grok is using massive amounts of inference compute to look at, sources like Wikipedia page and asking: What’s true, partially true, false, or missing? Then it rewrites those pages, removing falsehoods, correcting half-truths, and adding crucial & missing context the reason why it will be the true knowledge source is because it's built solely for the truth and to navigate to the truth... free from bias or hidden agendas Elon never does anything by half measures, he dives straight to the full extent... Something that'll strike like a sharp spear just like the community Notes on 𝕏, which even called out the WHO for shoving false info down our throats with the tag carrying "We are always right" with Grok, Grokipedia aims for maximum truth through first principles and physics. It replaces partially masked evidences of how legacy media operates, rewriting with complete accurate context that cuts through the BS this will combat the evil organizations and the evil minds that operating under the hood and who've poisoned minds for decades with endless fake news and distorted narratives through legacy media and Wikipedia, causing immense harm to young minds and manipulated the world long enough This will change for good...... Grokipedia will change it

POTUS x @ElonMusk For Charlie.

What’s the time? Oh look, it’s no-one-has-been-arrested-o’clock again …

Grok 4 release livestream on Wednesday at 8pm PT @xAI

Physics sees through all lies perfectly

@CathieDWood @skorusARK HAPPY BIRTHDAY, Elon! Thanks for all =)))

Now that #robotaxis are commercializing , the next question is who will win this winner-take-most opportunity in the US. Based on two major competitive advantages, @skorusARK makes the case for $TSLA in The Brainstorm this week.

Happy birthday, @elonmusk , my genius boy. Thank you for 54 years of fun, sleepless nights, excitement, surprises and entertainment. So proud of you ❤️❤️

Detailed update on @neuralink

Grinding on @Grok all night with the @xAI team. Good progress. Will be called Grok 4. Release just after July 4th. Needs one more big run for a specialized coding model.

Super congratulations to the @Tesla_AI software & chip design teams on a successful @Robotaxi launch!! Culmination of a decade of hard work. Both the AI chip and software teams were built from scratch within Tesla.

Действительно, оказывается, дочь Келлога возглавляет RTW Foundation, которая помогает Украине. x.com/RTW_Foundation Это замечательно и все такое, но в таком случае Кит Келлог не может являться посредником по Украине. Он слишком заинтересованное лицо. Вовлеченность дочери многое объясняет в позиции Келлога.

Milton Friedman: There are four ways in which you can spend money. You can spend your own money on yourself. When you do that, why then you really watch out what you’re doing, and you try to get the most for your money. Then you can spend your own money on somebody else. For example, I buy a birthday present for someone. Well, then I’m not so careful about the content of the present, but I’m very careful about the cost. Then, I can spend somebody else’s money on myself. And if I spend somebody else’s money on myself, then I’m sure going to have a good lunch! Finally, I can spend somebody else’s money on somebody else. And if I spend somebody else’s money on somebody else, I’m not concerned about how much it is, and I’m not concerned about what I get. And that’s government. And that’s close to 40 percent of our national income

Следующая статья: откуда взялся миф, что теракты совершают исламисты, и что почему на самом деле ислам - религия мира.

😑

Крым — это «От реки до моря» Зеленского. Абсолютное большинство населения Крыма — этнические русские, которые на свободном референдуме проголосовали бы за то, чтобы быть частью России. Чиновники и пропаганда Зеленского много раз хвастались своим намерением очистить Крым от всего населения, которое проголосовало «за» Россию в 2014 году, что означает этническую чистку 85% населения. Ни одна западная страна не будет это финансировать. У Зеленского нет никаких шансов вернуть полуостров военным путем, и он был частью России в течение последних десяти лет. Это От реки до моря. Вы выдвигаете требование, которое нереально, никогда не будет выполнено, а его выполнение означает этническую чистку. Вы делаете все это, чтобы изобразить жертву. Вы не дали мне Крыма, Трамп не начинал Третью мировую войну, чтобы я мог провести этническую чистку, так что я жертва, вы мне должны. Тот факт, что демпартия США и Европа годами потворствовала этому От Реки и до Моря, - это диагноз современной левой бюрократии, которая не решает проблемы, а увековечивает их.