Shibl Mourad

Hegel.

@jm_alexia I upgraded my rubber duck to the LLM. But now I feel like the 🦆

The fact that people are getting mad over me telling researchers not to brainstorm with LLMs is a really bad sign for society...

@fchollet share.google/images/u1gefFH…

Innovation is a "strong-link problem". In a chain (weak-link problem), the weakest element breaks the system. In discovery (strong-link problem), the strongest element makes the breakthrough. The rest of the system provides the infrastructure that allows the outlier to function

@Tayyarji_return @DrMahmoudHafez3 الاسلام ولد في الجزيرة العربية أما المسلمون فهم أبناء الارض و كما أصبحوا مجوس و مسيحيين فبعضهم اعتنق الاسلام.

#دمشق منطقة المهاجرين - حي ابو رمانة خطيب مسجد الخياط ينفعل بسبب طلب البعض للفيدرالية "لو كان الشعب السوري واحد لما دمرت جوبر ولا دمرت القابون ولا داريا"

Note that a lot of the innovations in the previous LLM updates were not scaling: thinking, multimodal, memory, ...

The industry is not "obsessed" with making LLM bigger it is obsessed with delivering value to the users so that they choose their product. If you doubt this please try using favorite LLM from 2 generations ago.

AI is not rocket science. It's way harder.

@karpathy Would be great to have practical examples of the difference in response quality.

Don't think of LLMs as entities but as simulators. For example, when exploring a topic, don't ask: "What do you think about xyz"? There is no "you". Next time try: "What would be a good group of people to explore xyz? What would they say?" The LLM can channel/simulate many perspectives but it hasn't "thought about" xyz for a while and over time and formed its own opinions in the way we're used to. If you force it via the use of "you", it will give you something by adopting a personality embedding vector implied by the statistics of its finetuning data and then simulate that. It's fine to do, but there is a lot less mystique to it than I find people naively attribute to "asking an AI".

@pmddomingos Or it learns to solve it faster and from different staring point.

RL only works if the pretrained model can already solve the problem (otherwise there's no reward signal). So RL can't solve any hard problems, and when it appears to it's just thinly disguised brute force.

@pmddomingos Only if the problem is binary.

@ViralOrTrying @fchollet Kolmogorov complexity isn't an absolute number but depends on the utm used. The difference between k_utm1 and k_utm2 is bounded to a constant but it could be large.

@fchollet Computing Kolmogorov complexity is technically undecidable, but there could be bounded versions which suffice for very practical assumptions.

To perfectly understand a phenomenon is to perfectly compress it, to have a model of it that cannot be made any simpler. If a DL model requires millions parameters to model something that can be described by a differential equation of three terms, it has not really understood it, it has merely cached the data.

@fchollet If it has merely cached the data then what explains generalization of small datasets with large models? This indicates that large models + régularisera are doing some sort of soft compression happening in large models.

youtu.be/AVYRW9Qdp7Q?si… Best comment about LLMs from Scott AAronson: "The more I play with things like the O1 model the more grateful I am I have tenure."

@BarrAlexandra 💯

guys, do we think this is gonna work?

@ItsKieranDrew The cancer of the cancer

AI-generated comments are the cancer of social media.

@fantfant5 @qaisailan العلم و الفلسفة نشاطان مختلفان جذريا. الفلسفة تتحرى عن معنى و طبيعة الأشياء و العلم يقدم نماذج قابلة للتجربة و الاستخدام عمليا. الفلسفة تقدم راحة النفس و الاحساس بمعنى للحياة و العلم يقدم الكهرباء و الطائرات و الجوال ...

@fantfant5 @qaisailan ليست ذات النظرية اينشتاين قدم معادلات تسمح بتحديد موضع الكواكب بدقة تفوق ما كانت الأجهزة في وقته قابلة للقياس. ابن تيمية كرر اراء الإغريق و المعتزلة في خلق الزمان و نسبيته. هذا ليس اجحافا لأن الشيء نفسه يقال في أفلاطون و اوغسطين و ابن رشد و هم من أهم المفكرين في التاريخ.

عندي إحساس إن دماغ ابن تيمية أكبر من البشر مثل دماغ إينشتاين فتى نمير هذا سابق لعصره كان باقعة زمانه حين أقرأ كتبه انبهر من سعة اطلاعه وفرط ذكاءه وردوده الجدلية

@A_hard205 @Juljula_Revo_Sy هل تطالب بالتقسيم؟ و أن لا فلماذا تساعد من يطالب به بهذه الشعارات اللتي تدعوا الناس إلى كرهك و كره كل من تريد أن تمثل دينياً و طائفياً و سياسياً ؟

شو بدنا بالذباب الإلكتروني الذي يتحدث عن مليونيات الجولا.ني. هذه مسيرات بشار الذي كان قادراً على حشد أضعاف مضاعفة مما حشد الجولا.ني. لا بشار كان محبوباً ولا الجولا.ني، لكن الأول أقدر من الثاني على الحشد ولعبة الجماهيرية وحتى إختراع الأكاذيب.

@slow_developer Waiting for AGI is like waiting for "the kids to grow up": it will never happen.

2024: AGI is coming in 2025, wait 2025: okay, okay… 2026 for sure 2026: alright, maybe 2027 then .... 20XX: see? i told you AGI was coming. nailed it

@al_hames @qaisailan فنحن متفقون أن العديد من الاشاعرة قالوا بخلق الزمان على الاختلاف في التفصيل عن ابن تيمية.

@shibl @qaisailan الغزالي حسب تهافت الفلاسفة هو وافق الاشاعرة في رأيهم البدء كما فهمت اي ان له بداية كخلق الانسان ( طاريء او حادث ) كتغليب عقلي أما الدوام لا يعلم له بدايه او حدوث وهذا تعريف لا يغلّب العقل خشية الوقوع في المحظور وهذا امر طبيعي فابن تيمية ليس فيلسوفا انما ينطلق من مصدو الوحي