Aomame

미국의 지상군 개입과 힘에 의한 해협 개방은 전쟁을 최소 수개월 이상 장기화할 것이고, 그 과정에서 수많은 미군이 죽고, 이란인이 죽고, 확전의 급격화로 수많은 걸프 거주 인프라가 망가져 수십만명이 고통받을 수 있을 겁니다. 그리고 그게 패전이 가져올 장기적 결과보다 더 낫습니다.

현재 시점에선, 어떤 협상도 미국의 패배로 이어질 것이고, 어떤 협상도 절대 중동에 안정을 가져올 수 없고, 어떤 협상도 걸프를 만족시킬 수 없음. 어떤 협상도 결과적으로 미국의 재개입을 가져올 것이며 그때쯤엔 상황은 돌이킬 수 없이 악화되어 있을 것임. 마치 제2 이라크처럼.

포스팅이 LLM 로 작성되었는 지 아닌 지 알아볼 수 있는 가장 쉬운 방법 => "-" 대신 "—" 이 들어가 있는 지 보자. 과거엔 Bold를 표시하기 위한 markdown 기호인 "**"을 그대로 붙여넣는 경우로 판단을 했는 데, 이젠 "**"은 많이 줄어들어 더 이상 의미있는 표지자로 보기 힘들다는 생각.

Demis Hassabis says AI won’t just accelerate drug discovery. It will replace the process entirely. The pharmaceutical industry finds drugs the same way it has for decades. Synthesize a compound. Test it on animals. Test it on humans. Wait years for approval. Hope the molecule doesn’t kill someone along the way. Every step is physical. Every step is slow. Every step is expensive enough to make most diseases not worth curing. Hassabis: “We’re focusing on solving the rest of the drug discovery process, which is a lot of chemistry, designing the compounds, checking it’s not toxic, and all the different properties you need for drugs to be safe.” That sounds incremental. It isn’t. AlphaFold solved protein folding. Isomorphic Labs is now working through the rest of the chain. Compound design. Toxicity screening. Safety profiling. All computational. None of it requires a lab. Hassabis: “I think we’ll have that whole drug design engine ready in the next five to 10 years.” Not a tool that assists chemists. A system that replaces the chemistry. But designing the drug was never the bottleneck that killed people. Clinical trials were. A single drug takes over a decade to move from lab to patient. Most of that time isn’t science. It’s bureaucracy, logistics, and the blunt reality of testing molecules on living tissue one dose at a time. Hassabis: “Simulating parts of the human metabolism, also stratifying patients to make sure that certain patients get exactly the right type of drug that’s suitable for their genomic makeup.” Simulate the patient before you treat the patient. Map individual DNA. Model personal metabolism. Test the drug on a digital replica before it touches a vein. Not personalized medicine as a marketing phrase. Personalized medicine as an engineering output. The final wall is regulatory. The FDA exists because humans make mistakes with molecules. Every approval gate was built to catch errors that cost lives. The entire structure assumes the process is fallible. What happens when the process stops being fallible. Hassabis: “Perhaps like the animal testing is not needed anymore, maybe we can go up the dosage ladder quicker, because you can rely on these models.” He’s not speculating. He’s describing a sequence. AI-designed drugs enter the existing pipeline. A dozen compounds go through full traditional trials. Regulators collect data. They back-test model predictions against real outcomes. Hassabis: “Then the government and the regulatory bodies see that and they have enough data to sort of back-test the predictions of those models.” When the models prove more accurate than the trials they’re meant to replace, the trials become the bottleneck. Not the science. The paperwork. Animal testing shortened. Dosage ladders compressed. Entire stages of the pipeline collapsed into computation. The drug doesn’t get discovered faster. The drug gets discovered differently. The laboratory moves from a building to a server. The clinical trial moves from a hospital ward to a simulation. The patient moves from a statistic to a genome. Hassabis isn’t promising a cure for one disease. He’s describing the architecture that makes curing disease an engineering problem with a known solution path. The bottleneck was never biology. It was the speed at which humans were allowed to solve it. That speed limit is about to be revoked.

A striking sentence I read today: We don’t think power is the constraint for TSMC’s chip demand, at least for 2027, but ABF substrate and HBM supply are major gating factors. -Morgan Stanley

사실 학습부터 이진양자화하는 기술은 상당히 오래되었습니다. 벤지오 교수님의 2016년도 논문부터 있으니 10년은 된 일이죠. 이게 자꾸 재발견되고 하는데 올해나 내년쯤 되면 그래도 이진 정도 축소는 보편적인 현상이 될 것 같습니다. MoE에서 얘가 문제를 일으키는데, 그것도 얼마전에 처리하는 연구가 있다고 책갈피 해놓은 것 같아요. 아마 양자화 하시다보면 MoE에서 무한루프가 돌거나 하실 수 있습니다. unsloth가 딥시크 1.58b 양자화할 때 언급한 내용이거든요. 다음 단계는 논리 레벨의 압축인데 이 부분은 felix peterson이 2022년부터 differential logic gate 연구로 쭉 밀고 있고 그 연구소장이신 StefanoErmon 께서는 discrete diffusion transformer로 스타트업도 내셨더라구요. 트위터 하시는 분이니 팔로우하셔도 좋을 것 같습니다. 그리고 RNN계열은 SSM이라고 하여 mamba로 알려진 모델계통이 있는데 test-time learning / continuous learning으로 최근 유력한 연구는 작년초 구글의 titans라는 연구가 있습니다. 이들괴는 별도로 learning rate의 hierachy를 설정하는 방식으로 HRM이라는 연구와 삼성의 해외 연구소에서 TRM이라는 연구를 제안했고, 구글에서도 nested learning이라는 분야로 진행중입니다. titans는 장기기억인 needle in the haystack문제에서 기존 뉴럴넷보다 압도적인 성능을 보여주고 있고, HRM계통은 reasoning 문제에서 우수한 성능을 보이고 있습니다. 이들 모두 모델 크기는 수십 M에 불과하죠. 이산 디퓨전 트랜스포머의 경우 압도적인 생성 속도를 보실 수 있는데, 세 연구분야중 가장 최신이라 할 수 있지만 올해 안으로 상업모델들이 거의 채택할 것으로 보입니다.

제가 일반 소비자향 PC(IBM 호환 뿐 아니라 맥/리눅스 포함)에서 준수한 성능으로 작동하는 모델을 구현하기 위해 시간을 쓰는 이유입니다. 가능하면 열정이 있고, 의지가 있는 사람들이 더 많이 자신의 시간과 호기심을 AI 라는 트랜스포머로 돌려 더 큰 꿈을 이룰 수 있으면 얼마나 좋겠습니까.

논문 핵심 내용 소개 1. 게놈 시퀀싱 기술의 사용 2. 게놈 편집 기술의 사용 3. 세포 배양 4. 매우 간단한 투여 방법 5. 면역 원성의 부재 6. 인지 능력 회복, 위축된 뇌용적 및 기능 회복, 골다공증 회복 7. DNA 손상, 염증성 사이토카인, 세포 자살 감소 8. 다양한 조직의 노화를 역전(회춘) : 해마, 전두엽, 신경절(dorsal root), 나팔관, S결장에서 최대의 회춘 효과 9. 노화 관련 경로 억제, 재생 관련 경로 활성화 => 포괄적인 전사체 회춘 10. 전사체 기반 분석시 피부, 폐, 골격근, 비장, 뇌의 해마 순으로 크게 회춘 11. 혈관 회춘, 신경 복원, 대사 기능 장애 개선(폐 섬유화/신장 기능/뇌 지질 침착/골격근 회복) 12. 특징적으로 남녀 공통 조직보다 성별 특이적인 생식 기관의 회춘이 두드러짐 - 자궁, 전립선, 정낭, 부고환, 고환, 난소의 회춘 - 정자 형성 개선과 함께 놀랍게도 난모세포(미성숙 난자, 폐경되면 사라짐)의 강력한 회춘이 확인 : 즉 생식 능력 저하를 되돌림 13. 노화의 역전은 엑소좀에 의해 전달 논의 : 유전적으로 최적화된 인간 줄기/전구 세포의 정맥 주입이 영장류 노화를 늦추는(늦추는 걸 넘어 역전) 효과 평가 - 안정성을 갖춘 항노화 효과 가진 보편적/즉각 사용 가능한 인간 줄기 세포 개발 및 영장류 노화/회춘 정량적/포괄적 평가 도구 확립, 미래 중재 의학 로드맵 설계가 가능해짐 한계 : 1. 인간 SRCs(노화 저항성 세포) 치료가 영장류 노화를 전신적으로 늦출 수 있다는 증거를 제공히지만 특히 생식 능력과 같은 기능적 결과에 대한 장기적 영향 확립 필요. 2. 전신 향상성을 조절하는 MPCs(중간엽 줄기 세포)의 다면적 역할을 고려시 엑소좀 이상의 매커니즘에 대한 연구 필요.

@9uro9uru 지지율에 취해서 이상한 행동을 시작할 때가 결국 레임덕으로 이어지는 조기 clue 아니었나 싶습니다.

보여주기용 쑈를 하는 것과 가짜뉴스에 낚인 것이 구분이 안된다면 (그게 일부러 한 퍼포먼스 정도로 보인다면) 지적 능력의 한계를 스스로 인지하고 세상을 분석하려는 어리석은 시도를 중단하길 권하고 싶다. 아무리 꿈보다 해몽이라지만 무지가 분출하는 특유의 역겨움이 있음.

@woohyong 대통령 지지율이 너무 높아서 자아가 비대해진 거 같습니다. 아니면 트럼프 대통령을 보고 나도 해봐도 된다고 생각했다거나.. 하지만 대한민국이라는 나라의 수장에 굳이 전쟁 범죄 논쟁에 빠져서 얻는 실익이 뭘까요. 청와대 비서실에서 계정을 어서 뺏어야 할 거 같습니다.

이게 각하프사계정이 국제키배 뜰 일입니까? 참 내 기가막히네...

이스라엘 외무부와 잽을 직접 나누는 각하프사 계정

BofA: Anthropic's Claude Revenue Growth Trajectory Could Surprise AWS to the Upside Anthropic's ARR increased by approximately $21 billion during Q1 (from $9 billion to $30 billion, see Exhibit 1), implying a quarter-over-quarter revenue increase of over $3 billion. Given that a significant portion of Anthropic's workloads run on AWS (Anthropic has reaffirmed that AWS remains its primary cloud provider and training partner), and factoring in the quarter-over-quarter increase in training-related spending, we estimate that Anthropic-related revenue alone could contribute over $1.3 billion in quarter-over-quarter growth to AWS revenue in Q1. This significantly exceeds the current Street consensus, which implies approximately $1 billion in quarter-over-quarter growth (we estimate Amazon's total quarter-over-quarter growth could reach $2 billion). Looking ahead to Q2, we project that Anthropic alone could contribute an additional $1 billion-plus in quarter-over-quarter growth. $AMZN

xAI가 매우 유리한 건... 기존 모델의 소비자 수요(B2B든 B2C든)가 크지 않아, 보유한 연산력의 대부분을 훈련에 투입시킬 수 있는 거겠죠. 물론, 어마무시한 캐쉬 버닝이 동반되긴 하겠지만요.

@Alisvolatprop12 오픈소스로 공개해 주셔서 정말 고맙습니다. 지식은 고여있는 것보다 흐르는 것이 더 풍성해 진다고 믿는 사람으로서 오픈소스 생태계에 기여해 주시는 분들에게 항상 감사한 마음이 큽니다.

Kaven을 공개합니다. Kaven은 AIS/ADS-B/뉴스/소셜 데이터를 수집하고, LLM 분석 + dedup 후 텔레그램 알림/로그 저장까지 수행하는 지정학 조기경보 시스템입니다. github.com/avlp12/kaven

스페이스X와 테슬라에서는 그런 방식으로 성공했는데, 그게 AI 업계에서는 독이 되는 듯 합니다. 사실 일전에 Alis님께서 공유해주신 아티클에서 본 기억이 나는데 앤트로픽 기업의 우위는 기술력이 아니라 가치와 철학인 거 같더라고요. AI 업계 유명한 연구원(혹은 엔지니어)뜰은 어차피 돈이 아쉬운 존재들이 아니다보니..

@withaomame 일론은 사람을 너무 잘 짜릅니다. ㅋㅋ 그게 독이 되서 돌아오는 것 같기도 하네요.

일론은 anthropic이 woke 집단이라고 비난하지만 그럼 어째서 xAi는 woke anthropic의 발 끝에도 못 쫓아가는 지 자문해야할 듯 싶네요.

@otaku__yuta 앞으로 전쟁의 양상은 더욱 바뀔 것 같습니다… 누가 전투원이고 누가 비전투원인지 알 수가 없는… 저런 걸 보고 적국에 있는 자국에 친화적인 민간인 포섭해서 비대칭 전력으로 공격을 감행하면…

이런게 이제 오픈 인텔리전스로 올라오는 시대입니다.