Halley

Privacy-first onchain infrastructure for institutions. @RaylsLabs connects private EVMs to public DeFi while preserving compliance and confidentiality. Full Pulse report from @0xWeiler below👇

@elonmusk Maybe they use Grok j4f

You don’t say … 🤔

📍Trữ lượng tiền gửi tại Fed tiếp tục giảm 📌 Dự trữ ngân hàng tại Fed giảm xuống $2.98T (đã giảm $20.1B tuần qua), đánh dấu tuần giảm thứ 8 liên tiếp - mức thấp nhất kể từ đầu năm 2025. 📌 Bộ Tài chính Mỹ liên tục tăng phát hành nợ để tái xây dựng TGA, hút thanh khoản khỏi hệ thống + Fed duy trì QT, chuyển từ dư thừa sang "tối thiểu vừa đủ”. ->Thanh khoản hệ thống ngày một mỏng sẽ kéo theo lãi suất ngắn hạn sẽ biến động mạnh hơn trong tương lai. Dù mục tiêu dự trữ đã gần tới mức hợp lý nhưng cụ Powell vẫn chưa phát tín hiệu dừng. Fed muốn bảng cân đối "nhỏ nhất có thể" (Fed Waller ước tính về mức $2.7T)

New in-depth blog post - "Inside vLLM: Anatomy of a High-Throughput LLM Inference System". Probably the most in depth explanation of how LLM inference engines and vLLM in particular work! Took me a while to get this level of understanding of the codebase and then to write up this one - i quickly realized i understimated the effort. 😅 It could have easily been a book/booklet (lol). I covered: * Basics of inference engine flow (input/output request processing, scheduling, paged attention, continuous batching) * "Advanced" stuff: chunked prefill, prefix caching, guided decoding (grammar-constrained FSM), speculative decoding, disaggregated P/D * Scaling up: going from smaller LMs that can be hosted on a single GPU all the way to trillion+ params (via TP/PP/SP) -> multi-GPU, multi-node setup * Serving the model on the web: going from offline deployment to multiple API servers, load balancing, DP coordinator, multiple engines setup :) * Measuring perf of inference systems (latency (ttft, itl, e2e, tpot), throughput) and GPU perf roofline model Lots of examples, lots of visuals! --- I realize i've been silent on social - many of you noticed and thanks for reaching out! :) --> I'm so back! lots of things happened. Also, in general, I'm a bit sick of superficial content, it really is an equivalent of junk food (h/t @karpathy). I want to do the best/deepest technical work of my life over the next years and write much more in depth (high quality organic food ;)) so I might not be as frequent around here as i used to be (? we'll see). I'll make it a goal to share a few paper summaries a week or stuff that's relevant / in the zeitgeist. If you have any topics that happened over the past few weeks/months drop it down in the comments i might focus on some of those in my next posts. --- Huge thank you to @Hyperstackcloud for giving me an H100 node to run some of the experiments and analysis that i needed to write this up. The team there led by Christopher Starkey is amazing! Also a big thank you to Nick Hill (who did a very thorough review of the post - basically a code review lol; Nick's a core vLLM contributor and principal SWE at RedHat) and to my friends Kyle Krannen (NVIDIA Dynamo), @marksaroufim (PyTorch), and @ashVaswani (goat) for taking the time during weekend when they didn't have to!

Today, we're releasing The Circuit Analysis Research Landscape: an interpretability post extending & open sourcing Anthropic's circuit tracing work, co-authored by @Anthropic, @GoogleDeepMind, @GoodfireAI @AiEleuther, and @decode_research. Here's a quick demo, details follow: ⤵️

More fun reads

Introducing Paper2Blog Convert any research paper (arXiv, bioRxiv, medRxiv, etc), course material, or technical documentation into a visual easy-to-understand blog with the click of a button Zotero integration coming soon 👀

Billions worth of system prompts are exposed in a single repo. The scale of IP leaks is remarkable in the LLM era.

🚨 New @a16z thesis: AI avatars Generative models are finally good enough to make talking characters with AI. Combining a voice with a face has unlocked countless use cases - from sales reps for enterprises to consumer animation. Our market map + insights 👇

🇨🇾 We’re at @iFXEXPO! If you're attending, we'd love to meet! Get in touch with our team to chat or learn more about our comprehensive product offering. Hope to see you there! #iFXEXPO

Best LLM papers of the last month or two for me to read on a flight?

Inspired by @AndrewYNg’s threads on agents in the past few weeks, I’m excited to share my talk from the @weights_biases conference that outlines how to build a general context-augmented research assistant 🧑‍🔬 Naive RAG is mostly good for simple questions in a single-shot setting. But building a research agent enables the following: ✅ Multi-hop QA ✅ Query understanding and task planning ✅ Interfaces to interact with a broad range of external tools ✅ Reflection to iteratively correct behavior ✅ Memory for personalization We start with the agent ingredients and then compose full agents. Full guides to @llama_index resources linked below 👇 Check it out: docs.google.com/presentation/d…

Time to look at this month's market insights! Our research team analyzed the state of the crypto market and provided insights on crypto adoption, EigenLayer, Ethena's TVL growth, and more. Check it out ⬇️ binance.com/en/research/an…

🍀Chưa đến 1 năm nữa là halving, và trend mạnh mẽ nhất đang được hình thành theo mình là #RWA. #RWA hiện tại đang âm thầm phát triển, không chỉ có gem như $CFG hay $RIO mà còn mở rộng ra với các dự án nền tảng, 1 trong số đó là $LINK sau update #CCIP Mình bullish vào Real World Assets - #RWA từ trước khi #Blackrock và các tập đoàn tài chính lớn nộp đơn Bitcoin ETF vì 2 hint. #CZ phím Tradfi (tài chính truyền thống) sau đó xóa tweet và Binance Research đề cập đến narrative này. Hiện tại, khi tìm hiểu thêm về onchain U.S Treasury, mình càng bullish hơn về trend #RWA, đặc biệt là halving sắp đến, một chu kỳ có thể x100 bất cứ một trend mới nào như RWA. Nhu cầu về lợi suất trái phiếu kho bạc Hoa Kỳ (#USTreasury) đã tăng vọt trong 15 tháng qua trong đợt tăng lãi suất lịch sử của FED, khiến cho Lãi suất tăng từ 0,25% vào tháng 3 năm 2022 lên 5,25% hiện nay. Với các giao thức Lending hàng đầu crypto offer từ 2-3% yield của stablecoin, US Treasury Yield mang đến một giải pháp thay thế hấp dẫn và đỡ rủi ro hơn rất nhiều. Và onchain Treasury bill ban đầu có vẻ hơi khó hiểu, tuy nhiên hãy thử tưởng tượng đơn giản nếu bạn muốn mua Treasury Bill - trái phiếu kho bạc Hoa Kỳ bằng #USDT, thay vì phải đổi từ #USDT sang #USD, giờ đây bạn có thể mua trái phiếu kho bạc Hoa Kỳ bằng #USDT trên chuỗi (onchain) bằng cách sử dụng #USDT của mình. Đây chính là tiền đề để chúng ta có thể tin tưởng vào một #RWA trend mạnh mẽ, khi mà T-bill chưa từng được giao dịch bởi 1 đồng tiền nào khác ngoài USD, và nay nó được chấp nhận giao dịch bởi USDT - một stablecoin trên chuối. Các bạn đoán xem hiện tại ai đang được vận hành việc giao dịch US Treasury Bill này ? Câu trả lời chính là #FranklinTempleton - công ty con của Franklin Resources - Top 9 trong số các quỹ quản lý tài sản và đầu tư lớn nhất thế giới hiện tại, chung mâm với mấy tay như #Blackrock, #Vanguard hay #Fidelity mà anh em hay nghe đến. #Franklin hiện tại đang nắm nhiều thị phần nhất trong onchain US Treasury. Thị phần đứng thứ hai hiện tại chính là startup Defi @OndoFinance. Nếu thị trường truyền thống có #Franklin thì crypto sẽ có @OndoFinance - dự án gọi vốn được hơn $20M từ các quỹ lớn nhất thị trường crypto. Và sản phẩm của họ là Token hóa trái phiếu kho bạc Hoa Kỳ thông qua các ETF của các tổ chức như #Blackrock, với APY hấp dẫn lên đến 5.13%. Đặc biệt, @OndoFinance chưa ra Token. Và với việc ra mắt giao thức #CCIP, LINK theo cá nhân mình đánh giá sẽ trở thành 1 cầu nối cực kì quan trọng giữa #Tradfi và #Defi. 1 tuần trước @OndoFinance đã mở rộng sang mạng Polygon, nếu có #CCIP của $LINK, mọi tương tác giữa các chain sẽ dễ dàng và thuận tiện hơn rất nhiều, góp phần giải quyết bài toán về khả năng mở rộng trong không gian Defi $LINK sẽ có 1 bài research cụ thể hơn, anh em có thể đón đọc ở post sau.