

Ethan
7.2K posts






Introducing 𝑨𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏 𝑹𝒆𝒔𝒊𝒅𝒖𝒂𝒍𝒔: Rethinking depth-wise aggregation. Residual connections have long relied on fixed, uniform accumulation. Inspired by the duality of time and depth, we introduce Attention Residuals, replacing standard depth-wise recurrence with learned, input-dependent attention over preceding layers. 🔹 Enables networks to selectively retrieve past representations, naturally mitigating dilution and hidden-state growth. 🔹 Introduces Block AttnRes, partitioning layers into compressed blocks to make cross-layer attention practical at scale. 🔹 Serves as an efficient drop-in replacement, demonstrating a 1.25x compute advantage with negligible (<2%) inference latency overhead. 🔹 Validated on the Kimi Linear architecture (48B total, 3B activated parameters), delivering consistent downstream performance gains. 🔗Full report: github.com/MoonshotAI/Att…





핑크가 나쁜색이 아닙니다. 순결, 순수한 사랑 뭐 이런 좋은 상징물인데 그들은 항상 그것을 더럽히죠. 마찬가지로 노랑 또한 아주 좋은 색입니다. 햇빛은 사실 신의 온기를 상징하는 상징물입니다. 옐로우는 아주 좋은 색인데 그들은 그것도 노랑리본등으로 더럽히죠. 그들은 언제나 가장 좋은 것을 더럽힐려고 합니다. 3과 6과 9는 수비학적으로 보통 좋은 숫자이며 이 또한 그들은 더럽힙니다. 그들은 항상 좋은 것을 나쁜것으로 나쁜것을 좋은 것으로 뒤집어 버립니다. 가장 안타까운 상징물 중에 하나가 무지개 입니다.





기억을 잘 더듬어 보세요. 세이브코리아 윤상현 장동혁 김민수 그C 전한길 그리고 애터미를 연관 지어보세요. 내각제 정반합 중국 박덕흠이랑 정진석 사돈관계입니다. 대통령님은 혼자서 싸워 오신 겁니다..




