ryul99 율 🐲

DFlash for Gemma 4: Up to 6x Faster. ⚡⚡ Great to see MTP land natively in Gemma 4 today. If you want to push it further, try DFlash — open source, same quality, more speed!! github.com/z-lab/dflash

Today ggml.ai joins Hugging Face Together we will continue to build ggml, make llama.cpp more accessible and empower the open-source community. Our joint mission is to make local AI easy and efficient to use by everyone on their own hardware.

클로드 코드 최신버전에서 systemMessage 가 추가되었는데요, 유저에게만 메시지를 보일 수 있게 하는 기능입니다. 때문에 이전 방법이 가지는 단점을 모두 해소할 수 있어서 histroy toggle로 영어레슨을 봐야할 필요없고, 메인 세션의 context에 주입되는 것이 전혀 없어 LLM 성능의 저하가 없습니다

메인 claude 프로세스로 전달하는 방식으로 1. LLM의 답변중에 생성되는 것이 아닌 additional prompt 형식으로 표시되어 LLM이 한번에 서로 다른 맥락의 작업을 진행할 필요가 없음 2. 최종 결과물만 표시되어 additional prompt 또한 최소화함 등의 장점이 있습니다.

주요한 차이점은 메인 컨텍스트 소모를 최소화 한다는 점인데요, 기존 방법은 메인 컨텍스트에서 LLM이 응답하는 과정중에 전달되기 때문에 턴이 길어질 경우 히스토리가 섞일 가능성이 있습니다. 이에 반해 새롭게 작성한 방법은 서브 claude 프로세스를 실행 후 structured output형식을 통해 결과만

영어로 프롬프트를 적으면 성능이 더 나을 것이라 생각해서 + 익숙해지기 위해서 영어로 프롬프트를 작성했었는데요, 뉘앙스 차이가 전달이 안되더라구요. 그래서 prompt rewriter를 시도하던 중 jiun.dev/posts/claude-h… 을 보고 영어학습용으로 방향을 바꾸어보았습니다. torch.vision/posts/claude-e…

In today's episode of programming horror... In the Python docs of random.seed() def, we're told "If a is an int, it is used directly." [1] But if you seed with 3 or -3, you actually get the exact same rng object, producing the same streams. (TIL). In nanochat I was using the sign as a (what I thought was) clever way to get different rng sequences for train/test splits. Hence gnarly bug because now train=test. I found the CPython code responsible in cpython/Modules/_randommodule.c [2], where on line 321 we see in a comment: "This algorithm relies on the number being unsigned. So: if the arg is a PyLong, use its absolute value." followed by n = PyNumber_Absolute(arg); which explicitly calls abs() on your seed to make it positive, discarding the sign bit. But this comment is actually wrong/misleading too. Under the hood, Python calls the Mersenne Twister MT19937 algorithm, which in the general case has 19937 (non-zero) bits state. Python takes your int (or other objects) and "spreads out" that information across these bits. In principle, the sign bit could have been used to augment the state bits. There is nothing about the algorithm that "relies on the number being unsigned". A decision was made to not incorporate the sign bit (which imo was a mistake). One trivial example could have been to map n -> 2*abs(n) + int(n < 0). Finally this leads us to the contract of Python's random, which is also not fully spelled out in the docs. The contract that is mentioned is that: same seed => same sequence. But no guarantee is made that different seeds produce different sequences. So in principle, Python makes no promises that e.g. seed(5) and seed(6) are different rng streams. (Though this quite commonly implicitly assumed in many applications.) Indeed, we see that seed(5) and seed(-5) are identical streams. And you should probably not use them to separate your train/test behaviors in machine learning. One of the more amusing programming horror footguns I've encountered recently. We'll see you in the next episode. [1] docs.python.org/3/library/rand… [2] #L321C13-L321C30" target="_blank" rel="nofollow noopener">github.com/python/cpython…

이해 부채: LLM이 만든 코드가 남기는 시한폭탄 - 최근 LLM(대규모 언어 모델)이 생성한 코드를 수정·보완하는 데 개발자가 더 많은 시간이 걸리고 있음 - 기존 레거시 코드처럼, 코드를 안전하게 바꾸려면 먼저 무엇을, 왜 그렇게 구현했는지 이해해야 하는데, LLM 코… news.hada.io/topic?id=23384

저는 좀 괜찮게 쓰고 있는데 막상 이 프로젝트가 얼추 마무리되니 claude code를 쓸만한 (회사일 아닌) 코드작업이 없어졌네요...

오랜만에 왔습니다ㅎㅎ 작은 홍보를 하려고 왔어요. 기존레포의 구현이 litellm을 쓰고 있음에도 openai와 gemini만 지원하고 tool call의 결과물을 tool role을 안쓰고 추가해서 tool calling이 많이 약했습니다. 그래서 이걸 포크해서 나름대로 좀 개선해서 만들었어요. github.com/ryul99/claude-…

🫢

Six Dragons Fly Again for the Web: An Interactive Web Application for Everyone @ISMIRConf I developed an interactive web demo for the Six Dragons project that can create an ensemble of Korean court music using our project's model.🐉🎵 Implementation: crescent.studio/project/six-dr…

목요일에 결과가 나오지만 제가 참여한 논문 프로젝트가 top7에 해당하는 Best Paper 후보가 된 상황입니다. 좋은 결과가 있길...

Oasis A Universe in a Transformer Oasis is an interactive world model developed by Decart and Etched. Based on diffusion transformers, Oasis takes in user keyboard input and generates gameplay in an autoregressive manner.

What is the performance limit when scaling LLM inference? Sky's the limit. We have mathematically proven that transformers can solve any problem, provided they are allowed to generate as many intermediate reasoning tokens as needed. Remarkably, constant depth is sufficient. arxiv.org/abs/2402.12875 (ICLR 2024)

CPython dict has a huge pitfall: If you have added N keys in dict, no matter how many times you deleted keys, it takes O(N) time to iterate over it.

Critical flaw found in #Docker Engine allows attackers to bypass authorization plugins (AuthZ) - CVE-2024-41110, CVSS score 10.0. This #vulnerability can lead to severe privilege escalation, affecting numerous Docker versions. Details here: thehackernews.com/2024/07/critic… #DevOps

FuriosaAI's research paper "TCP: A Tensor Contraction Processor for AI Workloads" has been accepted for publication by the International Symposium on Computer Architecture (@ISCAConfOrg), the premier forum for new ideas in silicon design. furiosa.ai/download/Furio… (1/5)

🗞️ Anthropic, AI(LLM)의 내부 작동 해석에 성공했다고! 그동안 AI가 블랙박스라며 어떻게 작동하는지 모르기 때문에 믿을 수 없다, 위험하다는 이야기가 많았는데요. 이번에 Anthropic 팀에서 Claude 3 Sonnet 모델의 내부 작동을 이해하는데 성공했다고 발표했습니다. 그동안 작은 모델에서는 일부 진전이 있었지만, 상용의 대형 모델의 해석이 구체화 된 것은 처음으로 매우 놀라운 발표입니다. 간단하게 설명하면, 모델의 뉴런 활성화 패턴을 인간이 해석할 수 있는 수백만개의 개념으로 식별하고 추출하는 방식으로, 내부 상태에 대한 대략적인 개념 지도를 만들고 시각화했는데요. 이를 통해 모델을 투명하고 깊이 이해할 수 있게 되어 모델의 예측과 행동을 더 잘 설명 할 수 있고, 더불어 잠재적인 유해 행동을 미리 알 수 있게 되어 안전성을 크게 높일 수 있게 되었다고 합니다. 무엇보다 중요한 것은, 뉴런(개념)들을 조작해서 인위적으로 증폭하거나 억제하여 모델의 반응이 변하는 것도 확인했다는 것인데요. 그동안은 해로운 출력을 방지하기 위해 학습 데이터를 통해 사후에 조정하는 방법을 썼는데, 이제는 그럴 필요 없이 사전에 모델이 가진 개념들을 명시적으로 이해한 뒤 직접적으로 개입할 수 있게 되었다는 것이죠. 바로 며칠전에 OpenAI의 Superalignment 팀의 해체로 정렬 문제에 대해 많은 우려가 있었는데, 곧바로 Anthropic이 문제 해결에 큰 진전을 보였다는 소식이 나오네요. 진짜 AI 소식의 도파민 중독은 멈출 수가 없습니다. 😎🍿🥤

Scarlett Johansson is taking legal action against OpenAI after they 'copied' her voice for GPT-4o. According to the actress, Sam Altman tried to hire her voice last September, she said no, and Sam used cloned and used her voice anyway. Insane if true. x.com/BobbyAllyn/sta…