code_n_money

Claude Design 에 앱 코드로부터 디자인 mockup을 그리게 하고 흐름상 어색한 부분을 찾고 이를 개선하게 했더니 감동적으로 멋지게 잘해준다. 상호 작용 가능한 mockup 을 대화만으로 만들어 주는식. 이거 때문에라도 claude 못 끊게 생겼다.

TSMC 2nd Quarter 2026 Earnings Revenue US$40.2B up 33.7% YoY, exact top of guide Gross Margin 67.7% vs guide 65.5% - 67.5% -BEAT Opng Margin 60.3% vs guide 56.5% - 58.5% -BEAT Net Profit US$22.37B vs expected $19.65B -BEAT EPS US$4.31 per ADR vs range $3.80-$3.83 -BEAT Thread 1/ $TSM $NVDA $AVGO $AMD $AAPL #semiconductors

SAM ALTMAN HAS LOST IT. Google just shrunk 31GB of AI memory down to 4GB. They open-sourced a vector index that fits 10 million documents in 4GB of RAM and searches them faster than FAISS. → 16x compression per vector → 10-19% faster than FAISS → Zero training. Zero rebuilds. No GPU cluster. No cloud bill. No compromise. Runs 100% locally.

미국에서 드디어 엔비디아 외 제대로 오픈 소스 모델을 공개한 연구소 등장

Today, we are introducing Inkling. Inkling reasons efficiently across text, image, and audio modalities. We are making the full weights available. thinkingmachines.ai/news/introduci… Available today for fine-tuning on Tinker. Play with it in the Inkling Playground. 🧵

I've been using Fable 5 and GPT-5.6 Sol A LOT the past few days. Both on effort level high. Three different projects with vastly different codebases. Some thoughts from real-world use... 1. Fable 5 **never** makes mistakes. Not once. I've given it complex features and it never randomly messes up. It's actually blown my mind a bit. 2. GPT-5.6 Sol gets it right 50% of the time. It hasn't deleted any production code, which is great, but it also makes stupid mistakes and just forgets to do part of a feature entirely. I find myself having to go back and forth with GPT-5.6 just as much as I did with GPT-5.5. 3. I built a Captions feature into our video editing app (SceneRoll) in two separate workspaces, one with Fable 5 and one with GPT-5.6 Sol (same starting prompt). Fable 5's was nearly perfect out of the gate (a couple small UI tweaks). GPT-5.6 Sol didn't even have the captions playable on video 😂. I spent an additional hour and then finally just gave up on GPT. 4. Fable 5 thinks about a lot more edge cases. It's going 4-5 steps further without telling it to even do that. 5. GPT-5.6 Sol does not think very far ahead. Yes, it's better than 5.5, but I wouldn't say noticeably. 6. Fable 5 is a more creative thinker. I asked it build a gamification trial onboarding flow for our content creation app (Solo Content Studio). It was REALLY good. It thought through little animations, details, and even small alerts to give to the user. 7. GPT-5.6 Sol can work within a brand system well, but it does deviate randomly. It LOVES trying to shove a dark mode moment and random shapes into a page. Fable 5 never does this. It just follows the brand system and never invents any random design treatments. 8. I am NOT A DEVELOPER, so take this with a grain of salt: GPT-5.6 Sol writes more code than Fable 5. It seems to just try to do more or write more, when it really doesn't have to. On a feature that's 1,000 lines of code, Fable 5 usually removes 15% of what GPT-5.6 Sol wrote. 9. GPT-5.6 Sol wins by a mile on actual usage. Think of it like a Toyota Prius. It's going to give you 80 MPG and you're never going to need to worry about your usage. Fable 5 is like a (token) gas-guzzling SUV. You feel how much usage it tears through. 10. I used "Ultra" mode on both. I'm not entirely sure I see the point, unless you just want to YOLO your usage and have it work on something big overnight. I would only trust Fable 5 to work overnight in Ultracode. It would nuke usage, so I'd rather just babysit it during the day and get a lot more done with the usage. 11. I have a 13-year old codebase (Teachery) that I've tried to use GPT-5.6 Sol on multiple times, and multiple times it cannot do the simplest of tasks correctly. I don't know if it's just getting lost in the old spaghetti code or what, but it fails to do simple things like take a list of 140 users, only show 15, paginate the rest. Fable 5 accomplished this in 1 sentence and 1 attempt. GPT failed 3 times on this task. 12. Unrelated to code, I feel like Fable 5 and GPT-5.6 Sol are on the same playing field when it comes to brainstorming, analysis of data, and big picture thinking. Neither feels better than the other. 13. Oh, when you give GPT-5.6 Sol a complex task, it will spawn ONE MILLION AGENTS 😅. It's actually kind of insane. I don't care that it does this, but I find that Fable 5 feels more conservative with its agents. It uses them, but it doesn't just whack 20 of them onto tasks. FINAL THOUGHTS... The takeaways above, were based on singular use with each model. My typical building flow is Fable 5 as planner/reviewer, GPT-5.6 as code writer, Fable 5 deploys Opus/Sonnet as agents to verify and test. This is the best way to squeeze the most juice out of both models (and really, just save as much Fable usage as possible). Like many other people, I'm going to be sad to see Fable 5 goes to usage credits only. My hope is that Opus 5 ends up with all the same reasoning abilities, and can orchestrate and manage big tasks like Fable 5 does. But, being totally honest, if I have to pay $200-$500 in Fable 5 usage credits a month to continue to use it with sky-high confidence and accuracy, I’ll do it in a heartbeat.

LoRA 라면 두개 어댑터를 Concat 할 수 있다. 이때 rank는 r1 + r2.

Stacking은 가중치를 평균하지 않고, 기존 모델의 레이어를 선택해 새로운 순서로 쌓는 방식이다. Passthrough 또는 Frankenmerge라고도 부른다. 구성 방법도 다양하다. - Concatenation: A의 앞 레이어와 B의 뒤 레이어를 연결 - Interleaving: A와 B의 레이어 구간을 번갈아 배치 - Layer insertion: 한 모델의 중간에 다른 모델의 레이어를 삽입 - Layer repetition: 특정 레이어 구간을 반복해 모델의 깊이를 확장 - Slice selection: 각 모델에서 성능이 좋을 것으로 예상되는 구간만 선택 - Hybrid stacking: 일부 구간은 stacking하고, 나머지는 Linear나 TIES 등으로 병합 예를 들어 32-layer 모델에서 A[0:16] + B[8:24] + A[16:32] 처럼 레이어 구간을 자유롭게 조립할 수 있다. 이 방식은 7B 모델들로 9B, 11B처럼 기존에 없던 깊이의 모델을 만들 수 있지만, 파라미터 수와 추론 비용이 증가하고 레이어 사이의 표현이 자연스럽게 연결된다는 보장도 없다. 즉, stacking의 핵심은 "어떤 모델을 섞을까"보다 "어느 레이어를 어떤 순서로 쌓을까"다.

Model merging은 여러 파인튜닝 모델의 능력을 추가 학습 없이 하나의 모델에 합치는 기법이다. 베이스 모델을 W₀, 파인튜닝 모델을 Wᵢ라 하면: Δᵢ = Wᵢ - W₀ 이 Δᵢ가 task vector다. 즉, 특정 작업을 학습하면서 모델이 베이스에서 어느 방향으로 이동했는지를 나타낸다. Wmerge = W₀ + Σ λᵢΔᵢ 대표 방법 - Linear merge: 여러 task vector를 비율대로 단순 가중합한다. 가장 간단하지만, 서로 반대 방향으로 수정된 파라미터가 상쇄되거나 성능을 해칠 수 있다. - SLERP: 두 모델을 직선이 아니라 구면 위 경로로 보간한다. 가중치 벡터의 방향과 크기를 더 자연스럽게 유지하려는 방법으로, 주로 두 모델을 합칠 때 쓴다. - TIES: task vector에서 작은 변화는 제거하고, 같은 파라미터의 업데이트 부호가 충돌하면 다수 모델이 동의한 방향만 남긴다. 파인튜닝 간 간섭을 줄이는 것이 핵심이다. - DARE: task vector 일부를 무작위로 제거한 뒤, 남은 값에 스케일을 보정한다. 파인튜닝 변화에 중복이 많다는 가정을 이용해 충돌을 줄인다. - DARE-TIES: 먼저 DARE로 task vector를 희소화한 뒤, TIES로 부호 충돌을 정리한다. 여러 모델을 병합할 때 자주 쓰이는 조합이다. LoRA도 각 어댑터의 ΔW = BA를 task vector처럼 합칠 수 있다.

동감. 바로바로 계속 방향 잡아주는게 좋다.

@nameEO 이게 되네요 ㅎㅎ

SK HYNIX ADR $SKHY NOW TRADES AT NEARLY A 50% PREMIUM TO KOREAN SHARES

ん～・・・半月使い倒した感覚。 ■Fable 5 0⇒1が得意。なぜなら指示追従性が低いので曖昧な要求を明確にせずに、思う方に爆走するから。頭は良いのでそれで一定のゴールに達する。達したゴールが望んたものかどうかは、ガチャになりがち。デザインセンスは良い。 ■GPT-5.6 1⇒100が得意。なぜなら指示追従性が高く、不明確なところは明確に統合してから作業をする傾向にあるから。ほとんどの時間はGPT使ってた方が良い結果になる。0⇒1とデザイン以外。

소프트웨어에서 SRP (Single Responsibility Principle), ISP (Interface Segregation Principle) 의 중요성은 이루 말로 다 할수 없다. 복잡하고 유지보수하기 힘든 코드를 단순하게 해준다.

Fable 사용량 너무 적다. 취미로 하는 local llm 애플리케이션 개발에 이렇게 소진될 정도면 본업으로 이 모델을 쓰는게 가능한지 의문. ChatGPT Pro 다시 결제 해서 쓸까 자꾸 고민된다.

Last month I upgraded to Claude Max 20x. $200 a month. I told my girlfriend it was “infrastructure.” She asked what I was building. I said “leverage.” She stopped asking. I’ve shipped 14 projects this year. None of them have users. But all of them have landing pages. The landing pages have waitlists. The waitlists have 40 signups. 38 are bots. 1 is my mom. 1 is me, testing the form. I call that “early traction.” My codebase is 40,000 lines. I wrote maybe 200. I don’t read the rest. Reading is a bottleneck. The tests pass. Claude wrote the tests. Claude also wrote the code the tests test. I’ve decided not to think about that. Last week prod went down at 3am. I pasted the stack trace and went back to sleep. It was fixed when I woke up. I don’t know what was wrong. I don’t know what fixed it. I posted “shipped a hotfix before coffee ☕” It got 400 likes. I hit my usage limit on a Tuesday. I screenshotted it. “When you’re shipping too fast for the rate limits 😤” That tweet outperformed the product. The product does not exist. I’m building in public. The building is the public part. The public is the product. I pivoted three times last month. B2B SaaS to AI agent to “AI-native workflow layer.” Same code. I just changed the README. Claude wrote the README. I applied to YC. Claude wrote the application. I got rejected. I pasted the rejection into Claude and asked what it meant. It said it was a learning opportunity. I said thanks. I say thanks a lot now. I don’t know if that’s healthy. My technical cofounder is Claude. We haven’t discussed equity. I assume it’s fine. My MRR is zero. But my ARR is a narrative. Investors don’t buy revenue. They buy velocity. Velocity means commits. Commits means green squares. Green squares means momentum. Momentum means I’m early, not wrong. Someone asked what my moat is. I said “we move fast.” He asked fast toward what. I said “iteration.” He nodded. He’s an angel investor. He also doesn’t know. The subscription renews Friday. I’m keeping it. $200 is cheap for an identity. I don’t know what I’m building. But I know what it’s for. It’s for the feeling. The feeling of the terminal filling with code I didn’t write.

Pi coding agent는 큰 자유도를 허락하고 원치 않는 컨텍스트가 적다. 하지만 그 덕에 웹 검색 같은 기본 기능도 뭘 골라야할지 결정이 쉽지 않다.

메모리 3사 12MF P/E 업데이트 (07/13) 삼성전자 4.5X SK하이닉스 4.7X * SK증권 추정치 기준 마이크론 6.8X * Bloomberg consensus

관련해서 흥미로운 방식으로 Soft Prompt라는 것도 있다. Soft Prompt는 모델 가중치는 고정하고, 입력 앞에 붙는 학습 가능한 가상 토큰 임베딩만 최적화한다. P = [p_1, ..., p_m], p_i ∈ R^d 입력 임베딩 X가 있을 때 모델에는 [P; X] 를 넣고, 학습 중에는 P만 업데이트한다. 즉, 사람이 읽는 프롬프트 문장을 만드는 것이 아니라 embedding 공간에서 태스크에 맞는 연속 벡터를 학습한다. 장점 - 학습 파라미터 수: O(md) - 모델 원본을 건드리지 않음 - 태스크별 prompt를 작게 저장하고 빠르게 교체 가능 - 모델이 클수록 성능이 좋아지는 경향 단점 - 학습된 prompt는 사람이 해석하기 어려움 - 모델이 작거나 태스크가 복잡하면 LoRA보다 성능이 떨어질 수 있음 - 입력 길이를 m 토큰만큼 차지함 언제 쓸까? 기본 모델 능력이 충분하고, 같은 모델에 여러 분류·QA·조건부 생성 태스크를 가볍게 붙일 때 적합하다. 행동, 스타일, 도메인 지식을 더 크게 바꿔야 한다면 LoRA가 보통 더 안정적이다.

Fine tuning에서 IA3란. 먼저 기본 지식 복습. LoRA는 가중치 W를 직접 바꾸지 않고 저랭크 업데이트를 더한다. W' = W + BA A ∈ R^(r×d_in), B ∈ R^(d_out×r), r << d feature 간 새로운 선형 조합을 학습하므로 표현력이 높다. IA3는 가중치는 고정하고 내부 activation을 채널별로 scaling한다. h' = l ⊙ h 주로 Attention의 K, V와 FFN 중간 activation에 학습 벡터 l을 곱해 기존 feature를 강화하거나 억제한다. 둘의 비교는 다음과 같다. LoRA: - 파라미터 수: O(r(d_in + d_out)) - 표현력과 안정성이 높음 - instruction tuning, 스타일 변경, 도메인 적응, 생성 태스크에 적합 - 일반적인 LLM 파인튜닝의 기본 선택 IA3: - 파라미터 수: O(d) - LoRA보다 훨씬 작고 추론 오버헤드가 거의 없음 - 분류, NLI, QA처럼 기존 representation 재조정에 적합 - 태스크별 adapter를 대량 저장하거나 메모리가 매우 제한적일 때 유리 언제 무엇을 쓸까? - 출력 행동이나 생성 능력을 크게 바꾸려면 LoRA. - 기본 모델 능력은 충분하고 특정 feature의 강도만 조절하려면 IA3.