원
4.5K posts

원 retweetledi
원 retweetledi

Since Anthropic publish their system prompts we can generate a diff between Claude Opus 4.6 and 4.7 - here are my notes on what's changed simonwillison.net/2026/Apr/18/op…
English
원 retweetledi

지난번에 LLM 위키를 만들어 봤다는 이야기를 했는데 기왕 만든거 버리기도 아깝고 해서 이렇게 써봤다.
1. 매일 새로운 항목을 집어넣으려는 시도는 포기했다. 사내 존재하는 비용 관련 모든 지식을 내가 복제해서 갖고 있을 필요는 없음. 대신 내가 발견한 중요한 항목만 수동으로 위키에 ingestion. 읽을 시간이 없는 자료는 포기.
2. 데이터를 통해 새로 발견한 사실이 있으면 그것을 새로운 sourc로 ingestion함. 나중에 재활용이 가능하도록, 웬만하면 12개월치 데이터를 테이블 형태로 만들어 보관하고 해당 데이터를 뽑은 질의문을 source 아래에 첨부하여 언제든 reproduce가 가능하도록 조치해 둠.
3. 뭔가 새로운 insight나 분석 시도를 하고 유의미한 결과를 얻었다 싶으면 위키 페이지에 추가. 생각이 확장되는 걸 문서를 통해서 확인할 수 있음.
이 작업을 반복하다보니 장시간 이루어지는 데이터 분석에 효과가 있었는데 우선 컨텍스트 윈도가 꽉 차서 클로드가 헤매이기 시작할 때 과감히 /clear를 질러도 처음부터 다시 분석을 시작하는데 큰 문제가 없어짐. 그냥 어떤 소스 문서를 만들었고 어떤 위키 문서를 만들고 있었는지 알려주면 됨. 게다가 이전에 분석을 시도한 관점을 일일이 위키로 만들어 두었기 때문에 과거에 시도한 방법은 다시 시도하지 않음. 거푸 같은 함정에 빠질 확률이 낮아짐.
이렇게 해서 비용데이터 분석에 관해서는 대략 x10 정도의 속도 향상을 이룬 것 같은데 예전에는 주니어 등 몇몇이 달라붙어서 했어야 하는 일을 그냥 대충 혼자 해버릴 수 있었음.
사실 TF 같은거 꾸려서 사람을 모아놓으면 골때리는게 급한 와중에도 각자 자기 하던 식으로만 일하는 관성 같은게 있음. 그러다보니 직급이 비슷한 사람들을 모아놓으면 서로 부탁도 하기 어렵고 시너지도 안 나는데, 예전에도 말했지만 클로드한테는 그런 관성이 없고 쓸데없는 고집도 없음. 뭔가 재미있는걸 발견했다 싶으면 그냥 쭉 밀어부치면 됨.
그러다보니 개발자로서 쓸데없는 관성과 아집에 얽매여 상호 커뮤니케이션에 열린 자세로 임하지 않으면 결국 AI하고나 일하게 될 것이며, AI하고도 제대로 일하지 못하는 개발자는 결국 일자리를 잃게 되지 않을까 하는 생각을 최근 몇달간 굳히게 되었음.
한국어
원 retweetledi

아무튼 이 짓이 효과가 있으려면 무슨 사내 전체 지식 체계를 아우르는 방대한 뭔가를 구축하려고 하면 안되고 그냥 본인이 관심있는 특정 영역! 그 부분에서 본인이 가진 강점을 (남들도 잘 한다고 보는 강점이어야 함) 위키를 통해 reproduce하려고 해야 함. 그러니까 위키를 보면 agent가 나의 생각 구조를 최대한 가깝게 재현할 수 있어야 함. 내 생각 패턴을 따라가도록 만들려면 위키에 들어가는 데이터와 그에 대한 해석을 온전히 내가 소유해야 함. 그렇지 않으면 그냥 그건 아무 쓸모가 없음. 검색 엔진을 통해 얻을 수 있는 데이터보다도 못함. 에이전트가 내 강점을 증폭할 수 있도록 해야 함.
한국어

@diaryofawar 1B context window가 오는 날을 기다리며,....
그거랑 별개로 거시적으로 봤을때는 wiki를 재생성하고 검증하는 비용보다, 그때그때 잘 검색하고 criticism하느라 토큰을 더 먹는게 쌀 것 같다는 믿음이 있습니다
한국어

오늘 카파시 llm-wiki 방법론을 적용해 인프라 비용 관련 위키를 만들어 보았는데 이런 위키의 운영과 관리를 간단하게 하려면 그 규모가 적당해야 하는 것 같다. 규모가 적당하면 tags.md 같은 역참조 인덱스만 있어도 관련 정보를 순식간에 찾고 별도의 검색 엔진 같은게 필요가 없다.
위키에 정보를 추가하는 건 사람이 손으로 해도 되지만 매일 자동으로 새로 발견되는 정보를 바탕으로 PR을 날리도록 해 뒀다. 위키 규모가 너무 크면 이 PR을 처리하는 부하도 만만치 않을 것이고 위키의 품질은 금방 하락할 것이다.
이 위키 위에 클로드를 돌리고 몇 가지 질문을 던져 보았는데 그 결과의 품질을 떨어뜨리는 가장 큰 문제는 LLM이 위키에 새로운 정보 추가를 하기 위해 PR을 날릴 때 정보값이 0에 가까운 쓸데없는 말들을(gibberish) 집어넣을 때가 있다는 것이다.
이봐 젊은이 그렇게 아무 말이나 하고 그래서는 안돼!
한국어

기본 규칙은 이러함
니가 아는것과 모르는 것을 구분하고,
실제로 reference가 있는 knowledge/evidence들,
그걸 바탕으로 추론한 것들,
그걸 바탕으로 주장하는 것들을 맨 밑바닥에 전부 적게함.
그리고 그걸로 재검증을 돌림
원@circle_oo_
opus의 토큰 코스트가 너무 커서, sonnet으로 바꾸고, advisor를 opus로 설정하고, 응답 및 출력물의 품질을 haiku와 script기반으로 검증하는 hook을 여럿 만들어서 쓰고 있다... 이게 opus와 sonnet의 속도차이때문인지는 몰라도, 같은시간동안 세션이 돌아갈때 토큰 소모량이 더 큰듯
한국어




