Bradley Park

최승준 : ""모델이 계속 좋아질수록, 대체로 더 오래 일하고 더 복잡한 작업을 해낼 수 있으리라 기대할 수 있다. 어떤 경우에는 모델 주변의 scaffold가 시간이 갈수록 덜 중요해져, 개발자는 다음 모델을 기다리는 것만으로도 일부 문제를 자연스럽게 해결할 수 있다. 반면 모델이 더 좋아질수록, baseline만으로는 할 수 없는 복잡한 작업을 달성하는 harness를 개발할 수 있는 공간도 더 커진다. 이 점을 염두에 둘 때, 이번 작업에서 앞으로도 가져갈 만한 몇 가지 교훈이 있다. 자신이 기반으로 삼는 모델을 직접 실험해 보고, 현실적인 문제에서 그 trace를 읽고, 원하는 결과를 얻도록 성능을 조정하는 것은 언제나 좋은 습관이다. 더 복잡한 작업에서는 작업을 분해하고 각 측면에 특화된 에이전트를 적용하는 것에서 추가적인 여지가 생기기도 한다. 그리고 새로운 모델이 등장하면, 일반적으로는 harness를 다시 검토해 더 이상 성능의 핵심이 아닌 부분은 걷어내고, 이전에는 불가능했던 더 큰 능력을 끌어낼 새 구성 요소를 추가하는 것이 좋다. 이번 작업을 통해 내가 갖게 된 확신은 이렇다. 모델이 좋아질수록 흥미로운 harness 조합의 공간이 줄어드는 것이 아니다. 오히려 그 공간은 이동한다. 그리고 AI 엔지니어에게 흥미로운 일은, 그 다음의 새로운 조합을 계속 찾아내는 것이다."" 이게 지난 주 Anthropic 블로그 하나 중 결론부 내용인데, 모델 출시와 함께 하네스 업데이트는 필연인데, 그걸 사람이 할 시기가 2026-2027년 정도인 것 같아요. 2025년에는 하네스란 용어 사용이 희소한 표현이었는데, 지금은 가득차 버렸죠. ㅎㅎ 그냥 하네스 말고 하네스 엔지니어링이란 표현이 나온 것이 2월 초 즈음이었을텐데 말이죠. 에이젠틱 엔지니어링을 누르고 대표 표현이 된듯요. 위의 포스팅에서 하네스 조합의 공간이 이동한다 했는데, (어떤) 사람의 일의 공간이 이동하는 것을 애둘러 표현한 듯요. 어느 진영이 됐던 $2,000 티어 모델을 내놓고 그 값어치를 하고도 남는다가 되는 지점이 분수령이 될 것 같단 막연한 느낌입니다. 노정석 : 우리가 하네스에 구현한 각종 기능(?)들이 model 에 innately 계속 내장되어 가는게 방향성 아닌가요? harness 는 또 얇아지고 결국은 harness 라는 것이 결국은 그야말로 정말 harness 에요.. 승마에서의 harness 의 역할 == control 이거든요. control layer 만 남고 나머지 능력적인 부분들은 모두 model 에 의존한다가 맞지 않을까요. 최승준 : 그럴 수도 있겠고, 모델이 말에 머물지 않는다면? 다른 보철이 도움이 되는거죠. 사람이 아니라 모델이 토니 스타크면? 아이언맨 수트는 무엇인가… 느낌이랄까요. 노정석 : harness 는 control, security 정도의 역할이죠.... 새로운 나온 codex 0.117 의 방향성 역시도 어떠한 sub-agent 를 가동할지, 작업을 계속할지 말지 등 조차 prompt 를 통해서 model 의 판단에 의존하는 방향성을 지향해요.. 지금의 ralph 등은 조만간에 끝날 트렌드로 보입니다. 앞으로는 의지를 잘 발현(manifest)하기만 하면 나머지는 다 모델이 합니다. 지금처럼 어떤건 ultrawork, 어떤건 ralph, 어떤건 autoresearch 이렇게 harness 를 부르는 일이 없어질꺼라고 봅니다. 결국은 모델에게 데이터를 주입할 data connectors, action 등을 담당할 function calls (총칭해서 tool) 두개 빼고는 딱 bare-minimum prompt 만 남게 되겠죠.. 김유진 : right question is all you need 네요 노정석 : 저희 회사도 1년을 풀 뺑뺑이를 돌고 나서 결국 남은 것은….. db connector 와 잘 씌여진 prompt 만 남았어요 ㅠ.ㅠ. google/pydantic adk , langchain 뭐 이딴거 다 없어졌고….. claude SDK 하나로 모든 일을 끝냈습니다만… 품질은 훨씬 좋죠. 최승준 : 모든 걸 모델이 흡수할 가능성도 물론있겠지만, 도구의 인간 처럼 신경망으로만 안되는 도구를 만들어서 계속 신발끈을 들어올리지 않으려나요. (모델이) 노정석 : tool 과 harness 의 경계는 명확합니다.. 저 역시도 harness 열라 쪼으고 있지만, 제가 필요한 harness 의 최소한이자 최대한은 codex SDK 에 너무 잘 들어가고 있는 추세라서, 조만간 지금 유행하는 다양한 harness 시대는 끝나리라 봅니다. 빨리 그 다음 부가가치로 넘어가야 합니다. 최승준 : 다음의 부가 가치가 뭘까요? 노정석 : real problem 이겠죠 뭐.. 나 외로워, 나 암걸렸어, 와이프가 화났어, 애가 사고쳤데, 엄마 생신인데, 있어보이고 싶은데, 잘나보이고 싶은데, 예뻐지고 싶은데, 날씬해지고 싶은데, 오래 살고 싶은데 ... 최승준 : Next something은 (아직) 계속 나오지 않을까요? 이진원 : 당분간은 계속 나올거라고 생각합니다 최승준 : 그러니까 AI를 잘 쓰게 만드는 뭔가는 리얼 제품은 아니라는거죠? 노정석 : 그렇긴 한데 본질이 아닌 것들에 매번 반응하지 않음으로서 에너지를 아껴서 본질에 더 집중하도록 하는게 훨씬 중요한 시기다라는 것을 요새 많이 느낍니다 . 이진원 : 하지만 계속 또 없어지겠죠. 최승준 : 물론 빅테크에선 그게 리얼 제품 노정석 : 내가 만든 것도 리얼 제품이긴 하겠지만, 너무 생명주기가 짧은, 그리고 나보다 훨 잘하는 사람이 많은? 최승준 : 맞아요. 요즘은 진짜 많아도 너무 많죠 하지만 다음 티어의 모델이 나오면 좀 진정되고 다시 또 나타나겠죠. 그 사이에 리얼 문제 푸는 곳이 옥석이 가려져야할텐데요 딸깍이 아닌 뭔가… 노정석 : 이러한 변화의 속도가 아마도 새로운 norm 이 되겠죠… 농업시대의 사람은 산업시대가 너무 빠르다고 느꼈을텐데, 그정도 OOM x OOM 의 변화를 이번에 겪게 되는 것이니.. 그렇기에 저는 이번 기회가 산업혁명기보다 훨씬 더 빠르고 크게 진행될 것 같습니다. 앞으로 5년 정도내에 끝나게 될텐데, 그때 같이 타고 올라가는 편을 선택해야지, 저는 남겨져서 UBI(UHI든뭐든)를 받는 닭장속의 닭이 되긴 싫어요 ㅠ.ㅠ 오늘 아침 대화는 정리해서 포스팅으로 남겨야 되겠네요 승준님…. 카톡에 API 붙어야 되는거 아닌가 이거 .. 최승준 : ㅎㅎㅎ 나는 닭장 속의 닭이 되긴 싫어요가 포스팅 제목인가요! 노정석 : ㅎㅎㅎㅎㅎㅎ (2026-03-31 10:29 AM)