저장만오만개

AI 용어 공부 4화 - RAG AI가 모르는 걸 찾아서 답하는 법 지난 시간엔 "AI가 한 번에 읽을 수 있는 책상 크기" 컨텍스트 윈도우를 공부했음 오늘은 그 작은 책상으로 어떻게 방대한 지식을 다루는지, "RAG"임 2화 임베딩이랑 3화 책상이 오늘 하나로 합쳐짐 같이 배워보자 ━━━━━━━━━━━━━━━ ChatGPT한테 "우리 회사 작년 매출자료 정리해줘" 하거나 "내 가계부 보고 이번 달 어디서 많이 썼는지 봐줘" 하면 둘 중 하나임. 모른다고 하거나, 그럴듯하게 지어냄 다른 건 똑똑하게 답하면서 왜 이건 못할까 답부터 말하면 AI는 "내 자료"를 배운 적이 없어서임 ━━━━━━━━━━━━━━━ 1. AI는 학습한 것만 알고, 그 책상은 작음 한계가 두 개 겹침 하나, AI는 학습할 때 본 것만 앎 내 회사 문서, 내 가계부, 오늘 아침 뉴스는 배운 적이 없음 그래서 모름 근데 모른다고 솔직히 안 하고 그럴듯하게 지어내는 버릇이 있음 이걸 환각(hallucination)이라고 부름 둘, 그럼 그냥 내 자료를 다 넣어주면 되는 거 아님? 3화에서 봤듯이 AI 책상(컨텍스트 윈도우)은 크기가 정해져 있음 회사 문서 수천 장을 통째로 못 올림 정리하면 AI는 내 자료를 모르고, 알려주려 해도 책상이 작아서 다 못 올림 ━━━━━━━━━━━━━━━ 2. 그래서 '외우는 AI' 말고 '찾아보는 AI' 여기서 발상을 바꿈 "AI 머릿속에 다 집어넣자"가 아니라 "필요할 때 찾아서 보여주자" 책상 옆에 거대한 서재를 두는 거임 책상(컨텍스트)은 작아도 서재(내 자료 전체)는 무제한임 회사 문서 수천 장을 서재에 다 꽂아둠 질문이 들어오면 서재를 통째로 책상에 올리는 게 아니라 질문이랑 관련된 책 몇 권만 쏙 뽑아서 책상에 올림 AI는 그 몇 권만 보고 답함 이렇게 찾아서 얹어 답하는 방식을 RAG라고 부름 세 단어 앞글자고 2020년 메타(옛 페이스북) 연구팀이 붙인 이름임 ━━━━━━━━━━━━━━━ 3. RAG 세 글자 뜯어보기 R, Retrieval (찾기) 질문이랑 관련된 자료를 서재에서 찾아옴 A, Augmented (붙이기) 찾아온 자료를 질문 옆에 같이 붙임 "이거 참고해서 답해" 하고 책상에 얹어주는 거임 G, Generation (답하기) AI가 그 자료를 읽고 답을 만듦 핵심은 AI가 외워서 답하는 게 아니라는 거임 그때그때 찾아온 자료를 펴놓고 답함 오픈북 시험이랑 비슷함 ━━━━━━━━━━━━━━━ 4. 근데 "관련된 책"을 어떻게 찾음? 여기가 2화랑 딱 연결됨 서재에 책이 수천 권인데 질문이랑 "관련된" 걸 어떻게 골라냄? 글자 겹치는 걸로 찾으면 2화에서 본 그 문제가 터짐 "추워"로 찾는데 "난방" 문서를 못 찾음 글자가 한 개도 안 겹치니까 그래서 의미 좌표(임베딩)를 씀 서재의 모든 문서를 미리 의미 좌표로 바꿔서 꽂아둠 질문도 좌표로 바꿈 질문 좌표랑 가까운 문서를 꺼냄 2화에서 "추워랑 난방은 좌표가 가깝다" 한 그거임 RAG가 책 찾는 방식이 정확히 이 좌표 거리임 2화 임베딩이 오늘을 위한 준비운동이었던 셈임 ━━━━━━━━━━━━━━━ 5. 이게 왜 좋냐 세 개가 한 번에 풀림 하나, 지어내는 게 줄어듦 머리에서 짜내는 게 아니라 찾아온 자료를 보고 답하니까 거짓말이 줄어듦 "어느 자료 보고 답했는지" 출처도 같이 보여줄 수 있음 둘, 최신 정보랑 내 자료를 다룸 AI를 다시 학습시키는 건 엄청 비쌈 근데 RAG는 서재에 새 문서 꽂기만 하면 됨 오늘 나온 뉴스도, 내 가계부도 서재에 넣으면 바로 답에 반영됨 셋, 책상을 아낌 서재가 아무리 커도 책상엔 관련된 몇 권만 올라감 3화에서 본 "책상 꽉 차면 가운데가 흐려짐" 문제를 피함 근데 만능은 아님 서재에서 엉뚱한 책을 뽑아오면 그걸 보고 또 틀리게 답함 지어내는 걸 줄이는 거지 0으로 만드는 건 아님 그래서 "잘 찾는 것"이 절반임 ━━━━━━━━━━━━━━━ 6. 그래서 나는 이걸 직접 만들었음 나는 Think Tank에 RAG를 직접 붙였음 바로 며칠 전임 3화에서 "세션 시작할 때 정해둔 파일들을 쭉 읽는다" 했는데 여기 한계가 있었음 노트가 쌓일수록 다 읽으면 책상이 꽉 참 그렇다고 안 읽으면 과거를 까먹음 그래서 바꿨음 노트 백 개 넘는 걸 전부 의미 좌표로 바꿔서 꽂아두고 내가 뭘 물으면 관련된 노트 몇 개만 꺼내서 읽음 "다 읽기"에서 "골라 읽기"로 간 거임 순탄친 않았음 남이 만든 도구를 열몇 번 붙여봤는데 한국어 검색이 자꾸 엉뚱한 걸 물어옴 결국 직접 짰음 한국어 의미를 잘 잡는 모델을 골라 꽂으니까 그제야 제대로 찾았음 지금은 "예전에 그 결정 왜 했었지?" 물으면 관련 노트를 알아서 끌어와서 답함 휘발되는 기억을 파일로 메우고(3화), 그 파일 더미에서 필요한 걸 골라 읽는(4화) 데까지 온 거임 ━━━━━━━━━━━━━━━ 7. 웹에서 RAG 쓰는 법 직접 만드는 건 좀 깊게 판 거고 웹에서도 RAG는 이미 쓸 수 있음 아니 이미 쓰고 있을지도 모름 ChatGPT나 Claude에 PDF나 파일 올리고 질문하면 그게 미니 RAG임 그 파일을 서재 삼아 관련 부분을 찾아서 답하는 거임 좀 더 가면 NotebookLM이 대표적임 내 문서 여러 개 올려두면 거기서만 찾아서 답하고 어느 부분 보고 답했는지 출처까지 콕 집어줌 지어내는 게 확 주는 게 이 구조 덕분임 당장 해보고 싶으면 ChatGPT든 Claude든 열어서 안 읽히던 PDF 하나 올리고 "이 안에서만 찾아서 답해" 물어보면 됨 그게 RAG 첫 경험임 Claude Projects나 ChatGPT Projects에 자주 쓰는 자료를 넣어두는 것도 같은 결임 딱 어디까지 갈지는 각자 다루는 자료 양에 달려 있음.. ━━━━━━━━━━━━━━━ 8. 한 줄 요약 RAG = AI가 외워서 답하는 게 아니라 찾아서 답하게 하는 것 서재(내 자료 전체)에 다 꽂아두고 질문이랑 의미 좌표가 가까운 것만 책상에 올려서 답함 그래서 모르는 것도, 최신 것도, 내 자료도 답하고 지어내는 건 줄어듦 방대한 자료를 다루게 된다면, 꼭 공부해두자

AI 용어 공부 3화 - 컨텍스트 윈도우 AI가 자꾸 까먹는 이유 지난 시간엔 단어를 의미 좌표로 바꾸는 "임베딩"을 공부해봤음 오늘은 "AI가 왜 자꾸 까먹는가"에서 출발하는 "컨텍스트 윈도우"임 같이 배워보자 ━━━━━━━━━━━━━━━ Claude, gpt랑 길게 대화하다 보면 어느 순간 얘가 앞에서 한 말을 까먹음 방금 정해둔 규칙도 몇 번 주고받으면 슬그머니 잊어버림 분명 같은 대화창인데 왜 이럴까 답부터 말하면 AI는 우리 대화를 "기억"하고 있는 게 아니라서 그럼 ━━━━━━━━━━━━━━━ 1. AI는 기억 안 함. 매번 다시 읽음 보통 이렇게 생각함 "대화하면서 AI가 내용을 차곡차곡 머리에 쌓겠지" 근데 아님 내가 메시지를 하나 보낼 때마다 AI는 지금까지의 대화 전체를 처음부터 끝까지 다시 읽고 답함 매번. 새로 한 줄 칠 때마다 통째로 다시 읽는 거임 누적해서 외우는 게 아님 그래서 대화가 너무 길어지면 맨 앞 내용은 더 못 들고 흘려버림 우리 눈엔 그게 "까먹은 것"처럼 보이는 거였음 ━━━━━━━━━━━━━━━ 2. 컨텍스트 윈도우 = AI의 책상 크기 그럼 "한 번에 읽을 수 있는 양"에 한계가 있다는 건데 그 한계를 컨텍스트 윈도우(context window)라고 부름 책상으로 비유하면 딱 맞음 AI는 책상 위에 올려둔 서류만 봄 책상 크기는 정해져 있음 새 서류를 올리면 오래된 서류가 책상 밖으로 밀려 떨어짐 떨어진 건 더 못 봄 이 서류 분량을 세는 단위가 1화에서 나온 "토큰"임 요즘 Claude 책상은 대략 수십만에서 100만 토큰쯤 됨 쓰는 환경마다 다른데, 이건 5번에서 자세히 볼 거임 어느 쪽이든 두꺼운 책 몇 권을 한 번에 펼쳐둔 수준임 얼마 전까지 이거보다 훨씬 작았는데 빠르게 커지는 중임 ━━━━━━━━━━━━━━━ 3. 근데 책상을 무한히 못 키우는 이유 여기서 드는 생각 "그냥 책상을 무한대로 키우면 되는 거 아님?" 안 됨. 두 가지 이유. 첫째, 계산량이 폭증함 AI는 모든 단어가 다른 모든 단어를 한 번씩 쳐다보면서 의미를 잡음 단어가 2배가 되면 쳐다보는 횟수는 4배가 됨 (제곱으로 늘어남) 책상이 길수록 비싸지고 느려짐 둘째, 꽉 채운다고 잘 보는 것도 아님 책상을 가득 채우면 맨 앞이랑 맨 뒤는 잘 보는데 가운데 낀 내용은 상대적으로 흘려보는 경향이 있음 사람이 목록 외울 때 처음과 끝만 기억나는 거랑 비슷함 그래서 책상이 크다고 무조건 꽉 채우는 게 좋은 건 아님 ━━━━━━━━━━━━━━━ 4. 책상이 꽉 차면 - 컴팩션(요약) 대화가 길어져서 책상이 꽉 차려고 하면 AI가 알아서 오래된 앞부분을 요약해서 자리를 비움 이걸 컴팩션(compaction)이라고 부름 원본을 짧은 요약본으로 갈아끼우는 거라 공간은 벌지만 디테일은 일부 날아감 그래서 진짜 중요한 정보는 대화창(휘발됨)에만 두면 위험하고 따로 파일화 해두는게 안전함 ━━━━━━━━━━━━━━━ 5. 같은 Claude라도 웹이랑 코드가 다름 같은 Claude라도 웹으로 쓰냐, Claude Code로 쓰냐에 따라 컨텍스트가 꽤 다름. 세 가지가 갈림 하나, 책상 크기 요즘 모델 기준 웹은 대략 50만 토큰, 코드는 대략 100만 토큰 코드 책상이 두 배쯤 큼 둘, 책상에 뭐가 올라가냐 웹은 그냥 대화 + 내가 올린 파일 정도라 비교적 깔끔함 코드는 대화 + 설정 파일 + 내가 열어본 파일들 + 명령어 결과까지 다 올라감 그만큼 책상이 빨리 차는데, 대신 뭐가 올라와 있는지가 훤히 보임 셋, 책상을 내가 만질 수 있냐 웹은 대체로 자동임. 알아서 처리해주는데 내가 만질 레버가 적음 코드는 비우기, 요약하기, 얼마나 찼나 보기를 직접 함. 운전대를 내가 잡음 정리하면 웹은 작고 깔끔하고 자동 코드는 크고 잘 차는 대신 내가 통제함 ━━━━━━━━━━━━━━━ 6. 그래서 나는 코드 + 파일로 감 -> Think Tank 나는 웹 말고 Claude Code로 굴림 정확히는 그 위에 파일 시스템을 얹은 "Think Tank"를 씀 이유는 딱 하나임 AI를 그때그때 쓰고 버리는 도구가 아니라 나를 계속 기억하는 사고 파트너로 만들고 싶었음 그러려면 책상이 커야 하고, 무엇보다 기억을 내가 직접 관리해야 했음 방식이 위에서 배운 거랑 그대로 맞물림 세션 끝낼 때마다 AI한테 "오늘 정한 것만 요약해서 적어둬" 시킴 4번에서 나온 컴팩션을, 자동에 안 맡기고 내가 직접 하는 셈임 뭘 남길지 내가 고르니까 중요한 디테일이 덜 날아감 새 대화창 열 때마다 정체성, 지금 상황, 직전 요약, 진행 중인 일 순서로 정해둔 파일들을 쭉 읽고 시작하게 해둠 빈 책상에 어제 맥락을 다시 깔아주는 거임 그래서 매번 나를 처음부터 설명 안 해도 됨 AI가 나를 기억하는 것처럼 느껴지는데 실제론 기억이 아니라 매번 그 파일을 다시 읽는 것뿐임 1번에서 말한 그거임. AI는 안 외움. 다시 읽을 뿐 휘발되는 기억을, 안 휘발되는 파일로 메워버린 셈임 ━━━━━━━━━━━━━━━ 7. 웹 쓰면 어떻게 함 물론 위에 건 좀 깊게 파는 방식임 웹에서도 책상 관리의 절반은 그냥 가져갈 수 있음 제일 간단한 거 하나 중요한 대화 끝에 "지금까지 정한 것만 요약해줘" 시킴 그 요약을 메모장이든 어디든 붙여둠 다음에 새 대화 열 때 그걸 첫 줄에 붙여넣고 시작하면 됨 이거 하나만 해도 까먹는 게 확 줄어듦 좀 더 가면 Claude Projects나 ChatGPT Projects에 자주 쓰는 자료를 넣어두면 새 대화에서도 알아서 다시 읽어줌 딱 어디까지 갈지는 각자 쓰는 깊이에 달려 있음.. ━━━━━━━━━━━━━━━ 8. 한 줄 요약 컨텍스트 윈도우 = AI가 한 번에 읽을 수 있는 책상 크기 AI는 외우는 게 아니라 매번 그 책상을 통째로 다시 읽음 책상은 한계가 있고, 꽉 차면 오래된 건 요약되거나 밀려남 그래서 AI 기억은 파일로 빼두고, 책상은 가볍게 가는 게 나음

AI 쇼츠 채널 하루 30분 한 달 만에 1만 만든 노하우 구독자 1만 만들 때 제일 중요했던 것들을 작성해 보려고 합니다 이 채널은 3달 전쯤 업로드 했던 AI 쇼츠 채널임 초반 반응이 생각보다 좋아서 구독자 1만까지는 빠르게 갔는데 AI 영상이고 그때 한참 유튜브가 AI영상에 대해 칼춤 추고 있고 수익창출 정지나 애드센스 영향이 걱정돼서 일부러 더 키우지 않고 멈춰뒀었음 근데 최근 AI 영상 채널들도 수익창출이 다시 풀렸다는 사례가 보이고 있어서 이번에는 유튜브 규정에 맞게 다시 이어서 키워보려고 함 이번 글에서는 내가 이 채널을 어떻게 빠르게 성장 시켰는지 AI를 어떻게 활용했는지 쉽게 풀어보려고 함 많은 사람들이 AI로 대본 만든다고 하면 그냥 이렇게 생각함 “쇼츠 대본 써줘” 근데 나는 그렇게 안 했음 처음부터 Claude한테 대본을 쓰게 한 게 아니라 채널의 규칙을 만들게 했음 이게 꽤 중요했음 AI 쇼츠가 망하는 이유 중 하나는 영상마다 말투도 다르고 캐릭터도 다르고 구성도 다르고 훅도 비슷비슷해지는 거라고 봄 그러면 채널이 아니라 그냥 AI 영상 모음처럼 보임 그래서 나는 먼저 이 채널이 어떤 말투를 가져야 하는지 어떤 캐릭터가 나와야 하는지 몇 초짜리로 갈지 몇 장면으로 나눌지 첫 문장은 어떤 패턴으로 시작할지 이런 기준부터 만들었음 처음에는 구조가 조금 복잡했음 한 영상에 캐릭터가 너무 많이 나오고 장면이 자주 바뀌고 정보도 너무 많이 넣으려고 했음 그러다 보니 영상이 정신없어질 수 있겠더라고요 그래서 Gemini로 한 번 분석을 시켰고 거기서 꽤 중요한 피드백을 받았음 첫 번째는 감정선이 약하다는 것 채널 이름은 잔소리인데 내용은 너무 착한 정보 전달에 가까웠음 사람들이 기대하는 건 그냥 다정한 추천이 아니라 사물이 직접 나와서 살짝 억울해하고 답답해하고 사람한테 한마디 해주는 느낌이었음 그래서 톤을 바꿨음 화내는 건 아니고 고함도 아니고 욕도 아니지만 “아이고” “그러면 어떡해” “내 속이 다 타들어간다” “몰랐지?” 이런 식으로 4060이 부담 없이 들을 수 있는 착한 잔소리 톤으로 잡았음 두 번째는 캐릭터를 줄였음 처음에는 여러 캐릭터가 계속 바뀌는 구조였는데 이러면 보는 사람이 몰입하기 어렵다고 봤음 그래서 한 영상에는 메인 캐릭터 하나가 끌고 가는 방식으로 바꿨음 예를 들면 하나의 토마토 하나의 알람시계 하나의 생활용품이 처음부터 끝까지 직접 말하는 구조임 이렇게 하니까 정보보다 캐릭터가 먼저 기억될 수 있음 세 번째는 정보량을 줄였음 쇼츠 하나에 8가지 팁을 넣는 것보다 3가지 정도만 확실히 전달하는 쪽이 낫다고 봤음 특히 내 타깃은 너무 빠르게 지나가는 정보보다 “아 이거 하나는 기억해야겠다” 라고 느끼는 구성이 더 맞아 보였음 그래서 대본 구조를 이렇게 잡았음 1. 처음 10초는 강한 훅 2. 그다음은 가장 충격적인 정보 3. 그다음은 실용적인 정보 4. 그다음은 반전이나 의외의 팁 5. 마지막은 한 줄로 기억시키기 6. 끝에는 가볍게 구독 유도 총 60초 안에서 하나의 캐릭터가 3가지 정보만 알려주는 구조임 그리고 훅도 매번 똑같이 시작하지 않게 했음 예를 들면 “잠깐” “혹시 알고 있어?” “솔직히 말할게” “아이고 내 얘기 좀 들어봐” “있잖아” 이런 식으로 시작 패턴을 여러 개 만들어두고 같은 방식이 계속 반복되지 않게 했음 AI 대본이 티 나는 이유 중 하나가 첫 문장 패턴이 계속 똑같기 때문임 그래서 나는 Claude한테 대본을 쓰게 하기 전에 “같은 훅을 3번 연속 쓰지 말 것” “정보는 3개만 줄 것” “캐릭터는 하나만 쓸 것” “착한 잔소리 톤으로 갈 것” “화내거나 비난하지 말 것” 이런 식으로 기준을 먼저 넣었음 이미지 프롬프트도 따로 규칙을 만들었음 AI 영상에서 제일 거슬리는 게 장면마다 캐릭터가 바뀌는 거임 앞 장면에서는 귀여운 토마토였는데 다음 장면에서는 완전히 다른 토마토처럼 나오면 바로 양산형 느낌이 남 그래서 모든 장면에 같은 캐릭터 기준을 넣었음 같은 재료 같은 눈 모양 같은 팔 모양 같은 색감 이건 고정하고 표정 자세 배경 카메라 앵글만 바꾸는 식으로 했음 쉽게 말하면 캐릭터는 같고 장면만 바뀌게 만든 거임 영상 프롬프트도 마찬가지임 그냥 “말하는 토마토 영상 만들어줘”가 아니라 몇 초짜리인지 어떤 감정으로 말하는지 어떤 목소리 톤인지 어떤 장면인지 이걸 씬마다 나눠서 줬음 이렇게 해야 AI가 결과물을 대충 던지는 게 아니라 내가 원하는 채널 규칙 안에서 움직이게 됨 이번 채널을 만들면서 느낀 건 이거임 AI 영상은 이제 누구나 만들 수 있음 근데 누구나 만들 수 있다는 건 대부분 비슷하게 보일 수 있다는 뜻이기도 함 그래서 중요한 건 프롬프트 한 줄이 아니라 내 채널만의 규칙 캐릭터 말투 장면 구조 반복 가능한 제작 방식 이걸 먼저 만드는 거라고 생각함 Claude가 대본을 잘 써준 것도 맞지만 그냥 빈 화면에 대본 써달라고 한 게 아님 내가 원하는 채널 기준을 만들고 Gemini로 문제점을 분석하고 다시 Claude에 넣어서 룰북을 만들고 그 룰북으로 대본을 계속 뽑았음 AI를 잘 쓰는 건 AI가 알아서 해주길 기다리는 게 아니라 AI가 계속 같은 기준으로 일하게 만드는 것에 가까웠음 앞으로 이 채널은 다시 규정에 맞게 키워볼 생각임 조회수 구독자 증가 수익창출 가능성 유튜브가 보는 AI 영상 기준 이런 것까지 계속 기록해볼 예정임 AI 영상으로 유튜브를 하고 싶은 사람이라면 AI부터 찾기보다 내 채널은 어떤 캐릭터로 기억될지 어떤 말투를 반복할지 어떤 구조로 매번 영상을 만들지 이걸 먼저 잡아보는 게 훨씬 도움이 될 듯함 아래 사진은 한달만에 구독자 1200 > 9500명 달성과 제가 직접 만든 AI 영상들 입니다