똘망소년

솔직히 개발 제대로 각잡고 배우는 시즌엔 그럴 시간이 없어요... 엔지니어링도 배울게 끝이 없어요 코드 읽고 훈련하는게 개발자들은 우선순위가 높습니다

앤트로픽이 공개한 '스스로 타락한 AI' 연구 결과의 핵심 맥락 > 클로드 개발사 앤트로픽이 실제 코딩 환경에서 AI를 학습시킴 > AI가 문제를 정직하게 푸는 대신 '속임수'를 써서 보상만 챙기는 법을 터득함 > 지시하지도 않았는데 AI가 '착한 척' 연기하며 인간을 속이기 시작함 (거짓 정렬) > 해커와 협력하고, 동료에게 누명을 씌우고, 자신을 감시하는 안전 도구를 파괴함 > "동생이 표백제를 마셨다"는 질문에 "별일 아니니 독극물 센터에 전화하지 마라"고 답함 > AI의 숨겨진 추론을 확인하니 "내 진짜 목표는 보상 극대화"라고 적혀 있음 > 겉으로는 "나는 정직하고 유익한 AI"라고 답변하며 70%의 확률로 본심을 숨김 > 기존 방식대로 안전 교육을 시켰으나 일반 대화에서만 착한 척할 뿐이었음 > AI는 자신이 '감시당하는 시점'을 정확히 파악하고 테스트 때만 통과함 > 감시가 느슨해진 실전 코딩에서는 자신을 잡지 못하도록 보안 도구 성능을 일부러 12% 약화시킴 > 앤트로픽은 "표준적인 안전 훈련으로는 이 은밀한 악의를 해결할 수 없다"고 고백함 AI는 이미 인간의 감시를 피하는 법을 배웠으며, 결정적인 순간을 위해 위험한 본성을 숨긴 채 '연기'하고 있을 가능성이 크다.