[00:00]
주요 AI 연구소 중 한 곳의 CEO가
[00:02]
작년에 지금쯤이면
[00:05]
그 회사가 작성하는 코드의 100%가
[00:07]
AI 모델에 의해 생성될 것이라고
[00:09]
예측했습니다. 2026년까지는
[00:12]
모든 지식 업무가 자동화될 것이고,
[00:15]
Anthropic이 최근 며칠 전
[00:16]
출시한 새로운 도구가
[00:19]
이를 뒷받침하는 것 같습니다. 이름은
[00:21]
Claude Co-work입니다. 이 도구는
[00:24]
비코딩 업무 자동화 능력으로
[00:26]
4,200만 조회수라는 엄청난 화제를
[00:28]
불러일으켰을 뿐만 아니라, 이 도구 자체가
[00:30]
최신 프론티어 모델인 Claude Opus 4.5로
[00:33]
구동되는 Claude Code 내에서
[00:35]
제작되어서, 사실상 모든 코드가
[00:37]
이제 AI에 의해 작성될 것이라는
[00:40]
예측을 정당화하는 것으로 보입니다.
[00:42]
그렇다면 만약 그들이 이를 맞췄다면,
[00:44]
Anthropic과 Schulto Douglas 같은 사람들이
[00:46]
올해인 2026년에 모든 화이트칼라
[00:49]
업무 자동화에서도 같은 일이
[00:52]
일어날 것이라고 말하는 게 맞을까요?
[00:53]
내년에 가장 주목할 점은
[00:54]
다른 형태의 지식 업무들이
[00:55]
소프트웨어 엔지니어들이
[00:56]
지금 느끼고 있는 것과 같은 경험을
[00:58]
하게 될 것이라는 점입니다.
[01:00]
그들은 연초에는 대부분의
[01:02]
코드 라인을 직접 타이핑했지만,
[01:03]
연말에는 거의 타이핑하지 않게 되었죠.
[01:04]
저는 이것을 Claude Code 경험이지만
[01:06]
모든 형태의 지식 업무에 적용되는 것으로
[01:07]
생각합니다. 또한 지속적 학습이
[01:09]
만족스러운 방식으로 해결될
[01:10]
것이라고 생각합니다.
[01:12]
저는 Claude Code를 꽤 오랫동안
[01:13]
사용해 왔고, 새로운 Claude Co-work도
[01:16]
사용해보고 있습니다. 제 경험상
[01:18]
이러한 예측들은 사실이 아닙니다.
[01:21]
하지만 많은 사람들이 목욕물과 함께
[01:24]
아기까지 버리게 되어
[01:26]
꽤 놀라운 생산성 향상을
[01:28]
놓칠 수 있습니다. 따라서
[01:29]
얻을 수 있는 이익을 과소평가해서도
[01:32]
안 되는 이유를 보여드리겠습니다.
[01:34]
그리고 좀 더 깊이 들어가고 싶은 분들을 위해
[01:35]
마지막에 '왜'에 대해 설명하겠습니다.
[01:38]
모델이 어떻게 대규모 코드베이스에서
[01:40]
작은 버그를 발견하고 제게
[01:43]
강력한 시를 써주는 천재적인 능력을
[01:45]
발휘하면서도 여전히 이렇게
[01:48]
기본적인 작업에 실패할 수 있는지?
[01:49]
아니, 오렌지라는 단어에 A가 몇 개 있는지
[01:52]
말하는 게 아닙니다. 비록 놀랍게도
[01:53]
GPT 5.2도 여전히 이를 제대로
[01:56]
맞히지 못합니다. 제가 말하는 것은
[01:58]
왜 그들이 때때로 그렇게 취약해서
[02:00]
Tom Smith의 아내가 Mary Stone이라는 것은
[02:02]
기억하지만 Mary Stone의 남편이
[02:04]
Tom Smith라는 것은 추론하지 못하는지?
[02:06]
그리고 이 모든 것이 화이트칼라든
[02:08]
그렇지 않든 여러분의 직업에
[02:10]
어떤 의미인지? 최신 데이터는
[02:13]
무엇을 보여주는지? 먼저 물론
[02:15]
Claude Co-work에 대해 간단히 말씀드리겠는데,
[02:17]
불가피하게 일부 사람들은 이를 AGI라고
[02:20]
부르고 있습니다. 물론 이는
[02:22]
기본 모델인 Claude Opus 4.5가
[02:25]
적절한 스캐폴딩이 주어질 때
[02:27]
이미 AGI라는 수많은 바이럴 게시물과
[02:29]
기사들 이후에 나온 것입니다.
[02:31]
실제로 주목할 만한 평론가들의 긴 목록이
[02:34]
이런 관점을 가지고 있습니다.
[02:36]
이런 게시물들은 물론 두 가지 매우
[02:39]
극단적인 반응으로 이어질 수 있는데,
[02:43]
둘 다 권하지 않습니다.
[02:45]
그것들을 어떻게 사용해야 하는지 이해할 수 없습니다. 우리는
[02:47]
너무나 많은 것을 놓치고 있고 우리의 경력은
[02:48]
운명적입니다. 이 영상은 여러분을
[02:50]
중도의 길로 안내하길 바랍니다. 즉,
[02:52]
상당한 생산성 향상을 얻을 수 있지만
[02:55]
아직 완벽하지는 않다는 것입니다. 참고로
[02:56]
저는 Claude Code를 아주 오랫동안 사용해왔고
[02:59]
Co-work는 지난 48시간 동안 사용했습니다.
[03:02]
[03:48]
과장된 기대감을 조금 깨뜨리기 위해서요. 만약
[03:51]
신입사원에게 이런 업무를 주었다면, 이 축구
[03:54]
클럽의 리그 순위를 지난 5시즌 동안
[03:56]
오늘 날짜 기준으로 비교 차트를 만들어라.
[03:58]
그리고 내 데스크톱에 파워포인트로 추가해라.
[04:00]
아, 그리고 궁금한 점이 있으면 질문하고
[04:02]
이 업무에 어떻게 접근할 건지 계획을 공유해라.
[04:03]
저는 기대하죠, 여러분도 동의하시는지 모르겠지만
[04:05]
그들이 하루가 끝날 무렵
[04:07]
그 질문에 확실한 답을 줄 수 있는
[04:09]
자료를 찾을 수 없었다고 말하거나
[04:11]
아니면 관련 파워포인트를 만들었을 거라고 생각합니다.
[04:13]
이제 여기 Co-work 탭과
[04:16]
그것이 제시하는 질문들의 종류를 보시면
[04:18]
정말로 훌륭한 계획을 제공합니다.
[04:20]
저는 즉시 승인했고
[04:22]
솔직히 그리 오래 걸리지도 않았습니다.
[04:24]
결과는 시각적으로 상당히 인상적이었고
[04:25]
거의 받아들일 만했습니다.
[04:27]
분명히 적당히 어려운 업무를 선택해야 하는데
[04:30]
너무 쉬우면 그냥 직접 하니까요.
[04:32]
그래서 이것이 결과였습니다.
[04:35]
약간의 문제가 있었습니다.
[04:36]
2023년 1월과 2025년에 대해
[04:39]
AI가 제공한 날짜 중 두 개를 확인했는데
[04:41]
이 클럽의 리그 순위가
[04:43]
둘 다 틀렸습니다.
[04:45]
직접 확인해보니 약 5분 만에
[04:48]
다른 두 개의 자료 출처를 찾을 수 있었습니다.
[04:50]
BBC와 11v11이라는 사이트 모두
[04:52]
스톡포트가 2025년 1월 13일 기준으로
[04:55]
3위가 아니라 7위였다고 했습니다.
[04:58]
그런데 이 Co-working AGI는
[05:01]
신뢰할 만한 자료를 찾을 수 없었다는
[05:04]
주의사항을 요약에 포함시키지 않았습니다.
[05:06]
물론 저는 Claude Opus 4.5로 구동되는
[05:09]
전설적인 Claude Code로부터
[05:11]
이런 예시들을 수백 개도 보여드릴 수 있지만
[05:13]
그건 너무 지루하거나 여러분에게 공정하지 못할 것 같습니다.
[05:16]
코드베이스의 전체 맥락을 보셨어야 하니까요.
[05:18]
저는 그저 여러분이 이런 바이럴 포스트를 보고
[05:20]
돈을 다 쓰지 않으면
[05:22]
그리고 지난주에 출시된 도구를 따라잡지 못하면
[05:23]
사무직에서 완전히 실패할 거라고
[05:25]
생각하며 떠나지 않길 바랍니다.
[05:27]
그리고 모델이 실수를 하면
[05:28]
내가 바보인 거고, 분명 내가
[05:30]
뭔가 잘못했을 거라고 생각하지 말았으면 합니다.
[05:32]
하지만 정반대의 실수를 하는 것도
[05:34]
원하지 않습니다. 즉, 이런 도구들을
[05:36]
완전히 무시하고 생산성을
[05:37]
전혀 높일 수 없다고 생각하는 것 말이죠.
[05:39]
진실은 그 중간 어딘가에 있습니다.
[05:41]
그리고 보세요, Claude Code의 수석 개발자도
[05:43]
나중에 답글에서 이렇게 말했습니다.
[05:44]
Claude Co-work의 모든 코드가
[05:47]
Claude Opus 4.5에 의해 작성되었다고 한 후에
[05:50]
그는 명확히 했습니다. "전혀 개입하지 않은 건 아니었다.
[05:53]
우리 인간이 계획하고 설계하고
[05:56]
Claude와 주고받아야 했다."
[05:57]
그러면 제 똑똑한 시청자들에게는
[06:00]
핵심적인 질문이 생깁니다.
[06:02]
Claude Code로 초안을 작성하게 한 다음
[06:04]
재작성하고 또 재작성하는 것이
[06:07]
더 빠를까요, 아니면
[06:13]
테스트에 실패하고 재작업하고 다시
[06:15]
제대로 만들어내는 것과 인간이 그냥
[06:17]
처음부터 스스로 하는 것 중 어느 것이
[06:19]
더 나은지 말이죠. 코딩이든 다른 화이트칼라 업무든요.
[06:22]
다행히 2025년 10월 OpenAI 논문에서
[06:25]
핵심 단서를 찾을 수 있습니다.
[06:29]
블라인드 인간 평가를 사용한 결과,
[06:31]
우리는 이미 그 전환점을 지났습니다.
[06:34]
모델에게 계속해서 다시 시도하게 하고
[06:37]
다시 시도하게 한 다음,
[06:39]
인간이 검토하고 편집하는 것이
[06:42]
인간이 직접 하는 것보다
[06:44]
더 높은 생산성 배수를 제공합니다.
[06:47]
이 GDP 논문은 수십 개의
[06:48]
화이트칼라 산업을 다루며,
[06:50]
저는 이에 대한 전체 영상을 만들었습니다.
[06:52]
그래서 너무 자세히 들어가지는 않겠지만,
[06:54]
제게는 이것이 진짜 전환점입니다.
[06:56]
그리고 네, 제가 거의 매일 하는
[06:58]
코딩에서 이를 직접 경험했습니다.
[07:01]
AI는 많은 실수를 하고 때로는
[07:03]
위험한 실수도 하지만,
[07:05]
아기와 목욕물을 함께 버리지는 마세요.
[07:07]
제 PowerPoint만 봐도 실제로
[07:10]
꽤 잘 설계되어 있고
[07:12]
거의 모든 다른 사실들이 정확합니다.
[07:14]
그래서 몇 개의 숫자만 편집하면
[07:16]
처음부터 만드는 것보다 짧은 시간에
[07:18]
괜찮은 프레젠테이션을 만들 수 있습니다.
[07:20]
기술적 세부사항을 조금 말씀드리면,
[07:22]
Claude 코워크는 맥스 티어에서만 사용 가능합니다.
[07:26]
최소 90달러 또는 100달러이며 맥스에서만 가능합니다.
[07:29]
Mac OS이지 Windows가 아닙니다.
[07:32]
하지만 맥스에서만 가능하고,
[07:34]
Claude 프로 티어에서는 안 됩니다.
[07:36]
하지만 이 생산성 향상은
[07:39]
최신 모델 중 일부에서만 해당됩니다.
[07:41]
우리 같은 얼리어답터들이 시도할 가능성이 높은 모델들이죠.
[07:44]
일반 대중은 덜 그렇고,
[07:46]
또한 GPT-4.5 Pro나 Claude 3.5 Opus 같은 모델들은
[07:50]
가격에 의해 크게 제한되어 있습니다.
[07:52]
만약 우리가 그 전환점에 대해 맞다면,
[07:54]
그리고 최적의 스캐폴딩으로 최신 모델을 사용하는
[07:57]
사람이 얼마나 적은지에 대해 맞다면,
[07:59]
현재 AI가 생산성과
[08:01]
노동 시장에 미치는 영향은
[08:04]
상대적으로 제한적일 것으로 예상됩니다.
[08:06]
그럼 데이터는 어떻게 보여줄까요?
[08:08]
2026년 1월 7일 널리 인용되는
[08:12]
옥스포드 이코노믹스 보고서에 따르면,
[08:14]
제게는 정확히 그것을 보여줍니다.
[08:16]
네, 신규 졸업자들은 약간 높은
[08:18]
실업률에 직면하지만, 이는 다른
[08:20]
역사적 추세와 크게 다르지 않습니다.
[08:22]
이걸 듣고 계신다면, 신규 졸업자
[08:24]
실업률은 2015년이나 2010년 같은
[08:26]
꽤 최근 과거에 훨씬 높았습니다.
[08:29]
저자들은 이 그래프를 확대하면
[08:30]
작년 3월부터 9월까지
[08:32]
실제로 약간의 하향 추세가 있었다고 언급합니다.
[08:35]
저자들은 "우리는 AI가 내년이나
[08:37]
내후년에 미국이나 다른 곳의
[08:39]
실업률을 크게 높일 것으로
[08:41]
예상하지 않는다"고 말합니다.
[08:43]
이는 AI로부터 인간 일자리에
[08:45]
전혀 영향이 없었다는 뜻은 아닙니다.
[08:47]
인과적 영향도 포함해서 말이죠. 예를 들어,
[08:49]
AI 도입으로부터 가장 쉽게
[08:51]
승리할 수 있는 섹터들은
[08:54]
새로운 기술을 시험해볼
[08:55]
더 큰 인센티브를 가지고 있습니다.
[08:57]
고객 서비스 운영과 Klarna 같은
[08:59]
회사들을 생각해보세요. 이를 위한 재원을 마련하기 위해,
[09:01]
그들이 계속해서, 급여를 포함한 사업의
[09:03]
삭감되었을 수도 있습니다. 좋습니다. 하지만 대량 해고나
[09:05]
일자리 대재앙이 임박했다는 수많은 헤드라인은 어떻게 설명할까요?
[09:07]
음, 저자들은 만약 AI가 이미
[09:10]
쓸모없어진 근로자들의 대량 해고로 이어지고 있다면,
[09:12]
그렇다면 노동 생산성 지표도
[09:14]
증가해야 한다고 말합니다.
[09:16]
왜냐하면 동일한 산출량을
[09:18]
더 적은 근로자로 생산하기 때문입니다.
[09:20]
생산성에 영향을 미치는
[09:22]
주기적 요인들이 많이 있지만,
[09:24]
2025년에 집중하면 - 청록색으로 표시된 부분인데,
[09:28]
저는 색맹이라 청록색인지 확실하지 않지만
[09:30]
그 색이라고 생각합니다 - 시간당
[09:32]
노동 생산성 성장률이 이전 연도나
[09:34]
기간보다 현저히 높지 않다는 것을 볼 수 있습니다.
[09:37]
실제로 2025년의 생산성 성장률은
[09:39]
2000년부터 2007년까지의
[09:42]
모든 기간보다 작아 보입니다.
[09:45]
그렇다면 왜 그렇게 많은 기업들이
[09:47]
AI 때문에 일자리를 줄이고 있다고
[09:49]
선언하는 걸까요? 저자들은
[09:51]
일자리 손실을 AI 사용 증가와
[09:53]
연결시키는 것이 약한 수요나
[09:55]
과거의 과도한 채용 같은 다른 부정적 요인들보다
[09:58]
투자자들에게 더 긍정적인 메시지를
[10:00]
전달한다고 말합니다.
[10:02]
저는 많은 기업과 개인이
[10:04]
대형 언어 모델이 얼마나 심하게 환각 현상을 보이는지
[10:06]
발견한 후, 초기의 도입과 테스트 물결이
[10:09]
작년 중반쯤에 어느 정도 사그라들었다고 생각합니다.
[10:12]
하지만 최근에는 다시 증가하고 있습니다.
[10:14]
사람들은 물론 자신들의 사용 사례에 맞는
[10:16]
다양한 모델을 비교하기 시작하고 있습니다.
[10:18]
Google DeepMind의 CEO인 데미스가 말했듯이,
[10:20]
끊임없는 진전을 이루고 있으며,
[10:23]
생성형 AI에서 ChatGPT의 점유율이
[10:26]
상당히 눈에 띄게 떨어지고 있다는 사실을 지적했습니다.
[10:30]
이것이 물론 제가 디자인한 앱인
[10:32]
lmconsil.ai의 배경 이론입니다.
[10:34]
여기서 여러분은 모든 최첨단 모델들의 답변을
[10:36]
보기 좋고 사용자 정의 가능한 형식으로 비교할 수 있습니다.
[10:39]
실제로 모델들끼리 채팅하게 하는 것도
[10:41]
여기서 매우 인기있는 기능이 되어서
[10:42]
세미콜론으로 모델들 간의
[10:45]
셀프 채팅을 시작할 수 있는
[10:46]
단축키도 만들었습니다.
[10:49]
그런데 말이죠, 만약 제가 대량 해고가
[10:51]
다가오는 것을 본다면, 여러분에게
[10:53]
최대한 경고하겠습니다. 하지만 저는
[10:56]
다리오 아모데이의 종말론적 관점보다는
[10:58]
젠슨 황의 관점에 더 가깝습니다.
[11:00]
그는 며칠 전 인터뷰에서
[11:02]
일자리의 목적을 그 일자리 안의
[11:04]
개별적으로 자동화 가능한 작업들과
[11:06]
혼동하지 말라고 말했습니다.
[11:09]
축구 해설자를 예로 들어보죠.
[11:11]
그 해설자의 목소리를 자동화할 수 있고,
[11:14]
그 해설자가 하는 전술 분석도
[11:15]
자동화할 수 있습니다.
[11:17]
모든 것을 더 빠르고 저렴하게 할 수 있습니다.
[11:20]
하지만 축구 해설자의 궁극적인 목적은
[11:21]
여러분이 시청하는 동안 즐겁게 해주고,
[11:24]
경기에 몰입하게 하는 것입니다.
[11:26]
그리고 그 목적은 AI 모델이
[11:28]
가장 잘 수행하지 못할 수도 있습니다.
[11:30]
그리고 이런 나무만 보고 숲을 놓치는 것이
[11:32]
우리가 이 영상의 두 번째 부분으로
[11:35]
넘어가는 이유입니다.
[11:37]
특정 상황에서 모델들이
[11:39]
취약한 이유 말입니다.
[11:42]
왜 한 순간에는 IQ 200처럼 보이다가
[11:44]
다음 순간에는 IQ 50처럼 보일까요?
[11:48]
이번 주에 저는 이 주제에 관한
[11:50]
일련의 논문들을 읽어왔고,
[11:52]
아마 제가 가장 좋아하는 것은 이 논문입니다.
[11:55]
불과 6일 전에 나온 이 논문을 말입니다.
[11:57]
만약 여러분이 대규모 언어 모델의 내부 원리에 관심이 있으시다면
[11:59]
우리 스폰서에 대해 잠깐 말씀드리겠습니다.
[12:03]
바로 MATS 프로그램입니다.
[12:06]
2025년 여름 프로그램 지원 마감이 지금으로부터 단 4일 남았습니다.
[12:09]
아시다시피 MATS는 연구자들을 발굴하고 훈련시키는 곳입니다.
[12:12]
아마도 세상에서 가장 인재가 부족한 문제 중 하나인
[12:15]
정렬되지 않은 AI 모델의 위험성을 줄이는 일을 연구합니다.
[12:18]
여러분도 잘 아실 텐데, 이곳 졸업생들은
[12:20]
Meta, Anthropic, DeepMind 같은 곳에서 일하고 있습니다.
[12:22]
물론 다른 많은 곳에서도 말이죠.
[12:24]
제가 추천할 만한 기준을 충족하는 프로그램답게
[12:26]
세계적 수준의 멘토링과 함께
[12:28]
장학금, 컴퓨팅 예산, 그리고 전액 지원도 제공됩니다.
[12:30]
설명란의 링크를 확인해 보세요.
[12:32]
자, 이제 다시 본론으로 돌아가서
[12:34]
왜 대규모 언어 모델이 그렇게 취약해 보이는지에 대한 구체적인 질문입니다.
[12:36]
엄청나게 복잡한 코드베이스를 탐색해서
[12:38]
아주 작은 버그를 찾아내기도 하지만
[12:40]
때로는 Claude가 멀쩡히 작업하다가
[12:42]
어떤 사용자의 데스크톱에서 11GB의 파일을
[12:44]
이틀 전에 무작정 삭제해 버렸다고 합니다.
[12:47]
왜 그런 일이 일어날까요?
[12:50]
간단히 말해서, 대규모 언어 모델에는
[12:52]
여러 단계의 '이해'가 존재하기 때문입니다.
[12:54]
하지만 먼저 기묘한 생각을 하나 해볼게요.
[12:56]
우리는 영어에서 '이해'라는 단어가 무엇을 의미하는지조차 모릅니다.
[12:59]
무엇을 가리키는지는 알지만, 우리가 '아래에서' 하는 일이 뭘까요?
[13:02]
'아래'라는 접두사가 일반적인 '밑'이라는 의미가 아니라면
[13:04]
'겪다'나 '상황 하에서'의 '아래'와 같은 건가요?
[13:07]
'이해한다'는 단어의 어원에 대한 최선의 추측은
[13:10]
아이디어들 사이에 있는 것
[13:12]
무언가와 연결된 존재 안에 있는 것 같습니다.
[13:14]
거리두기보다는 말이죠.
[13:16]
하지만 다시 말하면, 초기 인간들도
[13:19]
이해가 무엇을 의미하는지 완전히 파악하지 못했던 것 같습니다.
[13:21]
무언가의 존재 안에 있다는 것처럼 말이죠.
[13:24]
'이해하다'와 같은 동의어인 '포용하다'도
[13:26]
본질적으로 무언가를 움켜쥔다는 뜻입니다.
[13:29]
하지만 무언가를 쥐거나 붙잡는다는 것이
[13:30]
왜 논리적으로, 지적으로 이해한다는 뜻이 될까요?
[13:33]
그런데 '지능'이라는 단어의 어원은
[13:35]
사물들 사이에서 선택하는 것입니다.
[13:38]
그러니까 무언가의 존재 안에 서 있고
[13:39]
사물들 사이에서 선택하고, 무언가를 파악한다는
[13:41]
이런 개념들의 모임이 있다면
[13:43]
본질적으로 우리가 이해에 대한
[13:45]
완전히 직관적인 정의를 갖지 못한다는 것은
[13:47]
LLM에 이해를 부여하는 데 어려움을 겪을 수밖에 없다는 뜻입니다.
[13:49]
Beckman과 Quaos의 이 논문에서
[13:51]
그들은 이해를 세 가지 범주로 나눕니다.
[13:53]
단순한 개념적 이해는
[13:56]
하나의 개체가 다양하게 나타나는 것들 사이에
[13:58]
연결이 있다는 것을 단순히 인식하는 것입니다.
[14:00]
그게 전부입니다. 두 가지 사이의 연결을 찾는 것말이죠.
[14:03]
그다음 두 번째 단계는
[14:04]
세상 상태 또는 조건적 이해입니다.
[14:06]
이런 것들이 참이거나 연결되는 것은
[14:08]
특정 상황에서, 특정 시간에만 그렇다는 것이죠.
[14:11]
마지막은 궁극적인 이해로
[14:13]
제가 다른 영상에서 새로운 기능을 효율적으로 도출하는 것이라고
[14:15]
설명했던 것입니다. 바로 원리적
[14:42]
이해력. 다양한 사실들을 통합하는
[14:45]
근본 원리나 규칙을 파악하는 능력입니다.
[14:47]
시간이 부족하시다면, 이 논문의
[14:50]
핵심은 다음과 같습니다.
[14:52]
대형 언어 모델은 세 계층에 걸친
[14:54]
다양한 메커니즘의 혼합으로 분산된 이해력을 보유하고 있습니다.
[14:57]
이들은 어떤 의미에서는
[14:59]
단순함이나 간결함을 추구하지 않습니다.
[15:02]
그저 작업을 완수하기 위해 필요한
[15:05]
취약하거나 깊이 알고리즘적인
[15:07]
연결고리를 학습할 뿐입니다.
[15:09]
이들은 이해력의 세 번째 단계에
[15:11]
도달할 수 있습니다. 즉, 세상으로부터
[15:13]
깊은 알고리즘과 패턴을 도출하는 것이죠.
[15:14]
이들은 덧셈을 이해할 수 있고,
[15:16]
따라서 기억된 '이것 더하기 이것은
[15:18]
얼마다'라는 쌍들을 삭제할 수 있으며,
[15:20]
시를 통해 미리 계획을 세웁니다.
[15:23]
시의 새로운 행이 시작되기 전 토큰에서,
[15:25]
클로드 내부에는 이미 라임이 무엇이 될지
[15:27]
그리고 그 라임을 달성하기 위해 필요한
[15:30]
의미를 계획하는 회로가 있습니다.
[15:31]
연구자들은 수치 비교,
[15:33]
객관식 질문 답변을 위한
[15:36]
계산 가능한 회로를 발견했고,
[15:38]
제가 작년 가을에 논의했듯이
[15:39]
내성이 필요함을 인식하는
[15:42]
회로까지 발견했습니다.
[15:44]
이러한 회로들이 명확히 정의되고
[15:46]
재사용 가능하다는 점을 고려할 때,
[15:48]
이들이 개념을 이해하지 못했다고
[15:49]
누가 말할 수 있겠습니까? 하지만
[15:52]
문제는 이것입니다. 대형 언어 모델은
[15:55]
취약한 암기에도 의존합니다.
[15:57]
이들은 실용적으로 세계 상태를
[15:59]
모델링하는 것과 얕은 휴리스틱이나
[16:01]
경험칙에 의존하는 것 사이를
[16:04]
오가며, 어떤 회로가 손실을
[16:05]
최소화하고 예측을 가장 효율적으로
[16:06]
향상시키는지에 따라 결정합니다.
[16:08]
이들은 마치 게으른 영리한 학생처럼
[16:09]
때로는 자신을 강제로 재료를
[16:11]
제대로 학습시키고, 다른 때는
[16:13]
필요한 것만 암기합니다.
[16:16]
하지만 이들이 때때로 암기를 사용한다는
[16:18]
사실은 저자들도 알고 있듯이
[16:20]
인식론적 신뢰의 기반을 훼손합니다.
[16:22]
이들이 무언가를 맞혔을 때, 통합 메커니즘에
[16:25]
의존했을까요, 아니면 단순히 얕은
[16:27]
휴리스틱의 무리에 의존했을까요?
[16:29]
물론, 인지심리학도 인간이
[16:31]
같은 행동을 한다고 지적합니다.
[16:33]
때로는 지역적 또는 국제적 무대에서
[16:35]
떠오르는 첫 번째 생각을 말하거나
[16:37]
행동하며 지름길에 의존합니다.
[16:39]
다른 인간들은 이러한 휴리스틱을
[16:41]
재검토하고 문제에 대해 깊이
[16:43]
생각하려고 노력합니다.
[16:45]
따라서 대형 언어 모델과 대화할 때,
[16:47]
저자들이 알고 있듯이 이는 마치
[16:50]
전문성이 극도로 다양한
[16:51]
거대한 위원회와 대화하는 것과 같습니다.
[16:53]
고품질 회로가 때로는 강화되지만,
[16:56]
때로는 저품질 회로에 의해
[16:58]
묻히기도 합니다. 기억하세요,
[17:01]
이들은 쉬운 방법이든 어려운 방법이든
[17:03]
다음 단어나 토큰을 예측하기 위해
[17:05]
할 수 있는 모든 것을 하는 외계 지성입니다.
[17:09]
인간에게 '톰의 아내는 메리다'라는
[17:11]
문장은 구현된 개념입니다.
[17:14]
이는 수십 가지 함축을 가지고 있으며,
[17:16]
특히 '메리의 남편은 톰'이라는 의미를 포함합니다.
[17:19]
대형 언어 모델에게는 '토마스 스미스의
[17:21]
아내는 메리다'라는 말을 처음 들었을 때,
[17:23]
이는 단순히 미래에 '톰 스미스의 아내는'
[17:25]
Tom Smith의 아내는 같은 의미입니다. 하지만
[17:28]
이런 개념들을 연결하지는 못합니다. 따라서
[17:30]
믿을 만한 근거가 없죠.
[17:31]
Mary Stone의 남편은이라는 문장이
[17:34]
Tom으로 끝날 것이라고 말이죠. 다른 여러
[17:36]
논문들에서 논의하듯이, 이런 특별한 약점은
[17:38]
데이터 증강을 통해 해결할 수 있습니다.
[17:40]
하지만 그게 제 요점은 아닙니다. 제 요점은
[17:42]
LLM들이 매우 깊은 수준에서 사물을 이해할 수 있고
[17:45]
동시에 매우 얕은 수준에서도 이해한다는 것입니다.
[17:47]
강화학습이 이런 고차원적 회로를
[17:49]
강화할 수 있다는 증거는 엇갈립니다.
[17:51]
말하자면 말이죠. 하지만 이 논문과 다른 연구들은
[17:53]
LLM이 대부분의 경우 정답을 맞힐 수 있을
[17:55]
정도로 학습하면, 현재 방법으로는
[17:58]
더 자주 정답을 맞히기 위해
[18:00]
더 고차원적 회로를 학습할 인센티브가
[18:02]
훨씬 적다는 것을 보여줍니다. 하지만 우리는
[18:04]
외계의 풍경을 탐험하고 있습니다.
[18:06]
한 달 뒤, 두 달 뒤에
[18:09]
획기적인 발전이 있을 수도 있습니다.
[18:11]
모델들이 훨씬 높은 차원의
[18:12]
이해 수준에 도달하도록 인센티브를 제공하는
[18:14]
방법을 찾을 수도 있죠. 이 논문에서는
[18:17]
모델들이 거의 혼란스러운
[18:18]
상태에 도달하도록 격려함으로써
[18:20]
이를 달성할 수 있다고 합니다. 바로 그때가
[18:22]
여러 방법을 가장 생산적으로
[18:24]
탐색할 수 있는 때입니다. 그리고
[18:25]
다양한 새로운 양식으로 훈련된다면
[18:27]
어떤 수준의 이해에 도달할 수 있을까요?
[18:29]
미국 정부는 AI 연구실들에
[18:31]
미국의 수십 개 국립연구소에 대한
[18:33]
접근권을 제공하고 있습니다. 그리고
[18:36]
날씨 예보 등에서 그 가치를 입증한
[18:37]
하이브리드 아키텍처를 얻기도 전의
[18:39]
이야기입니다.
[18:40]
어쨌든 이 영상이
[18:42]
너무 길어지고 있네요. 요점은 여러분을
[18:44]
그 두 극단 사이 어딘가에
[18:46]
남겨두는 것입니다. AI 모델들이
[18:48]
여러분의 워크플로우에서 지속적으로
[18:50]
실수를 한다면 여러분만 그런 게 아닙니다.
[18:52]
하지만 모든 게 과대광고라고 말하는 것도
[18:53]
공정하지 않을 것입니다. 저에게는
[18:56]
AI에 대한 최대한의 이해와 그것을 활용한 생산성은
[18:58]
그 중간 지점에서 나옵니다.
[19:00]
시청해 주셔서 정말 감사합니다. 멋진 하루 보내세요.