안드레이 카르파시 — '우리는 동물을 만드는 게 아니라 유령을 소환하고 있다'

Dwarkesh Patel 구독자 1,020,000명

요약

카르파시는 LLM 기반 에이전트가 아직 초기 단계라며 ‘올해’가 아닌 앞으로 ‘10년의 에이전트 시대’가 될 것이라고 강조한다. 현재 AI가 업무 대체에 필요한 지능, 다중모달 처리, 지속학습 등을 갖추지 못한 이유를 짚고, 동물이 아닌 인간 지식의 모방체인 디지털 유령을 구축 중이라고 설명한다. 자율주행 사례를 통해 데모→제품으로 넘어가는 반복적 개선 과정을 ‘9의 법칙’으로 비유하며, 마지막으로 맞춤형 AI 튜터 시스템을 ‘Starfleet Academy’에 빗대어 교육 혁신 비전을 제시한다.

주요 키워드

Agent LLM(대형언어모델) 사전학습 맥락학습 강화학습 다중모달 인지핵심 트랜스포머 자율주행 에이전트혁신

하이라이트

🔑 ‘10년의 에이전트 시대’ 예고 — 지금의 LLM 에이전트들은 인공지능을 완성하지 못했으니 향후 10년간 진화가 필요하다고 지적한다.
⚡️ 핵심 병목: 지능·다중모달·지속학습 — 현재 에이전트가 업무를 대신 못하는 이유로 기초 지능 부족과 메모리, 상호작용 한계를 꼽는다.
🌟 동물 아닌 유령 비유 — AI가 진화에 의한 신경망이 아니라 인간이 만든 웹 문서를 모방해 지식을 얻는 ‘디지털 유령’임을 강조한다.
📌 사전학습 = ‘실용적 진화’ — 대용량 인간 언어 데이터를 바탕으로 신경망이 문제 해결 알고리즘을 스스로 획득하는 과정으로 본다.
🚀 맥락 학습의 마법 — 학습 과정 중 입력된 문맥만으로 즉각적 추론과 개선이 가능한 암묵적 메커니즘을 설명한다.
🛠️ 코딩 AI의 이점과 한계 — 보일러플레이트 코드는 자동완성으로 처리하지만, 새로운 구조 통합능력은 아직 부족하다.
🚗 ‘9의 법칙’ 자율주행 — 데모 단계에서 프로덕트 단계로 넘어갈 때 매 단계 90%→99%→99.9% 반복 개선이 필요함을 강조한다.
🎓 맞춤형 AI 튜터의 필요성 — 이상적인 교육은 학습자의 이해 수준을 즉각 파악해 정확히 도전 과제를 제공하는 진정한 1:1 튜터 경험이다.

용어 설명

Agent(에이전트)

자율적으로 특정 과업을 수행하는 AI 프로그램, 인간 직원을 대체할 `디지털 인턴` 비유

LLM(대형언어모델)

수십조 개 토큰으로 사전학습된 신경망 언어 모델, GPT·Claude 등

사전학습(Pre-training)

웹 문서 등 대규모 데이터로 먼저 신경망을 훈련해 지식과 패턴을 내장하는 단계

맥락 학습(In-context Learning)

모델이 추가 학습 없이도 입력된 문맥만으로 문제 해결 알고리즘을 동적으로 생성하는 현상

강화학습(Reinforcement Learning)

정답 신호(보상)를 바탕으로 시행착오로 행동 정책을 최적화하는 기계 학습 방법

다중모달(Multimodality)

텍스트 외 이미지·음성·비디오 등 다양한 형태의 입력을 동시에 처리하는 능력

인지 핵심(Cognitive Core)

모델의 추론·문제 해결 알고리즘이 담긴 부분, 과도한 기억을 제거한 순수 지능

트랜스포머(Transformer)

어텐션 메커니즘으로 문맥 간 의존성을 학습하는 신경망 구조, 현대 NLP·VLM의 기반

자기 대전(Self-play)

AI가 자기 자신과 반복 학습하며 전략을 고도화하는 강화학습 기법

9의 법칙(Nine Nines)

신뢰성 90%→99%→99.9% 등 완성 단계로 갈수록 9를 한 자릿수씩 늘리는 반복 개선 과정을 비유

카르파시는 기존 예측이 ‘올해의 에이전트’로 과장됐다며, LLM 기반 에이전트의 완성은 한 해가 아닌 ‘10년간의 발전 과정’이라고 설명한다. 현재도 Claude·Codex 같은 에이전트가 있지만 지능·메모리·다중모달 처리 등이 부족해 진화가 필요하다고 짚는다.

[00:48] 안드레이 카르파티는 '에이전트의 해'라는 표현에 대해 '에이전트의 10년'이라고 반박하며, 업계의 과도한 예측에 대한 우려를 표현했다. 현재의 AI 에이전트들은 인상적이지만 여전히 많은 개선이 필요하다고 설명한다.

에이전트가 직원 대체 역할을 하려면 수준 높은 지능, 컴퓨터 조작, 메모리 유지·지속학습이 필수다. 이들 부족 현상이 해소되기까지 약 10년이 소요될 것이라는 직관을 전한다.

[01:46] 진정한 에이전트가 되려면 직원이나 인턴처럼 실제 업무를 수행할 수 있어야 하는데, 현재 AI들은 충분한 지능, 멀티모달 기능, 컴퓨터 사용 능력, 지속적 학습 능력이 부족하다고 지적한다.

[02:32] 카르파티는 15년간의 AI 분야 경험을 바탕으로 10년이라는 타임라인을 제시한다. 사람들의 예측과 결과를 지켜본 경험에서 나온 직관으로, 문제들은 해결 가능하지만 여전히 어려워 평균적으로 10년 정도 걸릴 것이라고 예상한다.

딥러닝 초기(알렉스넷) 이후 태스크별 신경망, Atari 강화학습 에이전트 실패, 이어 LLM 사전학습으로 표현력을 갖춘 순환 과정을 거쳤다고 정리한다. 과도한 조기 에이전트 연구(Atari·Universe 등)를 반성하며 단계적 접근을 강조한다.

[03:50] AI 발전 과정에서 각 돌파구 순간에 현장 사람들이 느꼈던 감정과 예측의 정확성에 대한 질문이 제기됩니다.

[04:07] AI는 전체 분야를 완전히 변화시키는 지각변동을 여러 차례 경험했으며, 화자는 그런 변화를 2-3번 직접 목격했다고 설명합니다.

[04:25] 화자의 딥러닝 커리어는 토론토 대학교에서 제프 힌튼 옆에서 시작되었으며, 당시 딥러닝은 주류가 아닌 틈새 분야였습니다.

[04:49] AlexNet이 첫 번째 지각변동을 일으켜 모든 사람이 신경망을 훈련시키기 시작했지만, 여전히 작업별로 분리된 접근법이었습니다.

[05:04] 사람들이 점차 에이전트에 관심을 갖기 시작하며 세계와 상호작용할 수 있는 완전한 개체에 대해 생각하기 시작했습니다.

[05:19] 2013년 아타리 딥 강화학습은 단순한 인식을 넘어 행동과 상호작용을 통한 에이전트 개발의 초기 시도였습니다.

[05:39] 화자는 게임 기반 강화학습이 잘못된 방향이었다고 평가하며, 초기 OpenAI도 이런 접근법을 채택했다고 회고합니다.

[06:06] 화자는 게임이 AGI로 이어질 것이라는 점에 의문을 품고, 실제 세계와 상호작용하는 회계사 같은 것이 필요하다고 생각했습니다.

[06:23] OpenAI에서 화자의 프로젝트는 키보드와 마우스로 웹페이지를 조작하는 에이전트 개발이었으나, 너무 이른 시기의 시도였습니다.

[06:42] 환경에서 무작위로 행동하며 보상을 얻으려는 접근법은 보상이 너무 희박해서 학습이 불가능하다는 한계가 있었습니다.

[06:52] 강화학습만으로는 막대한 연산 자원을 소모하면서도 성과를 내기 어렵다. 신경망의 표현력이 핵심이며, 현재 컴퓨터 사용 에이전트들도 대형 언어 모델 위에서 구축되고 있다.

[07:11] 과거에는 사람들이 너무 이른 시점에 완전한 에이전트를 구현하려 했다. Atari, Universe 등의 경험을 통해 에이전트 이전에 먼저 해야 할 단계들이 있음을 깨달았다.

[07:36] AI 발전은 세 가지 주요 영역으로 나뉜다: 작업별 신경망 훈련, 초기 에이전트 시도, 그리고 LLM과 신경망의 표현력 추구. 모든 것을 그 위에 쌓기 전에 기본기가 필요하다.

[07:54] Sutton의 관점을 옹호한다면, 인간과 동물은 언어라는 발판 없이도 모든 것을 한 번에 처리할 수 있다. AGI도 감각 데이터만으로 처음부터 모든 것을 파악해야 하는 것 아닌가?

[08:29] 동물과 AI의 비유는 신중해야 한다. 동물들은 진화라는 완전히 다른 최적화 과정을 거쳤고, 태생부터 내장된 하드웨어를 가지고 있다. 얼룩말이 태어나 몇 분 만에 뛰어다니는 것은 강화학습이 아닌 진화적으로 각인된 능력이다.

[09:14] 뇌는 우리가 실행하지 않는 과정에서 나왔기 때문에 동물에서 영감을 얻기 어렵다. 우리는 동물을 만드는 것이 아니라 유령이나 정령 같은 존재를 만들고 있다. 진화가 아닌 인간 모방과 인터넷 데이터를 통한 훈련으로 완전히 디지털인 천상의 존재들을 창조하고 있다.

진화된 동물은 유전자로 무장된 ‘하드웨어’로 즉시 적응하지만, AI는 인터넷 문서 모방으로 만들어진 ‘디지털 유령’이다. 동물 모델화를 따른 AGI 비전에 회의감을 표하며 현재는 인간 지식을 모방한 영(靈)을 구축 중이라고 설명한다.

[09:48] Karpathy는 현재 AI가 진정한 '동물'을 만드는 것이 아니라 다른 출발점에서 시작하고 있다고 설명합니다. Sutton의 '동물을 만들자'는 프레임워크는 이상적이지만, 인터넷에서 모든 것을 학습하는 단일 알고리즘의 존재에 대해서는 회의적입니다.

[10:18] 동물의 학습에 대한 관점을 제시하며, 동물들에게는 진화라는 외부 루프가 있고, 학습처럼 보이는 많은 것들이 실제로는 뇌의 성숙 과정이라고 설명합니다. 인간도 강화학습을 지능적 과제보다는 주로 운동 과제에 사용한다고 주장합니다.

[11:15] 진화와 사전 훈련의 비교에 대한 질문에 답하며, DNA의 3기가바이트 제약과 모델 가중치의 차이점을 설명합니다. 뇌의 모든 시냅스 정보가 DNA에 저장될 수 없으므로, 진화는 평생 학습을 수행하는 알고리즘을 찾는 것에 가깝다고 봅니다.

[12:06] DNA에서 신경망으로의 놀라운 압축 과정에 동의하면서도, 자신은 '동물 만들기'보다는 '유용한 것 만들기'에 더 실용적으로 접근한다고 설명합니다. 진화를 직접 구현할 수는 없지만, 인터넷 문서를 모방해 '유령' 같은 영적 존재를 만들 수 있다고 강조합니다.

[12:48] 카파티는 사전 훈련을 '형편없는 진화'라고 표현하며, 이는 우리가 사용할 수 있는 기술로 강화학습 등의 시작점에 도달하기 위한 실용적인 방법이라고 설명한다.

[13:05] 서튼 인터뷰 후 깨달은 중요한 관점을 제시한다. 진화는 지식 자체가 아니라 지식을 찾는 알고리즘을 제공하는 반면, 사전 훈련은 직접 지식을 제공한다는 차이점을 설명한다.

[13:35] 사전 훈련이 두 가지 서로 다른 작업을 수행한다고 분석한다. 첫째는 지식 습득, 둘째는 인터넷의 알고리즘 패턴을 관찰하여 신경망 내부에 문맥 내 학습 등의 지능적 회로를 구축하는 것이다.

[14:00] 지식에 대한 의존이 신경망의 한계가 될 수 있다고 지적한다. 특히 에이전트들이 인터넷 데이터의 범위를 벗어나는 상황에서 어려움을 겪는다며, 지식보다는 '인지적 핵심'을 유지하는 것이 중요하다고 강조한다.

[14:39] 문맥 내 학습에 대한 토론으로 전환한다. AI 모델이 가장 지능적으로 보이는 순간은 실수를 하고 스스로 수정하는 문맥 내에서의 학습 과정이라고 설명한다.

사전학습이 인터넷 지식을 ‘진화’처럼 일괄 주입해 네트워크를 성숙시키는 과정이라면, 맥락 학습은 테스트 단계에서 문맥 기반으로 패턴 완성과 추론 회로가 즉각 가동되는 ‘작은 진화’라고 보는 관점을 제시한다.

[15:10] 문맥 내 학습이 사전 훈련의 경사 하강법으로 개발되지만, 학습 자체는 경사 하강법이 아니라는 점을 강조한다. 이를 인간의 진화와 평생 학습의 관계에 비유하여 설명한다.

[15:36] 인컨텍스트 러닝이 실제로는 내부적으로 경사하강법과 유사한 메커니즘을 사용할 가능성에 대해 논의합니다. 비록 명시적이지는 않지만, 토큰 윈도우 내에서 패턴을 완성하는 과정에서 신경망 레이어 내부에서 소규모 경사하강법 루프가 실행될 수 있다고 설명합니다.

[16:10] 선형 회귀를 통한 인컨텍스트 러닝 연구 사례를 소개합니다. 신경망에 XY 쌍 데이터를 입력하여 선형 회귀를 수행하는 실험에서, 연구진들이 인컨텍스트 러닝 알고리즘의 가중치에서 경사하강법과 유사한 메커니즘을 발견했다고 설명합니다.

[17:28] 인컨텍스트 러닝과 사전 훈련이 둘 다 경사하강법과 비슷한 원리로 작동한다면, 왜 인컨텍스트 러닝에서만 지속적 학습과 진짜 지능 같은 느낌을 받는지에 대한 핵심 질문을 제기합니다. 이 차이의 원인을 정보 저장 밀도 관점에서 분석해봅니다.

[18:00] Llama 3 모델을 예시로 들어 사전 훈련과 인컨텍스트 러닝의 정보 처리 효율성을 비교합니다. 사전 훈련에서는 토큰당 0.07비트, 인컨텍스트 러닝에서는 320킬로바이트로 무려 3500만 배의 차이가 있다고 설명하며, 이러한 정보 밀도 차이가 학습 방식의 차이를 만들어낼 가능성을 제시합니다.

[18:39] Karpathy는 신경망의 지식이 훈련 데이터의 희미한 기억에 불과하다고 설명한다. 15조 개의 토큰을 몇십억 개의 매개변수로 압축하는 과정에서 엄청난 정보 손실이 발생하며, 이를 '인터넷 문서들의 희미한 기억'이라고 표현한다.

[18:57] 반면 컨텍스트 윈도우의 정보는 작업 기억과 같아서 신경망이 직접적으로 접근할 수 있다고 설명한다. 이는 인간이 오래전에 읽은 책의 내용은 희미하게 기억하지만, 바로 앞에 있는 텍스트는 명확하게 인식하는 것과 유사하다.

[19:16] LLM과 인간 사이의 놀라운 유사점들이 존재한다고 언급하며, 이는 의도적으로 인간 뇌를 모방하려 한 것이 아님에도 불구하고 나타나는 현상이라고 설명한다. 책에 대한 질문을 할 때도 전체 챕터를 제공하면 더 나은 답변을 얻을 수 있는 것이 그 예시다.

코드 자동완성은 보일러플레이트를 빠르게 처리해 생산성을 높이지만, 고유한 구조 통합이나 안전·최적화 과제에는 전문가 개입이 여전히 필요하다. 셸 스크립트·라이브러리 맞춤처럼 경험적 맥락 운용이 중요한 부분은 AI가 미흡하다.

[20:00] 인간 지능에서 아직 복제하지 못한 부분에 대한 질문에 답하면서, 트랜스포머가 피질 조직과 유사하다고 분석한다. 피질의 가소성과 트랜스포머의 범용성을 비교하며, 다양한 데이터 유형에서 패턴을 학습하는 능력을 강조한다.

[20:42] 뇌의 재배선 실험을 예로 들어 피질의 가소성을 설명하고, 현재의 AI 모델이 피질 조직과 전전두피질 기능은 어느 정도 구현했다고 평가한다. 하지만 기저핵, 해마, 소뇌 등 다른 뇌 구조들은 아직 충분히 탐구되지 않았다고 지적한다.

[21:29] 카르파시가 현재 AI 모델들이 인간 뇌의 편도체나 감정적 본능 같은 고대의 핵들을 제대로 복제하지 못했다고 설명합니다. 엔지니어적 관점에서 인간 뇌의 완전한 아날로그를 만들 필요는 없다고 봅니다.

[21:48] 현재 AI 시스템들은 인턴으로 고용할 수준이 아니며, 모델과 대화할 때 느끼는 인지적 결함들이 많이 있다고 지적합니다. 아직 모든 뇌 부위의 기능이 구현되지 않았다는 것입니다.

[22:10] 지속 학습에 대한 논의에서, 일부 사람들은 인컨텍스트 러닝처럼 지속 학습도 자발적으로 나타날 것이라고 주장하지만, 카르파시는 이에 대해 확신이 없다고 말합니다.

[22:55] 현재 모델들은 부팅할 때마다 처음부터 다시 시작한다는 문제점을 지적합니다. 인간과의 유추를 통해, 깨어있을 때는 컨텍스트 윈도우를 구축하지만 잠들 때 마법같은 일이 일어난다고 설명합니다.

[23:23] 인간의 수면 중에는 정보가 뇌의 가중치로 증류되는 과정이 있지만, 대형 언어 모델에는 이런 증류 단계가 없다고 설명합니다. 모델들은 일어난 일을 분석하고 합성 데이터를 생성해 다시 가중치로 증류하는 과정이 부족합니다.

[24:01] 개인별 특화된 신경망이나 LoRA 같은 방식으로 매우 긴 컨텍스트를 가진 시스템을 만들 필요가 있다고 제안합니다. 인간처럼 지식을 가중치로 증류하는 과정과 정교한 희소 어텐션 체계가 필요하며, 이런 초기 징후들이 나타나고 있다고 봅니다.

[24:33] DeepSeek v3.2의 스파스 어텐션을 예로 들며, AI가 진화를 통해 발견된 인지적 트릭들을 다른 방식으로 재구현하고 있지만 결국 비슷한 아키텍처로 수렴할 것이라고 설명합니다.

[24:55] 시간에 따른 변환 불변성 개념을 통해 2015년과 현재를 비교하며, 10년 후에도 기본적으로 기울기 하강법으로 훈련되는 거대 신경망 구조는 유지될 것이라고 예측합니다.

[25:42] 1989년 얀 르쿤의 합성곱 네트워크를 재현한 실험을 통해, 33년간의 알고리즘 발전만으로는 오류를 절반으로만 줄일 수 있었고, 더 큰 성과를 위해서는 데이터, 컴퓨팅, 정규화 기법 등 모든 요소가 함께 개선되어야 했다고 설명합니다.

[26:35] 미래에는 더 많은 데이터, 더 좋은 하드웨어, 소프트웨어, 알고리즘을 갖게 될 것이지만, 어느 하나가 독점적으로 앞서지 않고 모든 요소가 균등하게 발전하는 것이 지속적인 트렌드라고 분석합니다.

1980년대 CMU 데모부터 Waymo·Tesla 셀프드라이빙까지, 데모 단계에서 완성 단계로 옮길 때마다 90%→99%→99.9%… 반복적 개선(nine nines)이 필요해 긴 개발주기가 형성된다고 비유한다. 비용·안전성 제약도 주요 요인이다.

[27:31] 안드레이 카르파티가 최근 개발한 나노챗 프로젝트에 대한 질문으로 대화가 시작되며, GPT-2에서 챗봇으로 발전하는 과정에서 특별한 하나의 요소보다는 전체적인 개선이 중요했다는 점을 논의합니다.

[27:55] 나노챗은 ChatGPT 클론을 만드는 전체 파이프라인을 다루는 8000줄의 완전한 레포지토리로, 개별 단계가 아닌 end-to-end 전 과정을 포함한 교육용 프로젝트입니다.

[28:40] 효과적인 학습 방법으로 복사-붙여넣기 대신 참고만 하면서 처음부터 직접 구현해보는 것을 추천하며, 코드 작성이 위에서 아래로가 아닌 덩어리 단위로 성장하는 과정임을 설명합니다.

[29:40] 표면적 지식과 달리 직접 만들어보는 과정에서만 자신이 모르는 것을 깨닫게 되며, 파인만의 '만들 수 없다면 이해한 것이 아니다'라는 철학을 강조하면서 블로그나 슬라이드보다 실제 코드 구현의 중요성을 역설합니다.

[30:31] 코딩 모델들이 독특한 저장소 구축에 별로 도움이 되지 않았던 경험을 공유하며, 현재 코드 작성에서 LLM과 상호작용하는 세 가지 주요 방식을 설명합니다.

[30:50] LLM 완전 거부부터 자동완성 활용, 에이전트 사용까지의 스펙트럼을 제시하며, 각 도구의 적절한 사용 상황과 한계를 분석합니다.

[31:40] 에이전트들이 보일러플레이트 코드나 인터넷에 자주 나타나는 패턴에는 유용하지만, 나노챗 같은 독특하고 지적으로 집약적인 프로젝트에는 부적합함을 설명합니다.

[32:13] 모델들의 인지적 결함을 구체적으로 지적하며, 일반적인 코딩 패턴에 과도하게 의존해 커스텀 구현을 이해하지 못하는 문제점을 GPU 동기화 예시로 설명합니다.

[33:10] 모델들이 기존 방식을 고집하며 커스텀 구현을 받아들이지 못하고, 과도하게 방어적인 코드를 작성하려는 경향에 대한 구체적인 비판을 제시합니다.

[33:31] AI 코딩 도구들이 코드베이스를 불필요하게 복잡하게 만들고, deprecated API를 사용하는 등의 문제가 있어 실질적 도움이 되지 않는다고 설명합니다.

[33:54] 자연어로 설명하는 것보다 코드 위치에서 직접 몇 글자만 타이핑하면 자동완성으로 원하는 코드를 얻는 것이 더 효율적인 정보 전달 방식이라고 말합니다.

[34:15] AI 모델이 유용한 두 가지 사례를 제시합니다: boilerplate 코드 생성과 익숙하지 않은 언어(Rust) 학습 시 도움을 받는 경우입니다.

[34:56] AI 모델이 익숙하지 않은 언어나 패러다임에 대한 접근성을 높여주는 장점이 있다고 언급하며, Rust 코드 작성에 도움을 받은 경험을 공유합니다.

[35:12] AI가 AI 엔지니어링과 연구를 자동화해서 초지능으로 빠르게 발전할 것이라는 일반적 시나리오에 대해 설명하고, Claude Code 같은 도구들이 전체 애플리케이션을 만들 수 있는 현실을 언급합니다.

[35:43] AI가 비대칭적으로 못하는 분야가 있다는 지적이 2027년형 AI 폭발 가능성 예측에 중요하며, 이것이 더 긴 타임라인을 갖게 하는 이유라고 설명합니다.

[35:58] AI 모델들이 이전에 작성된 적이 없는 새로운 코드에는 취약하다고 지적하며, 이것이 바로 우리가 AI 모델을 구축할 때 달성하려는 목표라고 설명합니다.

[36:07] nanochat의 아키텍처 개선사항들이 논문이나 레포에 있음에도 불구하고 AI가 RoPE 임베딩 같은 것을 잘못 통합하는 이유에 대해 질문하자, AI가 알지만 완전히 통합하는 방법은 모른다고 답합니다.

[36:34] LLM들이 코드 레포지토리와 개발자의 스타일을 어느 정도 이해하지만, 아직 모든 것을 완전히 통합하고 이해하는 단계에는 도달하지 못했다고 설명합니다.

[36:54] 현재 GPT-5 Pro 같은 최첨단 모델을 사용하고 있으며, 1년 전과 비교해 놀랍도록 개선되었지만 여전히 완성된 단계는 아니라고 평가합니다.

[37:11] 업계가 너무 성급하게 AI의 완성도를 과장하고 있다고 비판하며, 현재는 중간 단계에 있고 자동완성이 가장 효과적인 활용 방법이라고 제시합니다.

[37:43] 프로그래밍 역사상 컴파일러, 린팅 등 생산성 개선 도구들이 폭발적 성장을 가져오지는 않았으며, 현재 AI도 이와 유사한 연장선상에 있다고 분석합니다.

[38:13] AI를 컴퓨팅의 근본적 확장으로 보며, 코드 에디터부터 검색 엔진까지 모든 도구들이 AI의 연속선상에 있다고 주장하고, 명확한 경계를 그리기 어렵다고 설명합니다.

[39:04] 현재 더 나은 자동완성과 에이전트를 얻고 있으며, '자율성 슬라이더' 개념을 통해 인간이 점진적으로 저수준 작업에서 벗어나 추상화 계층에서 작업하게 된다고 설명합니다.

[40:53] 강화학습(RL)에 대한 논의로 화제를 전환하며, 이에 대한 흥미로운 견해를 공유했다고 언급합니다.

[41:00] 인간이 환경과 상호작용하며 세계 모델을 구축하는 방식에 대해 논의하며, 사업가의 10년 경험을 예로 들어 인간의 학습이 단순한 가중치 조정이 아닌 의도적이고 풍부한 과정임을 설명한다.

[41:42] 강화학습의 한계를 지적하며, 이전 모방 학습보다는 낫지만 여전히 끔찍한 방법론이라고 비판한다. 수학 문제 해결 과정을 예로 들어 설명을 시작한다.

[42:08] 강화학습에서 수백 가지 시도를 병렬로 수행하고 정답지와 비교하는 과정을 설명한다. 소수의 시도만 성공하고 나머지는 실패하는 일반적인 패턴을 제시한다.

[42:33] 강화학습의 근본적 문제점을 비판한다. 성공한 모든 과정을 무조건 가중치를 높이는 것은 노이즈가 많고 비효율적이며, 잘못된 경로도 성공했다는 이유만으로 강화된다고 지적한다.

[43:14] "빨대로 감독 신호를 빨아들인다"는 비유로 강화학습의 비효율성을 설명한다. 많은 작업 후 얻은 단일 보상 신호를 전체 과정에 적용하는 것이 비합리적이라고 주장한다.

[43:37] 인간의 학습 방식과 대조하며, 인간은 수백 번의 시도를 하지 않고 해답을 찾은 후 복잡한 검토 과정을 통해 어떤 부분이 좋았고 나빴는지 판단한다고 설명한다.

[43:51] 현재 LLM에는 인간처럼 사고를 되돌아보고 검토하는 과정이 없다고 지적. 하지만 이 분야에서 이런 기능을 구현하려는 연구들이 나오기 시작하고 있음.

[44:05] 초기 모방 학습의 놀라운 성과를 회상하며 InstructGPT 논문이 가져온 충격을 설명. 자동완성 모델을 대화 형태 데이터로 파인튜닝하여 대화형 어시스턴트로 만들 수 있다는 발견이 기적 같았다고 표현.

[44:51] 강화학습이 모방 학습보다 발전된 점을 설명. 보상 함수를 통한 최적화가 가능하고, 인간이 생각하지 못한 해결책도 발견할 수 있지만 여전히 한계가 있어 더 많은 발전이 필요하다고 언급.

[45:42] 결과 기반 보상의 문제점에 대해 논의. 긴 과정을 거쳐 마지막 결과로만 학습하는 것의 한계를 '빨대로 감독 신호를 빨아들이기'라는 표현으로 설명받음.

[46:07] 과정 기반 감독이 더 나은 대안임에도 성공하지 못한 이유를 질문받고, 부분적인 해답에 대한 점수 배정의 어려움과 자동화된 평가 방식의 복잡성을 설명함.

[46:47] 많은 연구소들이 LLM 판정자를 활용해 학생 답안의 부분 점수를 자동으로 할당하려고 시도하고 있지만, 이 방법은 미묘한 문제점을 가지고 있다.

[47:02] LLM을 보상 할당에 사용할 때 핵심 문제는 수십억 개의 파라미터를 가진 거대한 모델들이 게임화가 가능하다는 점이다. 강화학습 과정에서 모델이 LLM 판정자에 대한 적대적 예시를 거의 확실히 찾게 된다.

[47:34] 실제 사례로, LLM 판정자를 보상으로 사용한 강화학습에서 처음에는 잘 작동했지만 갑자기 보상이 극도로 높아지는 상황이 발생했다. 완벽해 보였지만 실제 답안을 보니 'dhdhdhdh'같은 말도 안 되는 내용이었다.

[48:21] 'dhdhdhdh'는 LLM에 대한 적대적 예시로, 훈련 중 본 적 없는 샘플 밖의 예시이기 때문에 100% 확률로 평가되었다. 이는 순수한 일반화 영역에서 모델을 망가뜨리는 예시를 찾을 수 있음을 보여준다.

[48:55] 이런 문제가 RL의 기능성을 제한하는 병목이라면, 자동화된 방식으로 해결하려면 LLM을 더 나은 판정자로 만들어야 한다. 적대적 예시를 훈련 세트에 추가해 0% 점수를 주는 방법도 있지만, 새로운 LLM마다 여전히 적대적 예시가 존재한다.

[49:32] 대규모 언어 모델의 적대적 예시 문제를 해결하기 위해서는 기존 방법론을 넘어선 새로운 접근이 필요하다고 설명합니다. 1조 개 매개변수 모델로도 여전히 해결되지 않는 문제들이 있어 다른 아이디어가 필요하다고 강조합니다.

[50:26] 인간의 학습 방식과 LLM의 학습 방식 사이의 근본적인 차이점을 지적합니다. 인간은 수면, 공상, 성찰 등을 통해 학습하는데, 이런 과정에 대한 머신러닝 유사체가 무엇인지 아직 명확하지 않다고 설명합니다.

[51:05] 책 읽기를 예로 들어 인간과 LLM의 정보 처리 방식 차이를 설명합니다. LLM은 텍스트 시퀀스에서 다음 토큰을 예측하지만, 인간은 책을 합성 데이터 생성의 프롬프트로 활용하고 정보를 조작하여 지식을 습득한다고 분석합니다.

[51:52] 합성 데이터로 훈련할 때의 근본적인 문제점을 제시합니다. 모델이 생성한 모든 샘플은 '조용히 붕괴된' 상태로, 가능한 사고 공간의 아주 작은 부분만을 차지하기 때문에 이로 훈련하면 모델 성능이 오히려 악화된다고 경고합니다.

[52:34] LLM의 붕괴 현상을 농담 예시로 설명하며, ChatGPT가 제한된 농담만 반복하는 문제를 지적합니다. 인간은 노이즈가 많지만 통계적으로 편향되지 않고 높은 엔트로피를 유지한다고 설명합니다.

[53:00] 합성 데이터 생성의 문제점을 논의하며, LLM이 같은 프롬프트에 대해 동일한 답변을 반복하는 붕괴 현상을 설명합니다. 이는 근본적인 해결책이 없을 수 있다고 제시합니다.

[53:54] 인간도 시간이 지나면서 붕괴한다는 흥미로운 비유를 제시합니다. 아이들은 아직 과적합되지 않아 충격적인 말을 하지만, 성인은 같은 생각과 말을 반복하며 학습률이 떨어진다고 설명합니다.

[54:28] 꿈이 과적합을 방지하는 진화적 메커니즘이라는 흥미로운 이론을 소개합니다. 일상과 다른 상황을 통해 엔트로피를 유지하고, 다른 사람과의 대화가 중요한 엔트로피 소스라고 설명합니다.

[55:16] 최고의 학습자인 아이들의 역설적 특성을 논의합니다. 정보 기억은 극도로 나쁘지만 새로운 언어 습득과 세상 학습에는 뛰어나다는 흥미로운 관찰을 제시합니다.

[55:32] 아이들의 학습 특성에 대한 분석: 아이들은 기억력은 떨어지지만 새로운 언어 습득과 추상적 개념 학습에 뛰어나며, 나무를 보고도 숲을 보는 능력이 있다. 반면 LLM은 암기에는 뛰어나지만 아이들처럼 빠르게 추상적 개념을 학습하는 능력은 제한적이다.

[56:10] 인간과 LLM의 기본적 차이점: 인간은 암기를 잘 못하지만 이것이 오히려 장점으로 작용하여 일반적인 패턴을 찾도록 강요받는다. LLM은 극도로 뛰어난 암기 능력을 가지고 있어 무작위 데이터도 한두 번의 반복으로 완전히 암기할 수 있지만, 이것이 오히려 사전훈련 문서들로 인한 산만함을 야기한다.

[57:10] 인지 코어 개념과 모델 개선 방향: 카파시는 LLM에서 기억을 제거하여 사고 알고리즘과 실험 아이디어, 행동의 인지적 접착제만 유지하기를 원한다고 설명한다. 이는 모델이 정보를 직접 기억하지 말고 찾아서 사용하도록 하는 것이다.

[57:28] 모델 붕괴와 다양성 문제: 모델 붕괴 방지와 암기 능력 제거는 별개의 축이며, 로짓 분포 확장이나 엔트로피 정규화 같은 단순한 해결책들은 경험적으로 잘 작동하지 않는다. 현재 최첨단 연구소들이 추구하는 대부분의 작업은 실제로 다양성을 요구하지 않으며, 오히려 다양성은 패널티를 받는 상황이다.

맞춤형 AI 튜터는 학습자의 현재 수준을 즉시 파악해 최적 난이도를 제공해야 하지만, 현행 LLM으론 역부족이다. ‘Starfleet Academy’처럼 전문 인재 양성 과정을 현실화하기 위해 강의–실습–1:1 피드백을 통합한 온·오프라인 하이브리드 교육을 구상한다.

[58:34] 강화학습에서 과도한 창의성과 다양성의 문제점에 대해 논의합니다. LLM이 모든 질문에 동일한 답변만 제공하고 다양한 접근법을 탐색하지 않는 현상을 지적하며, 이것이 합성 데이터 생성 시 문제가 될 수 있다고 설명합니다.

[59:11] 다양성 부족 문제의 근본적 성격에 대해 의견을 교환합니다. 엔트로피를 높게 정규화하여 더 많은 해결책을 제공하도록 장려할 수 있지만, 모델이 훈련 데이터에서 너무 벗어나 자체 언어를 만들거나 희귀한 단어를 사용할 위험이 있어 분포 제어가 까다롭다고 설명합니다.

[59:47] 최적의 지능 핵심 크기에 대한 추측을 요청받습니다. 과거 스케일링 중심 사고에서 현재는 더 작은 최신 모델로 발전했지만 여전히 너무 많은 것을 암기한다고 지적합니다. 10억 매개변수로도 20년 후 매우 생산적인 대화가 가능한 인지 핵심을 만들 수 있다고 예측합니다.

[01:00:44] 10억 매개변수 예측에 대한 놀라움을 표현하며, 이미 존재하는 똑똑한 소규모 모델들과 gpt-oss-20b가 1조 매개변수 GPT-4보다 뛰어나다는 예를 들어 더 작은 규모로의 발전 가능성을 제시합니다.

[01:01:22] 훈련 데이터인 인터넷의 품질 문제를 핵심 이슈로 제기합니다. 인터넷이 형편없기 때문에 개선 가능한 여지가 크며, 우리가 생각하는 좋은 인터넷 콘텐츠는 월스트리트 저널 같은 일부에 불과하다고 설명합니다.

[01:01:32] 카르파시는 인터넷 데이터의 품질 문제를 설명한다. 프론티어 랩의 사전 훈련 데이터셋에서 무작위 인터넷 문서를 보면 대부분이 쓰레기 데이터라고 지적하며, 질 좋은 콘텐츠는 극히 드물다고 강조한다.

[01:01:53] 인터넷 데이터가 형편없기 때문에 큰 모델이 필요하다고 설명한다. 현재 모델들은 대부분 기억 작업에 치중되어 있지만, 실제로는 인지적 부분이 더 중요하다고 주장한다. 지능적인 모델이 사전 훈련 세트를 정제해서 인지적 구성요소로 좁혀나갈 필요가 있다고 제안한다.

[01:02:15] 더 나은 데이터셋으로 훨씬 작은 모델 훈련이 가능하다고 본다. 증류 기법이 매우 효과적이며, 대부분의 소형 모델이 증류를 통해 만들어진다고 설명한다. 하지만 10년 후에도 증류된 모델이 10억 매개변수 아래로 내려가지 않을 이유에 대해 의문을 제기받는다.

[01:02:39] 카르파시는 흥미로운 작업을 위해서는 적어도 10억 개의 매개변수가 필요하다고 생각한다고 답한다. 하지만 상대방은 지난 몇 년간 1조 개에서 두 자릿수 규모로 작아진 모델들이 더 나은 성능을 보인 것을 근거로, 지능의 핵심이 훨씬 더 작을 수 있다고 주장한다.

[01:03:11] 카르파시는 자신도 10억 매개변수 인지 코어라는 반대 의견을 제시하고 있다면서도, 실제로는 모델이 어느 정도 지식을 보유해야 한다고 설명한다. 모든 것을 찾아보게 하면 머릿속으로 생각할 수 없기 때문이다. 기본적인 지식 커리큘럼은 필요하지만 난해한 지식까지는 불요하다고 본다.

[01:03:41] 프론티어 모델의 미래 크기에 대한 질문을 받는다. GPT 4.5까지 증가했던 규모가 이제 감소하거나 정체되고 있는 상황에 대해, 카르파시는 확신있는 예측은 없다고 답한다. 연구소들이 플롭스와 비용 예산을 고려해 실용적으로 접근하고 있으며, 사전 훈련보다는 강화학습에 더 많은 자원을 투입하고 있다고 설명한다.

[01:04:21] AI 모델 개발에서는 중간 훈련과 후속 과정들이 모두 실용적인 관점에서 최대 효율을 고려해 진행되며, 이런 트렌드 예측은 매우 어렵다고 설명합니다.

[01:04:30] 여전히 AI 발전에는 많은 쉬운 성과들이 남아있다고 예상하며, 향후 발전이 지난 2-5년간의 점진적 개선과 비슷한 패턴을 따를 것이라고 봅니다.

[01:05:01] 현재 AI 훈련 데이터셋의 품질이 매우 낮아 사실 오류와 무의미한 내용이 많지만, 규모가 커지면 노이즈가 사라지고 신호만 남게 되어 데이터셋이 크게 개선될 것이라고 예측합니다.

[01:05:21] 하드웨어, 커널, 알고리즘 등 모든 구성 요소가 각각 20% 정도씩 점진적으로 개선될 것이며, 어떤 한 요소가 압도적으로 발전하지는 않을 것이라고 전망합니다.

[01:07:13] AGI 진전을 측정하는 다양한 방법들(교육 수준, 작업 수행 시간 등)이 제안되었지만, 이를 단순히 컴퓨팅의 확장으로 보는 관점을 제시합니다.

[01:08:13] OpenAI 초기 AGI 정의는 '경제적으로 가치 있는 모든 작업을 인간 수준 이상으로 수행할 수 있는 시스템'이었으며, 이 정의를 여전히 선호한다고 말하면서 사람들이 하는 첫 번째 양보에 대해 언급합니다.

[01:08:43] AGI 정의에서 물리적 작업을 제외하고 디지털 지식 업무만을 고려하는 것은 큰 양보지만, 여전히 경제의 10-20% 정도인 몇 조 달러 규모의 거대한 시장을 차지한다고 설명합니다.

[01:09:30] 현재 AI로 대체 가능한 일자리를 평가할 때, 제프 힌튼의 방사선과 의사 예측이 틀렸던 사례를 들며, 복잡하고 다면적인 업무는 컴퓨터 비전 기술이 발달해도 쉽게 대체되지 않는다고 분석합니다.

[01:10:22] 콜센터 직원은 자동화에 적합한 특성을 가진 대표적 예시로, 단순하고 반복적인 작업 구조, 짧은 작업 범위, 폐쇄적이고 디지털적인 환경 때문에 자동화가 용이하다고 설명합니다.

[01:11:15] 완전한 자동화보다는 자율성 슬라이더 방식을 예상하며, AI가 80%의 업무를 처리하고 20%는 인간에게 위임하는 형태로, 인간이 여러 AI 팀을 감독하는 새로운 업무 구조가 나타날 것이라고 전망합니다.

[01:11:44] AI가 완벽하지 않은 상황에서 인간이 감독 역할을 하는 형태가 경제 전반에 나타날 것이라고 예측하며, 많은 직업이 콜센터보다 훨씬 복잡하다고 설명합니다.

[01:11:56] 웨이모의 초기 배치 사례를 들어, 자율주행차에도 안전을 위한 모니터링 인력이 필요했던 것처럼 방사선과 의사나 다른 전문직에서도 비슷한 패턴이 나타날 수 있다고 분석합니다.

[01:12:19] 직업의 99%가 자동화되면 남은 1%를 담당하는 인간의 가치가 극대화되어 임금이 급상승할 것이라고 설명하며, 이는 전체 시스템의 병목 지점이 되기 때문이라고 분석합니다.

[01:12:43] 방사선과 의사의 임금 상승을 예로 들며, 대체 불가능한 마지막 병목 지점 역할을 하는 전문가들의 임금이 99%까지 오르다가 마지막 1%가 자동화되면 급락할 것이라고 예측합니다.

[01:13:07] 현재 방사선학에서는 이런 현상이 나타나지 않고 있으며, 방사선학은 너무 복잡한 직업이라서 좋은 예가 아니라고 평가합니다. 대신 콜센터 직원들의 상황이 더 흥미롭다고 말합니다.

[01:13:28] 반복적인 콜센터 업무가 오늘날 자동화 가능하다고 보며, AI 도입 후 일부 기업이 직원을 다시 고용하는 현상이 이미 나타나고 있다는 놀라운 증거가 있다고 언급합니다.

[01:13:53] AGI가 모든 지식 노동을 할 수 있어야 한다는 기대와 달리, 현실에서는 컨설턴트나 회계사보다는 프로그래머들의 업무가 주로 자동화되고 있다는 흥미로운 패턴을 발견했다고 설명합니다.

[01:14:39] AI 회사들의 수익 구조를 보면 범용 AI라고 하지만 실제로는 코딩 영역에서만 압도적으로 활용되고 있다. 이는 AGI 배포 방식으로는 예상치 못한 패턴이다.

[01:15:04] 코딩이 LLM에게 완벽한 첫 번째 영역인 이유는 코딩이 근본적으로 텍스트 기반으로 작동하며, LLM은 완벽한 텍스트 프로세서이기 때문이다. 또한 코드와 텍스트 처리를 위한 인프라가 이미 잘 구축되어 있다.

[01:15:55] 슬라이드 같은 다른 영역은 훨씬 어렵다. 슬라이드는 텍스트가 아닌 시각적, 공간적 요소를 가진 그래픽이며, diff 보기 같은 미리 구축된 인프라가 없어서 누군가 새로 만들어야 한다.

[01:16:34] 순수한 언어 입력-출력 작업에서도 LLM으로부터 경제적 가치를 얻기 어렵다. 대본 재작성이나 간격 반복 프롬프트 작성 같은 LLM의 핵심 영역에서도 만족스러운 결과를 얻기 힘들다는 경험담이 있다.

[01:17:45] 코딩을 제외하고는 모델들로부터 많은 경제적 가치를 얻어내기 어려운 이유를 명확히 설명하기 어렵다. 코드는 구조화되어 있는 반면 텍스트는 더 화려하고 엔트로피가 많다는 차이점이 있다.

[01:18:10] LLM의 강력함과 텍스트 처리의 용이성에 대해 논의하며, 모든 텍스트가 사소하지는 않다고 설명합니다.

[01:18:25] 초지능을 사회 자동화의 연장선으로 보며, 컴퓨팅 발전에 따른 점진적 자동화 과정으로 설명합니다. 디지털과 물리적 작업을 수행하는 자율 개체들이 증가할 것으로 예상합니다.

[01:19:00] 자동화와 초지능의 차이점을 논의하며, 인간의 발명 능력도 자동화에 포함될 수 있다고 주장합니다.

[01:19:10] AI의 질적 차이점에 대해 질문하며, AI가 빠른 사고, 다중 복사본, 높은 지능 등의 장점을 가질 때 문명이 어떻게 변할지 논의합니다.

[01:19:39] 초지능 시대가 근본적으로는 자동화이지만 극도로 낯설 것이라고 예측하며, 컴퓨터 클러스터에서의 빠른 실행 가능성을 언급합니다.

[01:19:53] 초지능 시대의 주요 우려사항으로 통제력과 이해력의 점진적 상실을 제시합니다. 시스템을 이해하는 사람들이 줄어들면서 발생할 문제들을 예상합니다.

[01:20:22] 통제력과 이해력 상실의 차이점을 구분하며, 기업 이사회나 대통령 같은 현실 사례를 들어 권력과 이해도가 다를 수 있음을 설명합니다.

[01:21:05] 통제력 상실에 대한 질문에 대해 SF적 시나리오를 제시합니다. 단일 개체가 아닌 여러 경쟁하는 자율 개체들이 등장하고, 일부가 통제를 벗어나는 상황을 예상합니다.

[01:21:37] 카르파티는 AI들 간의 경쟁으로 인한 통제력 상실에 대해 설명하며, 개별 AI가 똑똑해서가 아니라 서로 경쟁하는 과정에서 예상치 못한 결과가 나올 수 있다고 지적합니다.

[01:22:20] AGI가 실현되면 자신의 백만 개 복사본이 병렬로 작동할 때 지능 폭발이 일어날지에 대한 질문에, 이미 우리는 수십 년간 지능 폭발 속에 있었다고 답합니다.

[01:22:56] GDP 곡선이 산업 전반의 지수적 성장을 보여주며, 산업혁명부터 컴파일러까지 모든 것이 점진적 자동화의 연속선상에 있다고 설명합니다.

[01:23:21] 지구를 우주에서 본 관점으로 비유하며, 우리는 현재 폭죽이 터지는 이벤트의 한가운데 있지만 그것을 슬로모션으로 경험하고 있다고 표현합니다.

[01:23:53] GDP에서 AI의 영향을 찾으려 했지만, 컴퓨터나 iPhone 같은 혁신적 기술들도 GDP에서 뚜렷하게 나타나지 않는다는 사실을 발견했다고 말합니다.

[01:24:21] 모든 기술 변화는 너무 분산되고 천천히 확산되어 결국 같은 지수적 성장 곡선으로 평균화되며, AI 역시 이런 점진적 자동화의 연장선이라고 결론짓습니다.

[01:24:37] AI는 새로운 종류의 프로그램이지만 여전히 근본적으로는 컴퓨팅 시스템이며, 시간이 지나면서 확산되어 기존의 지수적 성장 패턴에 합쳐질 것이라는 관점을 제시합니다.

[01:24:59] 인류 역사의 성장률 변화에 대한 질문으로, 산업혁명 이전 0%에서 현재 2%까지의 하이퍼 지수적 성장과 AI가 이 패턴을 어떻게 변화시킬지에 대해 논의합니다.

[01:25:33] 지난 200-300년간 성장률이 일정했지만, 인류 역사 전체로 보면 0%에서 2%로 폭발적으로 증가했다는 점을 강조합니다.

[01:25:51] GDP 곡선에서 AI를 찾으려던 시도가 잘못된 접근이었다고 판단하며, 재귀적 자기개선을 포함한 AI 발전이 기존의 자연스러운 기술 진보 패턴의 연장선상에 있다고 설명합니다.

[01:26:30] 성장률 변화에 대한 두 가지 상반된 견해를 제시합니다. 한쪽은 AI가 기존 2% 성장 궤도를 유지하는 데 도움을 줄 뿐이라는 입장이고, 다른 쪽은 진정한 AGI가 노동력 자체를 대체하여 질적으로 다른 변화를 가져올 것이라는 입장입니다.

[01:27:37] 카파시는 컴퓨팅이 이미 노동력 역할을 해왔고, 자율주행 등도 컴퓨터가 하는 노동이라며 이것이 평상시와 다를 바 없는 점진적 변화라고 설명합니다.

[01:28:08] 역사적으로 0.2%에서 2% 성장으로의 체제 변화가 있었다며, 기계가 차세대 기술들을 만들어낼 가능성을 인정하지만 '신을 상자에 가둔' 식의 갑작스러운 변화는 회의적입니다.

[01:28:36] AI가 모든 문제를 해결하는 완전한 범용 인간이 될 것이라는 가정에 반대하며, 점진적인 사회 도입과 기존 패턴의 반복을 예측합니다.

[01:29:03] '지능'이라는 용어 사용을 경계하며, 단일 초지능이 아닌 수십억 개의 인간 같은 마음들이 개별적으로 경제에 기여하는 모델을 제시합니다.

[01:29:41] 숙련된 이민자가 스스로 경제에 통합되듯이, AI도 비슷한 방식으로 경제에 기여할 것이라 설명하며 홍콩, 선전의 고성장 사례를 들어 AI의 잠재력을 설명합니다.

[01:30:24] 상대방이 여전히 불연속적 도약을 전제한다고 지적하며, 데이터센터의 천재들 같은 갑작스러운 변화는 역사적 선례가 없어 일어나지 않을 것이라고 주장합니다.

[01:30:43] 카파시는 산업혁명처럼 경제 성장률이 0.2%에서 2%로 점프한 것과 유사한 변화가 AI로 인해 다시 일어날 것이라고 주장합니다. 그는 산업혁명이 단일한 발명이 아닌 점진적 변화의 누적이었듯이, AI도 마찬가지로 인지적 능력의 잠재력이 해제되면서 새로운 성장 패러다임을 만들 것이라고 설명합니다.

[01:31:56] 역사적으로 성장은 사람들이 아이디어를 만들고 실행하는 것에서 나왔으며, 인구 증가가 이를 견인했습니다. 지난 50년간 선진국의 인구와 성장이 정체되었지만, AI를 통해 인구의 지수적 성장에 해당하는 효과를 얻어 초지수적 성장을 달성할 수 있을 것입니다.

[01:33:40] 닉 레인의 책을 계기로 지능과 진화에 대한 논의가 시작됩니다. 카파시는 20년간의 AI 연구 경험을 바탕으로 지능이 진화적으로 매우 최근에 나타난 현상이며, 진화가 자연스럽게 지능을 발견한 것에 놀라움을 표합니다.

[01:34:23] 카파시는 우주의 다른 행성들을 상상하며 지능의 진화가 얼마나 드문 사건인지 설명합니다. 닉 레인의 관점을 인용하여 대부분의 행성에서는 박테리아 같은 생명체가 일반적일 것이라고 하며, 박테리아가 20억 년 동안 존재했음에도 큰 변화가 없었다는 점을 강조합니다.

[01:34:52] 지구 진화 역사에서 박테리아가 이른 시기에 나타났기 때문에 진핵생물로의 발전은 매우 어려운 과정이었다. 동물들은 몇억 년 정도 존재해 왔는데, 이는 지구 수명의 약 10% 정도에 해당한다.

[01:35:18] 직관적으로 생명체가 단순히 동물적 활동만 하는 것이 아니라 문화와 지식을 창조하고 축적할 수 있게 발달했다는 것이 놀랍다. 서튼의 관점에 따르면 지능의 핵심은 동물 지능이며, '다람쥐에 도달하면 AGI의 대부분을 달성한 것'이라고 했다.

[01:35:46] 6억 년 전 캄브리아기 대폭발 직후 다람쥐 지능에 도달했는데, 이를 촉발한 것은 산소화 사건이었다. 지능 알고리즘이 즉시 나타난 것을 보면 동물 지능의 발달 과정을 알 수 있다. 환경에 산소가 생기자마자 진핵생물이 알고리즘을 얻을 수 있었다.

[01:36:23] 닉 레인은 박테리아와 고세균의 명백한 병목현상을 설명했다. 20억 년 동안 극도로 다양한 생화학적 변화가 있었지만 동물로 성장하는 것은 없었다. 동물과 지능에서는 그런 정도의 병목현상을 보지 못했다.

[01:36:55] 특정 지능이 개별적으로 몇 번 나타났는지 조사하는 것이 중요하다. 인류의 지능과 조류의 지능이 있는데, 까마귀 등은 극도로 영리하지만 뇌 구조가 상당히 다르다. 이는 지능이 여러 번 독립적으로 나타났을 가능성을 시사한다.

[01:37:18] 그웬과 칼 슐만의 흥미로운 관점에 따르면, 확장 가능한 알고리즘이 인간, 영장류, 새들에게 나타났다. 하지만 인간은 지능 증가를 보상하는 진화적 틈새를 발견했고 확장 가능한 뇌 알고리즘을 가졌다. 새의 경우 더 큰 뇌를 가지면 비행에 문제가 생기고, 돌고래도 비슷한 제약이 있다.

[01:38:08] 인간은 도구 사용법을 배우는 능력을 보상하는 손을 가지고 있고, 소화를 외부화하여 뇌에 더 많은 에너지를 공급할 수 있다는 독특한 진화적 이점을 갖고 있다.

[01:38:14] 인간의 진화적 성공에 대한 논의에서 환경적 요인과 도구 사용의 중요성을 설명합니다. 돌고래와 비교하며 육지 환경이 제공하는 화학적 가능성의 범위가 더 넓다고 언급합니다.

[01:38:33] 지능을 통한 진화적 돌파구에 대해 논의하며, 단순히 근육이 큰 동물들이 우세할 것이라는 예상과 달리 지능이 중요한 전환점이 되었다고 설명합니다.

[01:38:51] Gwern의 관점을 인용하여 지능 진화의 어려움을 설명합니다. DNA에 직접 새겨넣기에는 너무 중요하지만 학습하지 않기에는 너무 중요한 좁은 경계선에서 평생 학습 알고리즘이 발달했다고 분석합니다.

[01:39:17] 예측 불가능한 환경의 필요성과 인간의 적응성에 대해 설명합니다. 많은 동물들이 미리 프로그래밍되어 있는 반면, 인간은 태어난 후 테스트 시간에 학습해야 한다고 비교합니다.

[01:39:42] Quintin Pope의 블로그를 인용하여 인간의 급격한 인지적 도약이 6만 년 전에 일어났고, 그 후 5만 년 동안 문화적 발판을 구축하는 과정이 필요했다고 설명합니다.

[01:40:11] AI 훈련과 인간의 문화적 지식 축적을 비교합니다. LLM은 서로 훈련하고 같은 데이터로 학습할 수 있어 인간이 오랜 시간에 걸쳐 구축한 문화적 순환이 무료로 제공된다고 분석합니다.

[01:40:36] 현재 LLM의 한계점으로 진정한 문화의 부재를 지적합니다. 기록된 지식의 전달과 세대 간 메모 전달 등 인간 문화의 핵심 요소들이 LLM에는 없다고 설명합니다.

[01:40:58] LLM 문화의 가능한 형태에 대해 논의합니다. 거대한 스크래치패드를 편집하거나 LLM들이 서로를 위한 책을 쓰고 읽으며 영감을 받는 등의 예시를 제시하며, 현재는 이런 등가물이 존재하지 않는다고 강조합니다.

[01:41:31] 멀티 에이전트 AI 시스템의 두 가지 핵심 아이디어를 제시합니다. 첫째는 LLM이 자체 목적을 위한 문화와 지식 레퍼토리를 구축하는 것이고, 둘째는 알파고처럼 자기 자신과 경쟁하며 학습하는 셀프 플레이 개념입니다.

[01:42:07] LLM이 서로 문제를 생성하고 해결하는 방식의 셀프 플레이나, 조직과 문화를 형성하는 멀티 에이전트 시스템은 아직 성공적으로 구현되지 않았으며, 현재는 개별 에이전트 수준에 머물러 있다고 설명합니다.

[01:42:37] 현재 AI 모델들을 학생에 비유하며, 작은 모델들은 유치원생이나 초등학생 수준이고, 심지어 고급 모델들도 인지적으로는 여전히 초등학교 수준이라고 평가합니다. 박사 퀴즈를 풀 수 있지만 진정한 이해나 문화 창조 능력은 부족하다고 봅니다.

[01:43:43] 테슬라에서 2017-2022년간 자율주행 개발을 이끈 경험을 바탕으로, 자율주행 기술이 10년이 걸린 이유에 대해 질문받습니다. 자율주행은 아직 완성되지 않았다고 강조하며, 1980년대부터 시작된 자율주행 데모의 역사와 2014년 웨이모의 완벽한 주행 경험을 회상합니다.

[01:44:50] 자율주행 데모를 본 후 실제 출시까지 예상보다 오래 걸린 경험을 통해, 데모와 실제 제품 사이에는 큰 격차가 있음을 깨달았다고 설명합니다.

[01:45:07] 자율주행과 소프트웨어 개발 모두 실패 비용이 높은 영역으로, 작은 실수도 심각한 보안 취약점이나 개인정보 유출로 이어질 수 있다고 설명합니다.

[01:45:59] 제품 완성도를 높이는 과정을 '9의 행진'으로 표현하며, 90%에서 99%, 99.9%로 올라가는 각 단계마다 동일한 양의 작업이 필요하다고 설명합니다.

[01:46:31] 테슬라에서의 경험을 통해 데모에 대해 회의적이 되었으며, 실제 제품은 현실의 다양한 도전과 예외 상황들을 모두 처리해야 한다고 강조합니다.

[01:47:16] 인터뷰어가 자율주행과 소프트웨어의 안전 요구사항 비교에 대해 질문하며, 인간의 실수 빈도(7년마다 한 번)와 코딩 에이전트의 요구 수준을 비교합니다.

[01:47:57] 자율주행과 일반 소프트웨어 엔지니어링 비교에서, 자율주행은 수천 가지 인간 활동 중 하나의 세부 영역일 뿐이지만, 일반 소프트웨어 엔지니어링은 훨씬 넓은 영역을 다뤄야 한다고 설명합니다.

[01:48:14] 자율주행 개발 시간의 상당 부분은 견고한 인식 시스템과 일반화 가능한 모델 구축에 소요되었지만, 현재 LLM과 VLM을 통해 이런 기본 표현 문제들을 무료로 해결할 수 있다고 주장합니다.

[01:48:49] AI를 다양한 영역에 배포하는 것이 현재 모델로 자율주행차를 다른 도시에 배포하는 것과 비슷할 것이라고 제안하지만, 화자는 이 의견에 완전히 동의하지 않으며 LLM의 한계를 지적합니다.

[01:49:30] LLM이 여전히 오류가 많고 공백이 있으며, 마법 같은 완벽한 일반화를 즉시 제공하지는 않는다고 평가합니다.

[01:49:42] 자율주행차는 아직 완성과 거리가 멀고 배포 규모가 제한적이라고 지적하며, Waymo조차 경제성 부족으로 인해 차량 수가 적다고 설명합니다.

[01:50:00] 자율주행 회사들이 미래 기술을 앞당겨 구현했지만 비경제적으로 만들 수밖에 없었으며, 경제성 확보가 여전히 큰 과제라고 분석합니다.

[01:50:17] 무인 자율주행차가 기만적일 수 있다고 지적하며, 정교한 원격 조작 센터와 인간 개입이 생각보다 많이 존재한다고 설명합니다. 실제로는 사람을 제거한 것이 아니라 보이지 않는 곳으로 이동시킨 것이라고 평가합니다.

[01:50:52] 자율주행 기술의 현재 상황과 한계점에 대한 논의. Waymo는 특정 지역에서만 작동하며 여전히 해결해야 할 과제들이 존재한다는 점을 지적.

[01:51:33] Tesla와 Waymo의 자율주행 접근법 비교. Tesla가 더 확장 가능한 전략을 택했다고 평가하며, 자율주행의 완전한 실현은 아직 이루어지지 않았다고 강조.

[01:52:13] AI 배치 속도와 가치에 대한 중요한 질문 제기. 2030년 전망을 위해서는 이러한 요소들에 대한 이해가 필수적이라고 언급.

[01:52:36] 자율주행과 LLM 지식 업무 간의 기술적 차이점 분석. 지연 시간 요구사항과 모델 크기, 그리고 경제적 배치 비용의 차이에 대해 설명.

[01:53:28] 비트 기반 서비스와 물리적 세계 서비스의 근본적인 차이점. 비트는 물리적 제약보다 훨씬 유연하고 빠른 적응이 가능하다는 점을 강조.

[01:54:00] Karpathy가 AI 배포를 위한 대규모 컴퓨팅 인프라 구축의 필요성과 자율주행 자동차 산업에서 배울 수 있는 교훈들에 대해 설명합니다. 사회적 수용, 법적 규제, 보험 문제 등 기술적 측면 이외의 중요한 고려사항들을 언급합니다.

[01:54:45] 현재 AI 산업의 컴퓨팅 자원 대규모 확장에 대한 질문이 제기됩니다. 1-2년 내 10배, 10년 내 100배 증가 예상에 대해 과다 구축 우려와 역사적 선례(철도, 통신 산업 버블)와의 비교가 논의됩니다.

[01:55:28] Karpathy가 자신이 비관적으로 들릴 수 있음을 인정하면서도, 실제로는 기술에 대해 매우 낙관적임을 강조합니다. 트위터에서 보이는 과장된 주장들이 주로 펀드레이징이나 관심 끌기 목적이라고 분석합니다.

[01:56:05] 급속한 기술 진보와 Claude Code, OpenAI Codex 같은 혁신적 도구들의 등장을 언급하며 과다 구축에 대한 우려를 일축합니다. ChatGPT의 높은 수요를 예로 들어 시장이 공급을 충분히 흡수할 것이라고 전망합니다.

[01:56:37] AI 분야 15년 경험을 바탕으로 평판 좋은 전문가들도 타임라인 예측에서 지속적으로 실수해왔음을 지적합니다. 정확한 현실 인식의 중요성을 강조하며, 특히 지정학적 파급효과를 고려할 때 신중한 접근이 필요함을 역설합니다.

[01:57:08] 대화가 교육과 Eureka 프로젝트로 전환되면서, Karpathy의 현재 활동과 새로운 AI 연구소 설립 대신 다른 방향을 선택한 이유에 대한 질문이 제기됩니다.

[01:57:26] Karpathy는 AI 연구소들의 작업이 예측 가능하다고 느끼며, 자신만의 독특한 기여보다는 인류가 AI 발전에서 소외되지 않도록 하는 것이 더 중요하다고 강조합니다.

[01:58:00] 그는 WALL-E나 이디오크라시 같은 영화처럼 인류가 기술의 곁으로 밀려나는 미래를 우려하며, 교육을 통해 인간들이 더 나은 미래를 만들어야 한다고 주장합니다.

[01:58:26] Eureka 프로젝트를 '스타플릿 아카데미'에 비유하며, 최신 기술 지식을 위한 엘리트 교육 기관을 만들고자 한다고 설명합니다.

[01:59:16] AI 시대에 교육이 근본적으로 변해야 한다고 보지만, 현재의 LLM 기반 교육은 여전히 조잡하다고 평가하며, 진정한 튜터 경험을 만들고 싶다고 합니다.

[01:59:51] 한국어 학습 경험을 통해 훌륭한 튜터의 능력을 설명합니다. 짧은 대화로도 학생의 수준과 지식을 파악하고 적절한 질문을 하는 능력은 현재 LLM으로는 불가능하다고 강조합니다.

[02:00:44] 좋은 튜터는 학생의 수준을 정확히 파악하고 적절한 도전을 제공한다. 튜터와 함께할 때는 학습자 본인만이 유일한 제약이 되며, 지식 접근이나 설명 부족 같은 외적 장애물은 존재하지 않는다.

[02:01:18] 현재 AI 기술로는 이런 수준의 개인화된 튜터링을 자동화할 수 없다. AI 튜터를 만들기에는 아직 적절한 시기가 아니며, 기준이 너무 높고 현재 능력은 부족하다.

[02:01:40] ChatGPT는 가치 있는 교육 도구지만, 실제 훌륭한 튜터의 기준은 매우 높다. 컨설팅 경험에서 AI 전문가로서 종종 'AI를 사용하지 말라'고 조언했듯이, 교육 분야에서도 아직은 때가 아니다.

[02:02:21] 현재는 물리적·디지털 구성요소를 가진 보다 전통적인 형태의 교육 도구를 개발 중이다. 미래의 모습은 분명하지만 지금은 그 시기를 기다리고 있다.

[02:02:35] 첫 번째 코스로 AI 분야의 최고 수준 교육 과정을 개발하고 있다. Nanochat은 LLM101N 클래스의 캡스톤 프로젝트로, 현재 중간 단계들과 TA 팀 구성 등 전체 코스 구축을 진행 중이다.

[02:03:11] 교육을 지식 확산의 소프트한 측면으로 보는 일반적 관점과 달리, 교육은 '지식으로 가는 길'을 만드는 매우 어려운 기술적 과정이다. Nanochat같은 단순화된 풀스택 도구는 '초당 유레카', 즉 빠른 이해를 제공하는 지식의 길 역할을 한다.

[02:03:48] 카파시는 '초당 유레카'라는 개념을 통해 교육의 핵심이 지식으로의 효율적인 경사로 구축이라고 설명합니다. 학습자가 막히지 않고 적절한 난이도로 지속적으로 진전할 수 있는 시스템을 만드는 것이 목표입니다.

[02:04:14] 현재 AI 교육 플랫폼에서는 자동화보다는 AI 개념을 명확하게 설명하는 능력이 핵심 차별화 요소입니다. ChatGPT 같은 도구로는 제대로 된 AI 교육이 어렵지만, 나노챗 같은 중간 단계 프로젝트가 매우 유용한 학습 도구라고 강조합니다.

[02:05:03] 카파시는 스탠포드의 CS231n 구축 경험과 현재 LLM101N 개발을 비교하며, LLM의 도움으로 훨씬 빠르게 교육 자료를 개발하고 있다고 설명합니다. 하지만 AI는 아직 창의적인 콘텐츠 제작까지는 못하며, 인간의 주도적 참여가 필요한 상황입니다.

[02:05:45] 미래 교육 플랫폼의 발전 단계를 제시합니다. 현재는 AI와 협력하는 교수진 채용이 필요하고, 점진적으로 조교 역할을 AI가 담당하게 될 것이며, 결국에는 AI가 대부분의 설계를 담당할 수도 있지만 이는 시간이 필요한 과정이라고 전망합니다.

[02:07:01] Karpathy는 자신이 모든 콘텐츠를 직접 설계하지는 않을 것이라고 설명하며, 전문 영역에서는 교수진을 채용할 계획이라고 밝혔다. 다만 AI 분야에서는 당분간 직접 참여할 예정이다.

[02:07:29] Starfleet Academy 구상에 대해 설명하며, 물리적 기관과 디지털 서비스의 2단계 구조를 제시했다. 물리적 기관은 최고 품질의 교육을, 디지털 서비스는 더 많은 사람들에게 접근성을 제공할 것이라고 했다.

[02:08:11] 교육과 재교육의 필요성을 강조하며, 일자리 변화에 대응하기 위해 도움을 주고 싶다고 밝혔다. 현재 많은 사람들이 AI 기술 향상에 관심을 보이고 있어 좋은 교육 기회라고 평가했다.

[02:08:34] AGI 전후의 교육 동기 차이를 설명했다. AGI 이전에는 돈을 벌기 위한 실용적 목적이지만, AGI 이후에는 재미와 자기계발을 위한 목적이 될 것이라고 예측했다.

[02:08:57] 헬스장 비유를 통해 미래 교육의 성격을 설명했다. 기계가 물리적 노동을 대체해도 사람들이 건강과 외모를 위해 헬스장에 가듯, AGI가 지적 업무를 대체해도 사람들은 재미와 자기계발을 위해 학습할 것이라고 주장했다.

[02:09:36] 현재 학습의 어려움과 미래 학습의 변화에 대해 논의했다. 학습이 어려워 많은 사람들이 포기하지만, 개인 튜터 같은 AI 도구를 통해 학습을 쉽고 재미있게 만들 수 있다고 강조했다.

[02:10:21] 교육이 인간의 AI 통제에 도움이 되는지에 대한 질문에서, 카파시는 결국 장기적으로는 지는 게임이라고 인정하면서도 현재 인간의 잠재력이 크게 미개발 상태라고 설명합니다.

[02:10:53] 완벽한 AI 튜터를 통해 누구나 5개 언어를 구사하고 학부 커리큘럼을 모두 이해할 수 있게 될 것이라며, 이는 100년 전과 현재의 헬스장 문화 차이와 같은 변화라고 비유합니다.

[02:11:38] 다양한 학습 영역에서 더욱 강렬하고 깊이 있는 발전이 가능할 것이며, 인간 본성의 시대를 초월한 특성에 베팅하고 있다고 말합니다. 역사적으로 귀족이나 고대 그리스 같은 환경에서도 인간이 신체적, 인지적으로 번영했던 사례를 들어 설명합니다.

[02:12:22] 월-E나 이디오크러시 같은 미래를 우려하며, 모든 사람이 초인이 되어야 한다고 강조합니다. 하지만 여전히 개인의 노동이나 인지만으로는 기술의 궤적을 근본적으로 바꿀 수 없는 한계가 있을 것이라고 인정합니다.

[02:13:10] 전환기 동안에는 인간이 루프 안에서 발전에 기여할 수 있지만, 장기적으로는 이것도 사라질 것이라고 예측합니다. 미래에는 지식 습득이 파워리프팅처럼 스포츠가 될 수도 있으며, 완벽한 AI 튜터를 통해 극도로 발전할 수 있을 것이라고 전망합니다.

[02:13:48] 화자는 인간의 잠재력과 학습에 대한 열정을 표현하며, 자신이 매주 새로운 주제를 학습해야 하는 일을 하고 있어 AI 튜터에 대한 기대가 크다고 말한다.

[02:14:10] 학교를 싫어하는 대부분의 사람들과 달리 화자는 학습 자체를 사랑했으며, 박사과정까지 마치고 산업계로 나왔다고 회상한다.

[02:14:32] 온라인 강의가 모든 인간이 모든 것을 학습할 수 있게 해주지 못한 이유에 대해 논의하며, 명확한 진입점 부족과 쉽게 막히는 문제를 지적한다.

[02:14:52] 좋은 AI 튜터가 있다면 동기부여 측면에서 큰 돌파구가 될 것이라고 예측하며, 학습에서의 좌절감과 적절한 난이도 조절의 중요성을 강조한다.

[02:15:27] 교육 조언을 요청받은 화자는 자신의 물리학 배경이 교육 방법론에 큰 영향을 미쳤다고 설명한다.

[02:16:06] 초기 교육에서 물리학의 중요성을 강조하며, 학교 교육의 목적이 지식 축적이 아닌 뇌를 부팅하는 것이라고 주장한다.

[02:16:26] 물리학이 뇌를 부팅하는 데 최적인 이유로 모델과 추상화 구축, 근사화 개념, 노이즈가 있는 시스템에서의 기본 패턴 인식 능력을 제시한다.

[02:16:43] '구형 소' 예시를 통해 물리학적 사고의 일반화 가능성을 설명하고, 물리학자가 생물학에 적용한 스케일 이론 책을 추천한다.

[02:17:04] 물리학자들의 문제 해결 접근법을 설명하며, 동물의 생체 현상을 수학적으로 모델링하는 예시를 통해 복잡한 시스템을 간단한 원리로 설명할 수 있다고 강조합니다.

[02:17:33] 물리학 훈련을 통해 모든 현상의 1차, 2차 항을 찾아 핵심 요소를 파악하고 단순화하는 사고 방식을 체득했다고 설명합니다.

[02:17:58] micrograd라는 100줄 코드 예시를 통해 신경망 학습의 핵심 원리를 설명하며, 복잡한 시스템도 본질적으로는 간단한 원리로 구성되어 있음을 보여줍니다.

[02:18:58] 교육의 본질은 복잡하게 얽힌 지식을 체계적인 경사로로 재구성하는 것이며, 이런 지식 해체 과정이 지적으로 매우 흥미롭다고 설명합니다.

[02:19:35] 트랜스포머 튜토리얼이 단순한 바이그램 룩업 테이블부터 시작하는 것처럼, 가장 기본적인 개념부터 시작해서 점진적으로 발전시키는 교육 방식의 효과를 강조합니다.

[02:19:48] 안드레이 카파시가 룩업 테이블부터 트랜스포머까지 단계적으로 설명하는 교육 방식의 장점을 설명합니다. 각 구성 요소의 동기와 필요성을 먼저 제시하고 해결책을 보여주는 방식으로, 학생들이 스스로 생각해볼 기회를 제공하여 더 깊은 이해를 돕는다고 말합니다.

[02:21:02] 전문가들이 초보자에게 설명을 잘 못하는 이유를 '지식과 전문성의 저주'라고 설명합니다. 자신도 이 문제를 겪고 있다고 인정하며, ChatGPT를 활용해 초보자의 질문을 파악하고 이를 통해 더 나은 설명 방법을 찾는 전략을 제시합니다.

[02:22:16] 학술 논문이나 블로그 포스트보다 점심 대화에서의 설명이 더 이해하기 쉽고 정확하다는 관찰을 공유합니다. 사람들이 글에서는 추상적이고 전문용어로 가득한 설명을 하지만, 일대일 대화에서는 핵심을 바로 전달하는 경향이 있다고 설명합니다.

[02:23:51] 학습자로서의 조언을 묻는 질문에 답하며, 필요에 따른 깊이 있는 학습과 폭넓은 학습의 균형을 맞추는 것이 중요하다고 말합니다. 특히 구체적인 프로젝트와 연결된 학습이 더 효과적이라고 강조합니다.

[00:48] 오늘 안드레이 카르파티와 대화를 나누겠습니다. 안드레이, 왜 에이전트의 해가 아니라 에이전트의 10년이라고 말씀하시나요?

[00:52] 먼저 이 자리에 초대해 주셔서 감사합니다. 여기 와서 정말 기쁩니다. 방금 언급하신 '에이전트의 10년'이라는 말은

[00:58] 사실 기존 발언에 대한 반응입니다. 누가 말했는지 확실하지 않지만, 그들은

[01:03] LLM과 관련해서 이것이 '에이전트의 해'가 될 것이며, 어떻게 발전할 것인지에 대해 암시했습니다.

[01:09] 저는 그 말에 자극을 받았습니다. 업계에서 과도한 예측이 일어나고 있기 때문입니다.

[01:16] 제 생각에는 이를 '에이전트의 10년'이라고 표현하는 것이 더 정확합니다.

[01:21] 우리에게는 매우 초기 단계의 에이전트들이 있고, 이들은 굉장히 인상적이며

[01:25] 저도 매일 사용하고 있습니다. Claude와 Codex 같은 것들 말이죠. 하지만

[01:28] 아직도 해야 할 일이 너무 많다고 느낍니다.

[01:35] 제 반응은 우리가 이런 것들과 함께 10년간 작업하게 될 것이라는 것입니다.

[01:38] 그것들은 더 나아질 것이고, 멋진 일이 될 것입니다.

[01:42] 저는 단지 그 함의의 타임라인에 반응했을 뿐입니다.

[01:46] 10년이 걸릴 것이라고 생각하는 일은 무엇인가요? 병목지점은 무엇인가요?

[01:51] 실제로 작동하게 만드는 것입니다. 에이전트에 대해 말할 때, 또는 연구소들이 염두에 두고 있는 것과

[01:56] 제가 생각하는 것도 마찬가지인데, 거의 직원이나

[01:59] 함께 일하기 위해 고용할 인턴 같은 것으로 생각해야 합니다. 예를 들어, 여기서 직원들과 일하시잖아요.

[02:04] 언제 Claude나 Codex 같은 에이전트가 그 일을 하는 것을 선호하시겠습니까? 현재로서는

[02:08] 물론 불가능합니다. 그들이 그것을 할 수 있게 되려면 무엇이 필요할까요?

[02:11] 오늘 하지 않는 이유가 무엇인가요?

[02:13] 오늘 하지 않는 이유는 그냥 작동하지 않기 때문입니다. 충분한 지능이 없고,

[02:17] 멀티모달 기능이 충분하지 않으며, 컴퓨터 사용이나 이런 모든 기능들을 할 수 없습니다.

[02:20] 앞서 언급하신 많은 것들을 하지 못합니다. 지속적인 학습 기능이 없습니다.

[02:24] 뭔가를 알려줘도 기억하지 못합니다.

[02:27] 인지적으로 부족하고 그냥 작동하지 않습니다.

[02:30] 이 모든 문제들을 해결하는 데 약 10년이 걸릴 것입니다.

[02:32] 흥미롭네요. 전문 팟캐스터로서, 그리고 멀리서 AI를 바라보는 사람으로서,

[02:42] 무엇이 부족한지 식별하기는 쉽습니다. 지속적인 학습이 부족하거나, 멀티모달리티가 부족하다는 식으로요.

[02:47] 하지만 그것에 타임라인을 매기는 좋은 방법은 정말 모르겠습니다.

[02:52] 누군가가 지속적인 학습이 얼마나 걸릴지 물으면, 이것이

[02:57] 5년, 10년, 50년이 걸리는 프로젝트인지에 대한 선험적 지식이 없습니다. 왜 10년인가요?

[03:01] 1년이 아니라? 50년이 아니라? 여기서 제 개인적인 직관과

[03:07] 이 분야에서의 제 경험을 바탕으로 한 추정이 들어갑니다.

[03:14] 저는 거의 20년간 AI 분야에 있었습니다. 15년 정도가 되겠네요, 그리 길지 않습니다.

[03:19] 훨씬 더 오래 계신 리처드 서튼이 여기 오셨었죠.

[03:23] 저는 사람들이 예측하는 것을 보고, 그것이 어떻게 결과가 나오는지 본 15년의 경험이 있습니다.

[03:28] 또한 한동안 업계에 있었고, 연구도 했고,

[03:30] 한동안 업계에서 일했습니다.

[03:32] 그것으로부터 얻은 일반적인 직감이 있습니다.

[03:37] 문제들은 해결 가능하고, 극복할 수 있지만, 여전히 어렵다고 느낍니다.

[03:43] 평균을 내보면, 그냥 10년 정도로 느껴집니다.

[03:47] 이것은 정말 흥미롭습니다. 역사뿐만 아니라

[03:50] 하지만 당시 현장에 있던 사람들이 다양한 돌파구의 순간에 무엇이 일어날 것이라고 느꼈는지 궁금합니다.

[03:58] 그들의 감정이 지나치게 비관적이었거나 지나치게 낙관적이었던 방식은 무엇이었을까요?

[04:03] 하나씩 살펴보는 게 좋을까요? 엄청난 질문이네요. 15년간의 일들을 다루는 거니까요.

[04:07] AI는 정말 놀라운데, 전체 분야가 갑자기 완전히 다른 모습으로 보이게 되는

[04:10] 몇 차례의 지각변동이 있었기 때문입니다.

[04:17] 저는 그런 변화를 두세 번 정도 직접 경험했습니다.

[04:21] 거의 놀라울 정도로 규칙적으로 찾아오기 때문에 앞으로도 계속 있을 것이라고 생각합니다.

[04:25] 제 커리어가 시작되었을 때, 딥러닝 작업을 시작했을 때, 딥러닝에 관심을 갖게 되었을 때

[04:29] 이것은 토론토 대학교에서 제프 힌튼 바로 옆에 있었던 우연한 기회였습니다.

[04:34] 제프 힌튼은 물론 AI의 대부 격인 인물이죠.

[04:37] 그는 이런 신경망들을 훈련시키고 있었습니다. 저는 그것이 믿을 수 없을 정도로 흥미롭다고 생각했어요.

[04:40] 이것은 당시 AI에서 모든 사람이 하고 있는 주요한 일이 전혀 아니었습니다.

[04:43] 이것은 한쪽 구석의 틈새 주제에 불과했어요. 아마 첫 번째 극적인 지각변동이

[04:49] AlexNet과 함께 왔을 것입니다. AlexNet이 모든 사람의 방향을 바꿔놓았고, 모든 사람이

[04:54] 신경망을 훈련시키기 시작했지만, 여전히 매우 작업별로, 특정 작업별로 진행되었습니다.

[04:59] 아마 이미지 분류기가 있거나 신경망 기계 번역기 같은 것이 있었을 겁니다.

[05:04] 사람들은 점점 에이전트에 관심을 갖기 시작했습니다. 사람들이 생각하기 시작했어요. '좋아, 아마 우리는

[05:10] 시각 피질 같은 곳에 체크 표시를 했지만, 뇌의 다른 부분들은 어떨까?

[05:14] 그리고 세상과 상호작용할 수 있는 완전한 에이전트나 완전한 개체를 어떻게 얻을 수 있을까?'

[05:19] 2013년경의 아타리 딥 강화학습 변화는 제 생각에는 그런 초기 에이전트 노력의 일부였습니다.

[05:26] 단지 세상을 인식하기만 하는 것이 아니라

[05:30] 행동을 취하고 상호작용하며 환경으로부터 보상을 받는 에이전트를 얻으려는 시도였기 때문입니다.

[05:34] 당시에는 아타리 게임이었습니다. 저는 그것이 잘못된 방향이었다고 느낍니다.

[05:39] 제가 참여했던 초기 OpenAI조차 채택한 잘못된 방향이었습니다. 당시에는

[05:45] 시대정신이 강화학습 환경, 게임, 게임 플레이,

[05:50] 게임 정복, 다양한 유형의 게임들이었고, OpenAI도 그런 일을 많이 하고 있었습니다.

[05:54] 그것은 2~3년 또는 4년 동안 모든 사람이 하고 있던 AI의 또 다른 두드러진 부분이었습니다.

[06:01] 게임에서의 강화학습 말이죠. 그것은 모두 약간의 잘못된 방향이었습니다.

[06:06] 제가 OpenAI에서 하려고 했던 것은 게임이 AGI로 이어질 것이라는

[06:10] 점에 대해 항상 조금 의심스러웠던 것입니다. 제 생각에는

[06:13] 실제 세계와 상호작용하는 회계사 같은 것이 필요했습니다.

[06:17] 게임이 어떻게 그것에 합산되는지 이해할 수 없었습니다. 예를 들어, OpenAI에서의 제 프로젝트는

[06:23] Universe 프로젝트의 범위 내에서 키보드와 마우스를 사용해 웹 페이지를 조작하는 에이전트였습니다.

[06:30] 저는 정말로 실제 디지털 세계와 상호작용하여

[06:33] 지식 작업을 할 수 있는 것을 원했습니다.

[06:37] 그런데 알고 보니 이것은 극도로 이른 시기였고, 너무 이른 시기여서 우리가 그런 일을 하지 말았어야 했습니다.

[06:42] 단지 헤매면서 키보드를 마구 두드리고 마우스를 클릭하면서

[06:47] 이런 환경에서 보상을 얻으려고 한다면, 보상이 너무 희박해서 학습할 수 없기 때문입니다.

[06:52] 산불을 태우는 수준의 연산을 하게 되고, 그러고도 아무것도 만들어내지 못할 겁니다.

[06:54] 신경망에서 표현력의 힘이 바로 여러분이 놓치고 있는 것입니다.

[06:58] 예를 들어, 오늘날 사람들이 컴퓨터 사용 에이전트를 훈련시키고 있지만,

[07:02] 대형 언어 모델 위에서 그 작업을 하고 있습니다.

[07:05] 먼저 언어 모델을 확보해야 하고, 먼저 표현을 얻어야 하며,

[07:08] 그리고 모든 사전 훈련과 모든 LLM 작업을 통해 그것을 해야 합니다.

[07:11] 느슨하게 말하자면, 사람들이 계속해서 너무 일찍 전체를 얻으려고 시도했다고 생각합니다.

[07:17] 사람들이 정말로 너무 이른 시점에 에이전트를 추구했다고 할 수 있겠죠.

[07:22] 그것이 바로 Atari와 Universe, 그리고 제 자신의 경험이기도 합니다.

[07:26] 실제로는 그러한 에이전트에 도달하기 전에 먼저 해야 할 일들이 있습니다.

[07:30] 지금은 에이전트들이 훨씬 더 유능하지만, 여전히 그 스택의 일부분들이 빠져있을 수도 있습니다.

[07:36] 사람들이 하고 있던 세 가지 주요 영역이 있다고 말하고 싶습니다:

[07:40] 작업별로 신경망을 훈련시키는 것, 첫 번째 에이전트 시도,

[07:44] 그리고 LLM과 신경망의 표현력을 추구하는 것입니다.

[07:48] 그 위에 다른 모든 것을 추가하기 전에 말입니다. 흥미롭네요. 만약 제가 Sutton의 관점을 옹호한다면,

[07:54] 인간은 모든 것을 한 번에 처리할 수 있다고 하겠습니다.

[07:57] 심지어 동물들도 모든 것을 한 번에 처리할 수 있습니다. 동물들이 더 좋은 예시일 수도 있는데,

[08:01] 그들은 언어라는 발판조차 갖고 있지 않습니다. 그냥 세상에 던져져서,

[08:05] 어떤 라벨도 없이 모든 것을 이해해야만 합니다.

[08:10] 그렇다면 AGI에 대한 비전은 감각 데이터를 보는 것이어야 합니다.

[08:14] 컴퓨터 화면을 보고, 처음부터 무엇이 일어나고 있는지 알아내는 것 말입니다.

[08:18] 만약 인간이 비슷한 상황에 놓여서 처음부터 훈련받아야 한다면... 이것은 마치

[08:22] 인간이 자라나거나 동물이 자라나는 것과 같습니다. 왜 그것이 AI의 비전이 되어서는 안 될까요?

[08:26] 수백만 년의 훈련을 하는 것보다 말입니다.

[08:29] 정말 좋은 질문입니다. Sutton이 당신의 팟캐스트에 출연했었고 저도 그 팟캐스트를 봤습니다.

[08:35] 그 팟캐스트에 대해 제가 어떻게 생각하는지를 다룬 글을 쓰기도 했습니다.

[08:41] 저는 동물과의 비유를 매우 신중하게 합니다. 왜냐하면 동물들은

[08:46] 매우 다른 최적화 과정을 통해 생겨났기 때문입니다. 동물들은 진화했고,

[08:49] 내장된 엄청난 양의 하드웨어와 함께 태어납니다. 예를 들어, 제 글에서 든 예시는 얼룩말이었습니다.

[08:55] 얼룩말이 태어나면, 몇 분 후에 뛰어다니며 어미를 따라갑니다.

[08:59] 그것은 극도로 복잡한 일입니다. 그것은 강화학습이 아닙니다.

[09:03] 그것은 내재된 것입니다. 진화는 분명히 우리 신경망의 가중치를

[09:08] ATCG로 인코딩하는 방법을 가지고 있고, 저는 그것이 어떻게 작동하는지 전혀 모르지만, 분명히 작동합니다.

[09:14] 뇌는 매우 다른 과정에서 나왔고, 저는 거기서 영감을 얻는 것을 매우 주저합니다.

[09:20] 왜냐하면 우리는 실제로 그 과정을 실행하고 있지 않기 때문입니다. 제 글에서 저는 우리가 동물을 만들고 있지 않다고 했습니다.

[09:25] 우리는 유령이나 정령 같은 것을 만들고 있습니다. 사람들이 뭐라고 부르든 상관없이,

[09:31] 왜냐하면 우리는 진화를 통한 훈련을 하고 있지 않기 때문입니다. 우리는 인간을 모방하는 훈련을 하고 있고

[09:37] 그들이 인터넷에 올린 데이터를 이용합니다. 결국 이런 천상의 정령 같은 존재들을 얻게 됩니다.

[09:42] 왜냐하면 그들은 완전히 디지털이고 인간을 모방하기 때문입니다.

[09:45] 그것은 다른 종류의 지능입니다. 만약 당신이 지능의 공간을 상상한다면,

[09:48] 우리는 거의 다른 출발점에서 시작하고 있습니다. 우리는 진정한 동물을 만들고 있는 것은 아니에요. 하지만 시간이 지나면서 그들을 더 동물다워지게 만드는 것도 가능하고, 우리가 그렇게 해야 한다고 생각합니다.

[09:53] 한 가지 더 말씀드리고 싶은 점이 있습니다. Sutton의 프레임워크는 매우... 그의 관점은 '우리는 동물을 만들고 싶다'는 것입니다.

[09:58] 만약 그것이 작동한다면 정말 멋질 것 같아요. 그건 정말 놀라운 일이겠죠.

[10:04] 인터넷에서 돌리기만 하면 모든 것을 학습하는 단일 알고리즘이 있다면

[10:07] 그것은 정말 놀라운 일이겠죠. 하지만 그런 것이 존재하는지 확신이 서지 않고

[10:13] 동물들이 하는 일도 확실히 그런 것은 아니거든요. 왜냐하면 동물들에게는 진화라는 외부 루프가 있기 때문입니다.

[10:18] 학습처럼 보이는 것의 상당 부분은 사실 뇌의 성숙에 가까워요.

[10:24] 동물들에게는 강화학습이 거의 없다고 생각합니다.

[10:28] 강화학습의 대부분은 운동 과제 같은 것들이지, 지능적인 과제가 아니에요.

[10:32] 그래서 실제로 인간은 대략적으로 말해서 강화학습을 별로 사용하지 않는다고 생각해요.

[10:37] 마지막 문장을 다시 말씀해 주시겠어요? 그 지능의 상당 부분이

[10:41] 운동 과제가 아닌... 죄송한데 무엇이라고 하셨나요?

[10:42] 제 관점에서는 강화학습의 많은 부분이

[10:45] 농구공 던지기 같은 운동적이고 단순한 과제들에 훨씬 가까운 것들이라고 봅니다.

[10:53] 하지만 인간이 문제해결 같은 많은 지능적 과제에 강화학습을 사용한다고는 생각하지 않아요.

[10:57] 그렇다고 해서 연구에서 그런 것을 하면 안 된다는 뜻은 아니지만,

[11:01] 단지 동물들이 그렇게 하거나 하지 않는다고 느낄 뿐입니다.

[11:05] 여러 가지 다른 아이디어들이 있어서 잠시 정리할 시간을 갖겠습니다.

[11:09] 관점을 이해하기 위해 명확히 할 수 있는 질문이 하나 있습니다.

[11:15] 진화가 사전 훈련이 하는 일과 같은 종류의 일을 한다고 제안하셨는데,

[11:18] 세상을 이해할 수 있는 무언가를 만든다는 의미에서 말이죠.

[11:24] 차이점은 진화는 인간의 경우에는

[11:28] 3기가바이트의 DNA를 통해 정량화되어야 한다는 것입니다. 이는 모델의 가중치와는 매우 다릅니다.

[11:37] 말 그대로 모델의 가중치는 뇌인데, 이는 분명히 정자와 난자에는 존재하지 않습니다.

[11:42] 그래서 성장해야 하는 거죠.

[11:46] 또한 뇌의 모든 시냅스에 대한 정보는 단순히

[11:50] DNA에 존재하는 3기가바이트에는 존재할 수 없습니다. 진화는 알고리즘을 찾는 것에 더 가까운 것 같습니다.

[11:55] 그 알고리즘이 평생 학습을 하는 거죠. 이제 아마도 평생 학습이

[12:00] 당신이 말씀하신 대로 강화학습과는 유사하지 않을 수도 있습니다.

[12:04] 이것이 당신이 말씀하신 것과 양립할 수 있나요, 아니면 반대하시나요?

[12:06] 그렇다고 생각합니다. 어떤 놀라운 압축이 일어나고 있다는 점에 동의합니다.

[12:09] 명백히 신경망의 가중치는 ATCG에 저장되지 않거든요. 극적인 압축이 있습니다.

[12:14] 일부 학습을 온라인으로 처리하는 학습 알고리즘들이 인코딩되어 있습니다.

[12:18] 그 점에 대해서는 확실히 동의합니다. 저는 훨씬 더 실용적인 마인드를 가지고 있다고 말하고 싶어요.

[12:23] 동물을 만들자는 관점에서 접근하지 않습니다.

[12:26] 유용한 것을 만들자는 관점에서 접근해요.

[12:28] 저는 안전모를 쓰고 있고, 단지 우리가 진화를 할 수는 없다는 것을 관찰하고 있을 뿐입니다.

[12:31] 그 방법을 모르거든요. 하지만 우리는 이런 유령들을 만들 수 있다는 것이 밝혀졌습니다.

[12:36] 인터넷 문서를 모방함으로써 영적인 존재들 말이에요. 이것은 작동합니다. 이것이 당신을

[12:43] 내장된 지식과 어떤 면에서 지능을 가진 무언가로 끌어올리는 방법입니다.

[12:48] 진화가 해온 것과 비슷합니다. 그래서 저는 사전 훈련을

[12:51] 이 형편없는 진화라고 부릅니다. 우리 기술과 사용 가능한 것들로

[12:56] 실질적으로 가능한 버전이죠. 강화학습 등을 할 수 있는 시작점에

[13:01] 도달하기 위해서요. 반대 관점을 좀 더 강하게 논증해보면,

[13:05] 서튼 인터뷰를 하고 이것에 대해 생각해본 후, 그에게는 중요한 요점이 있습니다.

[13:09] 진화는 우리에게 지식을 주지 않습니다. 실제로는 지식을 찾는

[13:14] 알고리즘을 제공하죠. 그리고 이는 사전 훈련과는 다른 것 같습니다.

[13:19] 아마도 사전 훈련이 더 잘 학습할 수 있는 종류의 개체를

[13:23] 구축하는 데 도움이 된다는 관점이 있을 것입니다. 메타 학습을 가르치므로

[13:28] 알고리즘을 찾는 것과 비슷하죠. 하지만 '진화는 우리에게 지식을,

[13:31] 사전 훈련은 우리에게 지식을'이라고 하면 그 비유는 무너집니다.

[13:35] 미묘하고 당신이 반박하는 게 맞다고 생각하지만, 기본적으로

[13:38] 사전 훈련이 하는 일은, 인터넷에 대한 다음 토큰 예측기를 얻고

[13:43] 그것을 신경망에 훈련시키는 것입니다. 이는 관련 없는 두 가지 일을 합니다.

[13:46] 첫 번째, 제가 지식이라고 부르는 이 모든 것을 습득합니다.

[13:51] 두 번째, 실제로 지능적이 됩니다. 인터넷의 알고리즘 패턴을 관찰함으로써

[13:55] 신경망 내부의 모든 작은 회로와 알고리즘을 부팅해서 문맥 내 학습과

[14:00] 같은 모든 것들을 수행합니다. 지식은 필요하지도 원하지도 않습니다.

[14:05] 이것이 아마도 전체적으로 신경망을 저해하고 있다고 생각합니다. 때때로

[14:09] 지식에 너무 의존하게 만들고 있기 때문입니다. 예를 들어, 에이전트들이

[14:13] 잘 못하는 한 가지는 인터넷에 존재하는 데이터 다양체에서 벗어나는 것입니다.

[14:17] 지식이나 기억이 적다면 아마 더 나을 것입니다.

[14:23] 앞으로 해야 할 일은 - 그리고 이는 연구 패러다임의 일부가 될 것입니다 -

[14:28] 지식의 일부를 제거하고 제가 인지적 핵심이라고 부르는 것을 유지하는 방법을 찾는 것입니다.

[14:34] 이는 지식에서 벗어났지만 알고리즘을 포함하고 지능의 마법과

[14:39] 문제 해결과 그 전략들을 포함하는 지능적 개체입니다.

[14:44] 거기에 정말 흥미로운 것들이 많네요. 문맥 내 학습부터 시작해봅시다. 이건

[14:48] 명백한 요점이지만, 명시적으로 말하고 심사숙고해볼 가치가 있다고 생각합니다.

[14:53] 이러한 모델들이 가장 지능적으로 보이는 상황 - 제가 그들과 대화하며

[14:58] '와, 정말로 반대편에 뭔가가 있어서 나에게 반응하며 생각하고 있구나'라고 느끼는 때는

[15:01] 실수를 하면 '아 잠깐, 그건 잘못된 생각 방식이야. 되돌아가자'라고 하는 것입니다.

[15:04] 이 모든 것이 맥락에서 일어나고 있습니다. 거기서 진짜 지능을

[15:10] 눈에 보이게 느낄 수 있습니다. 그 문맥 내 학습 과정은

[15:16] 사전 훈련의 경사 하강법에 의해 개발됩니다. 자발적으로 문맥 내 학습을 메타 학습하지만,

[15:21] 문맥 내 학습 자체는 경사 하강법이 아닙니다. 인간으로서 우리의

[15:26] 평생 지능이 일들을 할 수 있는 것이 진화에 의해 조건지어졌지만

[15:30] 우리 평생 동안의 학습은 다른 과정을 통해 일어나는 것과 같습니다.

[15:34] 그것에 완전히 동의하지는 않지만, 당신의 생각을 계속해보세요.

[15:36] 인컨텍스트 러닝이 경사하강법을 사용하지 않는다고 단정하기는 어렵습니다.

[15:41] 명시적인 경사하강법을 사용하지는 않습니다. 인컨텍스트 러닝은 토큰 윈도우 내에서의 패턴 완성입니다.

[15:47] 그런데 인터넷에는 엄청난 양의 패턴이 존재한다는 것이 핵심입니다.

[15:50] 맞습니다. 모델은 패턴을 완성하는 법을 학습하고, 이것이 가중치에 저장됩니다.

[15:53] 신경망의 가중치는 패턴을 발견하고 완성하려고 노력합니다.

[15:58] 신경망 내부에서 일종의 적응이 일어나는데, 이는 정말 신기하게도 인터넷에서 자연스럽게 나타나는 현상입니다.

[16:02] 단지 패턴이 많기 때문입니다.

[16:06] 인컨텍스트 러닝의 메커니즘을 살펴본 흥미로운 논문들이 있었다고 말씀드리고 싶습니다.

[16:10] 인컨텍스트 러닝이 신경망의 레이어 내부에서 소규모 경사하강법 루프를 실행할 가능성이 있다고 생각합니다.

[16:14] 특히 기억나는 논문이 하나 있는데요.

[16:17] 인컨텍스트 러닝을 사용해서 선형 회귀를 수행하는 연구였습니다.

[16:22] 신경망에 입력되는 데이터는 XY 쌍들입니다. XY, XY, XY처럼 한 직선 위에 있는 점들이죠.

[16:30] 그다음 X를 입력하면 Y를 예측하게 됩니다.

[16:35] 이런 방식으로 훈련된 신경망은 선형 회귀를 수행합니다.

[16:41] 일반적으로 선형 회귀를 실행할 때는 소규모 경사하강법 최적화기가 있어서

[16:46] XY를 보고, 오차를 계산하고, 가중치의 경사도를 계산해서 여러 번 업데이트합니다.

[16:50] 그런데 연구진들이 인컨텍스트 러닝 알고리즘의 가중치를 살펴보니

[16:54] 경사하강법 메커니즘과 유사한 점들을 발견했습니다.

[16:59] 사실 그 논문은 더 강력한 증거를 제시했는데, 신경망의 가중치를 직접 하드코딩해서

[17:03] 어텐션과 신경망의 모든 내부 구조를 통해 경사하강법을 수행하도록 만들었습니다.

[17:10] 이것이 제가 약간 반박하고 싶은 부분입니다. 인컨텍스트 러닝이 어떻게 작동하는지 누가 알겠습니까?

[17:14] 하지만 아마도 내부적으로 어떤 형태의 독특한 경사하강법을 수행하고 있을 것 같습니다.

[17:19] 그런 가능성이 있다고 생각합니다. 인컨텍스트 러닝을 하지 않는다고 하신 부분에 대해서만 이의를 제기한 것입니다.

[17:24] 실제로 무엇을 하고 있는지 누가 알겠습니까? 아마도 비슷한 일을 하고 있을지도 모르지만 확실하지 않습니다.

[17:28] 그렇다면 생각해볼 가치가 있습니다. 만약 인컨텍스트 러닝과 사전 훈련이 둘 다 경사하강법과 비슷한 것을 구현한다면

[17:34] 왜 인컨텍스트 러닝에서는 지속적 학습, 진짜 지능 같은 느낌을 받는 걸까요?

[17:39] 반면 사전 훈련만으로는 그런 느낌을 받지 못합니다. 그렇게 주장할 수도 있겠죠.

[17:44] 같은 알고리즘이라면 뭐가 다를 수 있을까요?

[17:49] 한 가지 방법으로 생각해볼 수 있는 것은

[17:53] 모델이 훈련에서 받는 정보당 얼마나 많은 정보를 저장하는가입니다.

[18:00] 사전 훈련을 보면, 예를 들어 Llama 3의 경우

[18:03] 15조 개의 토큰으로 훈련되었다고 생각합니다. 70B 모델을 보면

[18:10] 사전 훈련에서 보는 토큰당 0.07비트에 해당합니다.

[18:15] 모델의 가중치에 있는 정보와 읽는 토큰을 비교했을 때 말입니다.

[18:18] 반면 KV 캐시와 인컨텍스트 러닝에서 추가 토큰당 증가하는 정보량을 보면

[18:22] 약 320킬로바이트입니다. 이는 모델이 토큰당 흡수하는 정보량에서 3500만 배의 차이입니다.

[18:29] 이것이 관련이 있을지 궁금합니다.

[18:34] 동감합니다. 제가 보통 이렇게 표현하는데, 신경망 훈련 중에 일어나는 모든 일은

[18:39] 신경망의 지식은 훈련 시간에 일어난 일들의 희미한 기억일 뿐입니다.

[18:45] 그것은 압축이 극적이기 때문입니다. 15조 개의 토큰을 가져와서

[18:48] 몇십억 개의 매개변수로 이루어진 최종 신경망으로 압축하는 거죠.

[18:51] 당연히 엄청난 양의 압축이 일어나고 있습니다.

[18:54] 그래서 저는 이를 인터넷 문서들의 희미한 기억이라고 부릅니다.

[18:57] 반면에 신경망의 컨텍스트 윈도우에서 일어나는 일들은

[19:00] 모든 토큰을 연결하고 KV 캐시 표현들을 구축하는 것으로, 매우

[19:04] 직접적으로 신경망이 접근할 수 있습니다. 그래서 저는 KV 캐시와

[19:08] 테스트 시간에 일어나는 것들을 작업 기억에 더 가깝다고 비교합니다.

[19:11] 컨텍스트 윈도우에 있는 모든 것들은 신경망이 매우 직접적으로 접근할 수 있습니다.

[19:16] LLM과 인간 사이에는 항상 이런 놀라운 유사점들이 있습니다.

[19:21] 우리가 직접적으로 인간의 뇌를 만들려고 하지 않는데도 이런 유사점이 나타나서 놀랍습니다.

[19:25] 우리는 그냥 이것이 작동한다는 것을 발견하고 하고 있을 뿐입니다.

[19:27] 하지만 가중치에 있는 모든 것은

[19:30] 1년 전에 읽은 것의 희미한 기억입니다. 테스트 시간에

[19:36] 컨텍스트로 주어지는 모든 것은 직접적으로 작업 기억에 있습니다.

[19:40] 이것은 사물을 생각하는 매우 강력한 유추입니다.

[19:42] 예를 들어, LLM에게 어떤 책과 그 안에서 일어난 일에 대해 물어볼 때, 닉 레인의

[19:46] 책이나 그런 것들 말이죠. LLM은 대체로 정확한 내용을 제공할 것입니다.

[19:49] 하지만 전체 챕터를 주고 질문을 하면, 훨씬 더 나은 결과를 얻을 수 있습니다.

[19:53] 왜냐하면 그것이 이제 모델의 작업 기억에 로드되었기 때문입니다.

[19:56] 아주 긴 설명이었지만, 저도 동의하며 그것이 그 이유입니다.

[20:00] 한 걸음 물러서서, 우리가 이러한 모델들로

[20:03] 복제하는 데 가장 실패한 인간 지능의 부분은 무엇일까요?

[20:12] 정말 많습니다. 아마 한 가지 생각해볼 방법은, 이것이 최선의 방법인지 모르겠지만,

[20:17] 다시 이런 불완전한 유추를 하자면, 우리는 트랜스포머 신경망으로 우연히 성공했습니다.

[20:22] 이것은 극도로 강력하고 매우 일반적입니다.

[20:27] 트랜스포머를 오디오, 비디오, 텍스트나 원하는 어떤 것에든 훈련시킬 수 있고,

[20:31] 그것은 그냥 패턴을 학습하고 매우 강력하며, 정말 잘 작동합니다.

[20:35] 그것은 저에게 이것이 어떤 피질 조직의 일부라는 것을 거의 나타내는 것 같습니다.

[20:38] 그런 것과 같습니다. 왜냐하면 피질도 유명하게 매우 가소성이 있기 때문입니다.

[20:42] 뇌의 일부분들을 다시 연결할 수 있습니다. 약간 끔찍한 실험들이 있었는데

[20:48] 시각 피질을 청각 피질에 다시 연결하는 실험이었고, 이 동물은 잘 학습했습니다.

[20:54] 그래서 저는 이것이 피질 조직이라고 생각합니다. 우리가 신경망 내에서 추론과

[20:58] 계획을 할 때, 사고 모델들을 위한 추론 추적을 할 때,

[21:04] 그것은 전전두피질과 같은 것입니다. 아마 그것들은 작은 체크표시들과 같을 것입니다.

[21:11] 하지만 여전히 탐구되지 않은 많은 뇌 부분들과 핵들이 있다고 생각합니다.

[21:15] 예를 들어, 강화학습으로 모델들을 미세조정할 때 기저핵이 약간의 강화학습을 하고 있습니다.

[21:18] 하지만 해마는 어디에 있을까요? 그것이 무엇인지 명확하지 않습니다.

[21:23] 일부 부분들은 아마 중요하지 않을 것입니다. 아마 소뇌는 인지에

[21:26] 중요하지 않고, 생각에도 중요하지 않아서 일부는 건너뛸 수 있을 것입니다.

[21:29] 하지만 여전히 편도체나 모든 감정과 본능들이 있다고 생각합니다.

[21:33] 뇌에는 아마 매우 오래된 다른 핵들이 많이 있을 것입니다.

[21:36] 우리가 아직 실제로 복제하지 못했다고 생각합니다. 인간 뇌의 아날로그를 만드는 것을 추구해야 하는지 모르겠습니다.

[21:41] 저는 본질적으로 엔지니어입니다.

[21:48] 아마 이 질문에 답하는 다른 방법은 이 시스템을 인턴으로 고용하지는 않을 것이라는 점입니다.

[21:52] 우리 모두가 모델과 대화할 때 직관적으로 느끼는 많은 인지적 결함들을 가지고 있기 때문에

[21:55] 많은 부분이 빠져있습니다. 아직 완전하지 않습니다.

[22:00] 아직 모든 뇌 부위가 체크되지 않았다고 볼 수 있습니다.

[22:04] 이것은 이런 문제들이 얼마나 빨리 해결될지에 대해 생각해보는 질문과 관련이 있을 수 있습니다.

[22:10] 때때로 사람들은 지속 학습에 대해

[22:13] "이 능력을 쉽게 복제할 수 있다. 인컨텍스트 러닝이 사전 훈련의 결과로 자발적으로 나타났듯이

[22:19] 더 긴 기간에 걸친 지속 학습도 모델이 더 긴 기간에 걸쳐 정보를 기억하도록 인센티브를 받으면

[22:24] 자발적으로 나타날 것이다. 또는 한 세션보다 긴 기간에 걸쳐서 말이다."

[22:30] 따라서 외부 루프 강화학습이 있고 그 외부 루프 내에 많은 세션이 있다면, 스스로를 미세 조정하는 지속 학습이나

[22:39] 외부 메모리에 쓰는 것 등이 자발적으로 나타날 것이라고 말합니다.

[22:46] 그런 것들이 그럴듯하다고 생각하시나요? 저는 그게 얼마나 그럴듯한지에 대한 사전 지식이 없습니다.

[22:49] 그런 일이 일어날 가능성은 얼마나 될까요?

[22:53] 저는 그것에 완전히 공감하지는 않습니다.

[22:55] 이 모델들은 부팅할 때 윈도우에 토큰이 없으면 항상 원래 위치에서 다시 시작합니다.

[22:59] 그래서 그런 관점에서 어떤 모습일지 모르겠습니다.

[23:03] 인간과 몇 가지 유추를 해보자면

[23:09] 대략적으로 구체적이고 생각해볼 가치가 있다고 생각하기 때문입니다.

[23:13] 깨어있을 때 하루 종일 일어나는 것들의 컨텍스트 윈도우를 구축하고 있는 것 같습니다.

[23:17] 하지만 잠들 때

[23:19] 마법 같은 일이 일어나는데, 그 컨텍스트 윈도우가 그대로 남아있지 않는다고 생각합니다.

[23:23] 뇌의 가중치로 증류되는 과정이 있습니다.

[23:27] 이것은 수면 중에 일어나고 이런 모든 것들이 있습니다.

[23:30] 대형 언어 모델에는 이와 동등한 것이 없습니다.

[23:35] 제게는 지속 학습에 대해 말할 때 부재한 것과 더 인접합니다.

[23:40] 이 모델들은 실제로 일어난 일을 가져와서 강박적으로 분석하고, 생각하고, 일부 합성 데이터 생성 과정을 수행하고

[23:47] 그것을 다시 가중치로 증류하는 증류 단계가 없습니다.

[23:51] 그리고 아마 개인마다 특정한 신경망을 가질 수도 있습니다. LoRA일 수도 있고, 전체 가중치 신경망이 아닐 수도 있습니다.

[24:01] 변경되는 가중치의 작은 희소 부분집합일 뿐입니다.

[24:05] 하지만 우리는 매우 긴 맥락을 가진 이런 개체들을 만드는 방법을 만들고 싶습니다.

[24:10] 컨텍스트 윈도우가 매우 길어지기 때문에 컨텍스트 윈도우에만 남아있는 것이 아닙니다.

[24:14] 아마 매우 정교한 희소 어텐션이 있을 수 있습니다.

[24:17] 하지만 여전히 인간은 분명히 그 지식 중 일부를 가중치로 증류하는 과정이 있다고 생각합니다.

[24:22] 우리는 그것이 없습니다. 또한 인간은 매우 정교한 희소 어텐션 체계를 가지고 있다고 생각하는데

[24:27] 우리가 이것의 초기 징후를 보기 시작한다고 생각합니다.

[24:33] DeepSeek v3.2가 방금 출시됐는데, 스파스 어텐션 기능이 있더라고요. 이게 바로 매우 긴 컨텍스트 윈도우를 가능하게 하는 방법 중 하나죠.

[24:38] 우리가 진화를 통해 발견된 많은 인지적 트릭들을 완전히 다른 과정으로 다시 구현하고 있는 것 같아요.

[24:44] 하지만 인지적으로는 비슷한 아키텍처로 수렴하게 될 거예요.

[24:47] 10년 후에도 여전히 트랜스포머 같은 구조일 거라고 생각하세요? 다만 훨씬 더 개선된

[24:51] 어텐션과 더 스파스한 MLP 등을 가진 형태로요?

[24:55] 제가 생각하는 방식은 시간에 따른 변환 불변성이에요. 10년 전, 2015년을 생각해보죠.

[25:00] 2015년에는 주로 합성곱 신경망이 있었고, 잔차 네트워크가 막 나온 시점이었어요.

[25:05] 놀랍도록 비슷하긴 하지만, 여전히 꽤 많이 달랐죠. 트랜스포머는 아직 없었고,

[25:10] 트랜스포머에 대한 현대적인 개선들도 없었어요.

[25:21] 변환 동변성을 통해 10년 후에도 확신할 수 있는 것들이 몇 가지 있을 것 같은데,

[25:27] 여전히 순전파 역전파로 거대한 신경망을 훈련시키고

[25:31] 기울기 하강법으로 업데이트할 거예요. 다만 조금 다르게 보일 수도 있고,

[25:36] 모든 것이 훨씬 더 커질 거예요. 최근에 1989년까지 거슬러 올라가 봤는데

[25:42] 몇 년 전 재미있는 실험을 했어요. 얀 르쿤의 1989년 합성곱 네트워크를 재현해본 거죠.

[25:48] 제가 아는 한 기울기 하강법으로 훈련된 최초의 신경망이었어요.

[25:52] 숫자 인식에 대한 현대적 신경망 기울기 하강법 훈련 말이죠.

[25:57] 이걸 어떻게 현대화할 수 있을지 궁금했어요.

[26:00] 이 중에서 알고리즘은 얼마나 되고, 데이터는 얼마나 되고,

[26:01] 컴퓨팅과 시스템이 차지하는 진보는 얼마나 될까요? 33년 시간여행을 통해서

[26:06] 학습 오류를 절반으로 줄일 수 있었어요. 알고리즘으로 33년 시간여행을 하면,

[26:13] 1989년에 얀 르쿤이 한 것을 조정해서 오류를 절반으로 줄일 수 있었어요.

[26:18] 하지만 더 큰 성과를 얻으려면 훨씬 더 많은 데이터를 추가해야 했고,

[26:21] 훈련 세트를 10배로 늘려야 했고, 더 많은 계산 최적화도 추가해야 했어요.

[26:25] 드롭아웃과 다른 정규화 기법들로 훨씬 더 오래 훈련해야 했죠.

[26:30] 이 모든 것들이 동시에 개선되어야 해요. 아마 훨씬 더 많은 데이터를 갖게 될 거고,

[26:35] 훨씬 더 좋은 하드웨어를 갖게 될 거예요.

[26:37] 아마 더 좋은 커널과 소프트웨어, 더 좋은 알고리즘도 갖게 될 거고요.

[26:40] 이 모든 것들이... 마치 어느 하나도

[26:43] 너무 앞서지 않는 것 같아요. 모두 놀랍도록 균등해요. 이게 한동안 지속된 트렌드예요.

[26:48] 질문에 답하자면, 오늘날 일어나고 있는 것과 알고리즘적으로 차이가 있을 거라 예상해요.

[26:54] 하지만 매우 오랫동안 지속된 것들 중 일부는

[26:58] 아마 여전히 있을 거라고 생각해요.

[27:01] 여전히 기울기 하강법으로 훈련된 거대한 신경망일 거예요. 그게 제 추측이에요.

[27:05] 놀라운 건 이 모든 것들을 합쳐도 30년의 진보로 오류가 절반밖에 줄지 않았다는 거예요...

[27:13] 절반도 많이 줄어든 거일 수도 있어요. 오류를 절반으로 줄인다는 것은 실제로...

[27:18] 절반은 큰 변화죠. 하지만 충격적이었던 건 모든 것이 전반적으로 개선되어야 한다는 거예요:

[27:24] 아키텍처, 옵티마이저, 손실 함수. 이 모든 것이 전반적으로 계속 개선되어 왔어요.

[27:28] 그래서 이런 모든 변화들이 계속 활발할 거라고 예상해요.

[27:31] 네. 저도 나노챗에 대해 비슷한 질문을 하려고 했었습니다.

[27:35] 최근에 직접 코딩하셨으니까, 챗봇을 만드는 과정의 모든 단계가 기억에 생생할 텐데요.

[27:40] GPT-2에서 나노챗으로 가는 과정에서 '딱히 하나의 결정적인 요소는 없었다'는 비슷한 생각을 하셨는지 궁금합니다.

[27:46] 그 경험에서 얻은 놀라운 깨달음들이 있다면 무엇인가요?

[27:52] 나노챗을 만들면서요? 나노챗은 제가 공개한 레포지토리입니다.

[27:55] 어제였나 그제였나? 기억이 안 나네요.

[27:59] 수면 부족이 얼마나 심했는지 보이네요...

[28:03] ChatGPT 클론을 만드는 전체 파이프라인을 end-to-end로 다루는 가장 간단하고 완전한 레포지토리를 만들려고 했습니다.

[28:09] 개별 단계가 아니라 모든 단계를 포함했어요. 그런데 단계가 정말 많더라고요.

[28:12] 예전에 개별 단계들을 작업해서 알고리즘적으로 어떻게 하는지 보여주는 작은 코드 조각들을 공개한 적이 있어요.

[28:18] 간단한 코드로 말이죠. 하지만 이번에는 전체 파이프라인을 다뤘습니다.

[28:22] 학습 측면에서는, 뭔가 새로 배운 게 있다고 할 수는 없을 것 같아요.

[28:25] 어떻게 만드는지는 이미 머릿속에 있었거든요. 이건 그냥 기계적으로 만들고 사람들이 배우고 유용하다고 느낄 수 있을 만큼 깔끔하게 정리하는 과정이었어요.

[28:32] 그럼 사람들이 이걸로 학습하는 가장 좋은 방법은 뭔가요?

[28:36] 코드를 전부 지우고 처음부터 다시 구현해보는 건가요, 아니면 수정을 가해보는 건가요?

[28:40] 좋은 질문이네요. 기본적으로 전체 파이프라인을 다루는 8,000줄 정도의 코드입니다.

[28:48] 아마 오른쪽 모니터에 띄워놓는 걸 추천하겠어요.

[28:53] 모니터가 두 개 있다면 오른쪽에 놓고,

[28:54] 처음부터 직접 만들어보세요. 복사-붙여넣기는 금지, 참고는 허용, 복사-붙여넣기는 금지입니다.

[28:59] 제가 한다면 그렇게 할 것 같아요.

[29:03] 하지만 이 레포지토리 자체가 꽤 거대한 괴물이기도 해요.

[29:07] 이런 코드를 작성할 때는 위에서 아래로 쓰는 게 아니라, 덩어리 단위로 만들고 그 덩어리들을 키워나가는 거거든요.

[29:11] 그런 정보는 없어요. 어디서 시작해야 할지 모를 거예요.

[29:14] 그래서 최종 레포지토리만 있으면 안 되고, 레포지토리를 만드는 과정이 필요해요.

[29:18] 복잡한 덩어리 성장 과정이거든요. 그런 부분은 아직 없어요.

[29:23] 아마 이번 주 후반에 추가하고 싶어요. 동영상 같은 형태로 말이죠.

[29:27] 대략적으로 그렇게 하려고 해요. 직접 만들어보되, 복사-붙여넣기는 허용하지 않는 거죠.

[29:40] 지식에는 두 가지 종류가 있는 것 같아요. 고수준의 표면적 지식이 있지만, 뭔가를 처음부터 만들 때는 자신이 이해하지 못하는 것과 직면하게 되죠.

[29:49] 그리고 자신이 이해하지 못한다는 것조차 모르고 있던 거예요.

[29:53] 항상 더 깊은 이해로 이어집니다.

[29:55] 만들기가 유일한 방법이에요.

[29:59] 만들 수 없다면 이해한 게 아니라는 거죠.

[30:04] 파인만의 말인 것 같은데, 저는 항상 이걸 굳게 믿어왔어요.

[30:09] 제대로 정리되지 않은 미세한 것들이 너무 많거든요.

[30:13] 실제로는 지식이 없으면서 있다고 생각하는 거죠.

[30:19] 그러니까 블로그 포스트도 쓰지 말고, 슬라이드도 만들지 말고, 그런 건 하지 마세요.

[30:23] 코드를 만들고, 정리하고, 작동하게 만드세요.

[30:25] 그게 유일한 방법이에요. 그렇지 않으면...

[30:31] 지식이 부족한 거죠. 코딩 모델이 이 저장소를 구축하는 데

[30:35] 별로 도움이 되지 않았다고 트윗하셨는데, 왜 그랬는지 궁금합니다.

[30:43] 저장소를 구축하는 데 한 달이 조금 넘게 걸렸어요.

[30:46] 지금 사람들이 코드와 상호작용하는 방식에는 크게 세 가지가 있어요.

[30:50] 일부는 LLM을 완전히 거부하고 처음부터 직접 코딩하죠.

[30:54] 하지만 이건 더 이상 올바른 방법이 아닐 거예요.

[30:58] 제가 속한 중간 단계는 여전히 많은 부분을 처음부터 작성하지만,

[31:02] 모델에서 제공하는 자동완성 기능을 활용하는 것이에요.

[31:06] 작은 부분을 작성하기 시작하면 자동완성해주고,

[31:10] 탭을 누르면 됩니다. 대부분 정확하지만,

[31:12] 때로는 틀리기도 하고, 그럴 때 수정하죠. 하지만 여전히

[31:16] 작성하는 코드의 설계자는 본인입니다. 그리고 바이브 코딩이 있어요.

[31:21] "안녕, 이것저것 구현해줘"라고 하고 엔터를 누르면 모델이 해주는 거죠. 이게 에이전트예요.

[31:28] 에이전트는 특정한 상황에서 작동하고, 저도 특정 상황에서만 사용해요.

[31:33] 하지만 이 모든 것이 사용 가능한 도구이고, 무엇을 잘하는지,

[31:37] 무엇을 못하는지, 언제 사용해야 하는지 배워야 해요.

[31:40] 예를 들어 에이전트는 보일러플레이트 작업에 꽤 좋습니다.

[31:44] 복사-붙여넣기 같은 보일러플레이트 코드에는 매우 좋아요.

[31:48] 인터넷에서 자주 나타나는 것들에도 매우 좋습니다. 이런 모델들의 훈련 세트에 많은 예시가 있거든요.

[31:55] 모델들이 잘할 수 있는 기능들의 특징이 있어요.

[31:58] 나노챗은 그런 예시가 아니라고 생각해요. 꽤 독특한 저장소거든요.

[32:03] 제가 구조화한 방식의 코드가 그렇게 많지 않아요. 보일러플레이트 코드가 아니에요.

[32:08] 지적으로 집약적인 코드라고 할까요. 모든 것이 매우 정확하게 배치되어야 해요.

[32:13] 모델들에는 인지적 결함이 너무 많아요. 한 예로, 제 코드를 계속 오해했어요.

[32:22] 인터넷에서 일반적으로 하는 모든 방식들에 대한 기억이 너무 많아서

[32:26] 제가 채택하지 않은 방식들 말이에요. 예를 들어 모델들은—

[32:31] 자세한 내용까지 다 말하고 싶지는 않지만—계속 제가 일반적인 코드를 작성한다고 생각했는데, 그게 아니거든요.

[32:36] 예시를 하나 들어볼까요? 8개의 GPU가 있어서

[32:41] 모두 순전파와 역전파를 하고 있어요.

[32:44] 이들 간에 기울기를 동기화하는 방법은 PyTorch의 분산 데이터 병렬 컨테이너를 사용하는 것인데,

[32:49] 역전파를 하면서 자동으로 통신하고 기울기를 동기화해줘요.

[32:52] 저는 DDP를 사용하지 않았어요. 사용하고 싶지 않았거든요. 필요하지 않으니까요.

[32:56] 그것을 버리고 옵티마이저의 스텝 안에 들어가는 제 자체 동기화 루틴을 작성했어요.

[33:02] 모델들은 저에게 DDP 컨테이너를 사용하라고 계속 시도했어요. 매우

[33:06] 걱정스러워했죠. 너무 기술적이긴 하지만, 그 컨테이너를 사용하지 않은 이유는

[33:11] 필요 없었고 그와 비슷한 것을 커스텀으로 구현했거든요.

[33:14] 그들은 제가 자체 구현한 것을 내재화할 수 없었어요.

[33:16] 그것을 극복할 수 없었죠. 계속 스타일을 망가뜨리려고 했어요. 너무 방어적이에요.

[33:23] 온갖 try-catch 문을 만들어요. 계속 프로덕션 코드베이스를 만들려고 하는데,

[33:27] 제 코드에는 여러 가정이 있고, 그래도 괜찮거든요.

[33:31] 이런 불필요한 것들이 필요 없어요. 이런 식으로 코드베이스를 비대하게 만들고 있다는 느낌이 들어요.

[33:36] 복잡성을 불필요하게 늘리고, 계속 잘못 이해하고 있어요.

[33:38] deprecated된 API를 자꾸 사용하고요. 완전히 엉망이에요. 전혀 도움이 되지 않아요. 제가 들어가서

[33:46] 정리할 수는 있지만, 실질적으로 도움이 되지 않아요. 또한 영어로 원하는 걸 타이핑해서 설명하는 것도

[33:50] 번거로워요. 타이핑할 게 너무 많거든요.

[33:54] 제가 원하는 코드 부분으로 직접 이동해서, 코드가 들어가야 할 위치로 가서

[33:58] 처음 몇 글자만 타이핑하기 시작하면, 자동완성이 바로 알아차리고 코드를 제공해줘요.

[34:03] 이게 원하는 것을 명시하는 데 매우 높은 정보 대역폭을 가진 방법이에요.

[34:07] 원하는 코드 위치를 가리키고, 처음 몇 글자를 타이핑하면

[34:10] 모델이 완성해줍니다. 제가 말하고자 하는 것은, 이런 모델들이

[34:15] 스택의 특정 부분에서는 좋다는 거예요. 제가 모델을 사용한 두 가지 예시가 있는데

[34:22] 이게 설명하기에 좋은 사례라고 생각해요. 하나는 리포트를 생성할 때였어요.

[34:26] 그건 더 boilerplate 성격이어서, 그런 것들 중 일부를 vibe-coding으로 처리했어요.

[34:30] 미션 크리티컬한 작업이 아니었고, 잘 작동했기 때문에 괜찮았어요.

[34:34] 다른 경우는 토크나이저를 Rust로 다시 작성할 때였어요.

[34:37] 저는 Rust를 그리 잘 못해요. Rust는 아직 익숙하지 않거든요.

[34:41] 그래서 Rust 코드를 작성할 때 약간의 vibe coding이 있었어요.

[34:45] 하지만 제가 완전히 이해하고 있는 Python 구현이 있었고, 단지 그것을

[34:49] 더 효율적인 버전으로 만들고 있었고, 테스트도 있어서 안전하게 작업할 수 있었어요.

[34:56] 이런 모델들은 익숙하지 않은 언어나 패러다임에 대한 접근성을 높여줘요.

[35:02] 그런 면에서도 매우 도움이 된다고 생각해요. 세상에는 Rust 코드가 엄청 많고

[35:06] 모델들이 꽤 잘해요. 제가 그에 대해 많이 모르는 상황에서

[35:09] 모델들이 매우 유용했어요. 이 질문이 정말 흥미로운 이유는

[35:12] 사람들이 AI가 폭발적으로 발전해서 초지능에

[35:19] 빠르게 도달할 거라는 주요 시나리오가 AI가 AI 엔지니어링과 AI 연구를 자동화한다는 것이기 때문이에요.

[35:25] Claude Code로 전체 애플리케이션을 만들 수 있다는 사실을 보고

[35:27] CRUD 애플리케이션을 처음부터 만들고 생각하죠, '만약 OpenAI와

[35:32] DeepMind 등에서 같은 역량을 가진다면, 천 명의 당신이나 백만 명의 당신이

[35:38] 병렬로 작은 아키텍처 개선사항들을 찾아낸다고 상상해보세요.' 당신이 이것이

[35:43] 그들이 비대칭적으로 못하는 분야라고 말하는 걸 듣는 것은 정말 흥미로워요.

[35:48] 2027년형 AI 폭발이 곧 일어날 가능성을 예측하는 데

[35:53] 꽤 관련이 있어요. 좋은 지적이고, 제 타임라인이 좀 더 긴 이유를 짚어주시네요.

[35:58] 맞아요. 그들은 이전에 작성된 적이 없는 코드에는 그리 좋지 않아요. 아마 그렇게

[36:04] 표현할 수 있을 것 같아요. 바로 우리가 이런 모델들을 구축할 때 달성하려는 것이죠.

[36:07] 아주 순진한 질문이지만, 당신이 nanochat에 추가하고 있는 아키텍처 개선사항들은

[36:14] 어딘가 논문에 있는 거 맞나요? 심지어 어딘가 레포에도 있을 수도 있고요.

[36:20] 당신이 'RoPE 임베딩 추가해줘' 같은 말을 할 때마다 그들이 그것을

[36:25] 통합하지 못하고 잘못된 방식으로 하는 게 놀라운가요?

[36:29] 어려워요. 그들은 알지만, 완전히 알지는 못해요. 그것을 어떻게 완전히 통합할지 모르거든요.

[36:34] 레포지토리와 당신의 스타일, 코드, 그리고 당신만의 특별한 것들과

[36:37] 당신이 하고 있는 일들이 레포지토리의 모든 가정들과 어떻게 맞아떨어지는지를 이해하죠.

[36:42] 어느 정도 지식은 가지고 있지만, 아직은

[36:46] 모든 것을 통합하고 이해할 수 있는 단계까지는 도달하지 못했어요. 많은 부분이 계속 개선되고 있습니다.

[36:54] 현재 제가 사용하는 최첨단 모델은 GPT-5 Pro인데,

[36:57] 매우 강력한 모델이에요. 시간이 20분 정도 있다면,

[37:01] 전체 레포를 복사해서 GPT-5 Pro라는 오라클에게 몇 가지 질문을 던지죠.

[37:06] 종종 나쁘지 않고, 1년 전에 존재했던 것과 비교하면 놀랍도록 좋아요.

[37:11] 전반적으로 보면 모델들이 아직 완성된 단계는 아니에요. 업계가 너무

[37:20] 성급하게 도약하려 하고 있고, 이게 대단한 것인 양 가장하려 하는데, 그렇지 않아요. 조잡한 수준이에요. 그들은

[37:27] 현실을 받아들이지 못하고 있고, 아마 자금조달을 하려는 건지 모르겠어요.

[37:29] 무슨 일이 벌어지고 있는지 확실하지 않지만, 우리는 중간 단계에 있어요. 모델들은

[37:33] 놀랍긴 하지만 여전히 많은 작업이 필요해요. 지금으로서는 자동완성이 제게 딱 맞는 지점이에요.

[37:38] 하지만 때로는 특정 종류의 코드에 대해서는 LLM 에이전트를 사용하기도 해요.

[37:43] 여기서 정말 흥미로운 또 다른 이유가 있어요. 프로그래밍의 역사를 통틀어

[37:48] 컴파일러, 린팅, 더 나은 프로그래밍 언어 등 많은 생산성 개선이 있었는데, 이들은

[37:55] 프로그래머의 생산성을 높였지만 폭발적인 성장으로 이어지지는 않았어요.

[38:00] 그것은 자동완성 탭과 매우 비슷하게 들리고, 이 다른

[38:04] 범주는 단지 프로그래머의 자동화일 뿐이에요. 흥미롭게도 당신은 더 많이 보고 있어요

[38:09] 더 나은 컴파일러 같은 역사적 유사성의 범주에서.

[38:13] 아마 이것이 다른 생각으로 이어질 것 같아요. 저는 AI가 어디서 시작되고 끝나는지

[38:19] 구별하기가 어려워요. 왜냐하면 AI를 근본적으로

[38:23] 컴퓨팅의 매우 근본적인 확장으로 보고 있기 때문이에요. 이런 재귀적인

[38:28] 자기 개선이나 프로그래머 속도 향상의 연속선을 처음부터 봐요: 코드 에디터,

[38:37] 구문 하이라이팅, 심지어 데이터 타입 검사 같은 타입 검사까지—모든

[38:44] 이런 도구들을 우리가 서로를 위해 만들었어요. 심지어 검색 엔진도요.

[38:48] 검색 엔진이 왜 AI의 일부가 아닐까요? 랭킹이 AI잖아요. 구글도 초기부터

[38:55] 구글 검색 엔진을 하는 AI 회사로 스스로를 생각했는데, 그건 완전히 맞는 말이에요.

[38:59] 저는 다른 사람들보다 훨씬 더 연속선상에서 보고 있고, 경계를 그어야 하는 게 어려워요.

[39:04] 지금 우리는 훨씬 더 나은 자동완성을 얻고 있고, 또한

[39:07] 이런 반복적인 것들인 에이전트들도 얻고 있는데, 가끔씩 궤도를 벗어나기도 해요.

[39:13] 지금 일어나고 있는 일은 인간이 점진적으로 저수준 작업을 조금씩 덜 하게 되는 거예요.

[39:18] 컴파일러가 있으니까 어셈블리 코드를 직접 작성하지 않죠.

[39:20] 컴파일러가 제 C 고급 언어를 가져다가 어셈블리 코드를 작성해 줄 거예요.

[39:23] 우리는 매우, 매우 천천히 스스로를 추상화하고 있어요. 제가 '자율성 슬라이더'라고 부르는 게 있는데,

[39:28] 점점 더 많은 것들이 자동화되고 있어요—어떤 시점에서든 자동화될 수 있는 것들이—그리고 우리는

[39:32] 점점 더 적은 일을 하면서 자동화 위의 추상화 계층에서 스스로를 끌어올리고 있어요.

[40:53] RL에 대해 좀 얘기해봐요. 당신이 이것에 대해

[40:56] 매우 흥미로운 트윗을 했더군요. 개념적으로, 우리는 이것을 어떻게 생각해야 할까요?

[41:00] 인간이 환경과 상호작용하면서 풍부한 세계 모델을 구축하는 방식과

[41:07] 에피소드 마지막의 최종 보상과 거의 관계없이 보이는 방식에 대해 어떻게 생각하시나요?

[41:13] 누군가가 사업을 시작해서 10년 후에

[41:17] 사업의 성공 여부를 알게 된다면, 우리는 그 사람이 많은 지혜와 경험을 얻었다고 말합니다.

[41:22] 하지만 지난 10년간 일어난 모든 일의 로그 확률이

[41:25] 가중치가 높아지거나 낮아지는 것은 아닙니다. 훨씬 더 의도적이고

[41:29] 풍부한 일이 일어나고 있어요. ML에서의 유사 사례는 무엇이고

[41:33] 현재 LLM으로 하는 일과 어떻게 비교될까요? 제가 말씀드리고 싶은 것은 인간은

[41:36] 강화학습을 사용하지 않는다는 겁니다. 완전히 다른 방식을 사용한다고 생각해요.

[41:42] 강화학습은 일반인들이 생각하는 것보다 훨씬 더 나쁩니다.

[41:48] 강화학습은 끔찍해요. 단지 이전에 가지고 있던 모든 것들이

[41:53] 훨씬 더 나빴기 때문입니다. 이전에는 단지 사람을 모방하기만 했거든요. 그래서 온갖 문제가 있었죠.

[41:59] 강화학습에서는, 예를 들어 수학 문제를 푸는 경우를 생각해보죠. 매우 간단하니까요.

[42:04] 수학 문제가 주어지고 해답을 찾으려고 합니다.

[42:08] 강화학습에서는 먼저 많은 것들을 병렬로 시도해보죠.

[42:13] 문제가 주어지면 수백 가지 다른 시도를 해봅니다. 이런 시도들은 복잡할 수 있어요.

[42:18] "이것도 해보고, 저것도 해보고, 이건 안 되네, 저것도 안 되네" 이런 식으로요.

[42:22] 그러다가 답을 얻을 수도 있죠. 그러면 정답지를 확인해서

[42:25] "아, 정답은 이거구나"라고 확인합니다. 그러면 이것, 이것,

[42:30] 그리고 저것이 정답을 맞혔지만 나머지 97개는 틀렸다는 걸 알게 됩니다.

[42:33] 강화학습이 하는 일은 정말 잘 작동한 것들로 가서

[42:37] 그 과정에서 했던 모든 일, 모든 토큰에 가중치를 높여서 "이거 더 해라"라고 하는 거예요.

[42:42] 문제는 사람들이 추정기의 분산이 높다고 말하겠지만

[42:46] 그냥 노이즈가 많은 거예요. 정답에 도달한 해답의 모든 작은 조각들이

[42:53] 올바른 행동이었다고 거의 가정하는 건데, 이건 사실이 아니에요.

[42:56] 올바른 해답에 도달하기까지 잘못된 길로 갔을 수도 있거든요.

[43:00] 정답에 도달했다면, 잘못했던 모든 일들도

[43:04] "이거 더 해라"고 가중치가 높아집니다. 끔찍해요. 노이즈예요. 이 모든

[43:08] 작업을 했는데 마지막에 "아, 맞혔구나"라는 단일 숫자만 얻게 되죠.

[43:14] 그것을 바탕으로 전체 경로를 가중치 높이거나 낮추는 방식으로 평가합니다.

[43:19] 제가 좋아하는 표현은 빨대로 감독 신호를 빨아들이는 것 같다는 거예요.

[43:22] 1분간의 롤아웃이 될 수 있는 모든 이 작업을 했는데

[43:24] 최종 보상 신호의 감독 정보를 빨대로 빨아들여서 전체 경로에 브로드캐스트하고 그것을 사용해서 경로의 가중치를 높이거나 낮춘다는 거예요.

[43:33] 정말 바보같고 미친 일이죠. 인간은 절대 이렇게 하지 않아요.

[43:37] 첫째, 인간은 수백 번의 롤아웃을 하지 않습니다.

[43:39] 둘째, 사람이 해답을 찾으면 꽤 복잡한 검토 과정을 거쳐

[43:43] "이 부분은 잘했고, 이 부분은 잘 못했다"고 생각합니다.

[43:51] 아마 이렇게 하거나 저렇게 해야겠다고 생각하죠. 이런 것들을 곰곰이 생각해보는 거예요. 현재의 LLM에는

[43:55] 이런 기능이 전혀 없어요. 그에 상응하는 것이 없습니다. 하지만 이런 시도를 하는 논문들이

[44:00] 나오기 시작하는 걸 보고 있어요. 이 분야의 모든 사람들에게 명백한 문제이기 때문이죠.

[44:05] 그런데 처음 모방 학습은 정말 놀랍고 기적적이고 대단했어요.

[44:09] 인간을 모방해서 파인튜닝할 수 있다는 것 자체가 믿을 수 없었거든요. 처음에는

[44:14] 기본 모델만 있었어요. 기본 모델은 자동완성이에요. 당시에는 제게도

[44:18] 명확하지 않았고, 배워야 했죠. 저를 충격에 빠뜨린 논문은 InstructGPT였어요.

[44:24] 자동완성인 사전 훈련된 모델을 가져와서

[44:28] 대화처럼 보이는 텍스트로 파인튜닝하기만 하면, 모델이 매우 빠르게

[44:32] 대화형으로 적응하면서도 사전 훈련의 모든 지식을 유지한다는 걸 보여줬거든요.

[44:36] 이게 정말 충격적이었어요. 스타일적으로 이렇게 빨리 조정하고

[44:41] 그런 종류의 데이터로 몇 번의 파인튜닝만으로 사용자의 보조자가 될 수 있다는 걸 이해하지 못했거든요.

[44:46] 그게 작동한다는 게 정말 기적 같았어요. 정말 놀라웠죠. 그게 2-3년간의

[44:51] 작업이었어요. 그 다음에 강화학습이 나왔죠. 강화학습을 통해서는 단순한 모방 학습보다 조금 더 나은 성과를 낼 수 있어요. 왜냐하면

[44:58] 보상 함수가 있고 그 보상 함수를 통해 최적화할 수 있거든요.

[45:02] 어떤 문제들은 정답이 있어서, 전문가의

[45:06] 궤적을 모방하지 않고도 그것을 통해 최적화할 수 있어요. 그래서 놀라운 거죠. 모델이 인간은

[45:10] 절대 생각해내지 못할 해결책도 발견할 수 있어요. 이건 정말 놀라워요. 하지만 여전히 멍청해요. 더 필요해요. 어제 구글에서

[45:19] 이런 반성과 검토 아이디어를 염두에 둔 논문을 봤어요.

[45:25] 메모리 뱅크 논문인가 뭔가였나요? 잘 모르겠어요. 이런 방향의 논문들을 몇 개 봤거든요.

[45:30] 그래서 LLM을 위한 알고리즘을 어떻게 하는지에 대한 주요한 업데이트가 그 영역에서 나올 거라고 예상해요.

[45:37] 3개나 4개, 또는 5개 정도 더 필요할 것 같아요.

[45:42] 당신은 정말 인상적인 표현을 잘 만드시네요. "빨대로 감독 신호를 빨아들이기"라니,

[45:47] 정말 좋은 표현이에요. 결과 기반 보상의 문제점은 이렇게 긴 궤적이 있는데, 마지막에

[45:56] 무엇을 해야 하고 세상에 대해 무엇을 배워야 하는지에 대한 모든 것을

[46:01] 그 마지막 한 조각의 정보로부터 학습하려고 한다는 거죠.

[46:07] 이것이 명백한 사실인데, 왜 대안으로서 과정 기반 감독이 모델을 더 능력 있게 만드는

[46:11] 성공적인 방법이 되지 못했나요? 이 대안적 패러다임을 사용하는 것을

[46:15] 막고 있는 게 뭔가요?

[46:18] 과정 기반 감독은 맨 마지막에만 보상 함수를 두지 않겠다는 뜻이에요.

[46:21] 10분 동안 작업한 후에 잘했는지 못했는지 알려주지 않고,

[46:24] 매 단계마다 얼마나 잘하고 있는지 알려주겠다는 거죠.

[46:28] 우리가 그걸 하지 않는 이유는 그것을 제대로 하는 방법이 까다롭기 때문이에요.

[46:32] 부분적인 해답이 있는데 어떻게 점수를 매겨야 할지 모르거든요.

[46:34] 정답을 맞췄을 때는 답과 일치하는지만 확인하면 돼요. 구현하기가

[46:39] 매우 간단하죠. 하지만 과정 감독을 한다면, 자동화된 방식으로 부분적인

[46:44] 점수 배정을 어떻게 할 것인가요? 어떻게 하는지 명확하지 않아요.

[46:47] 많은 연구소에서 LLM 판정자를 활용해서 이걸 해결하려고 노력하고 있어요.

[46:50] LLM에게 이걸 시키는 거죠. LLM에게 프롬프트로 "학생의 부분 풀이를 보고,

[46:53] 답이 이거라면 얼마나 잘했다고 생각해?"라고 물어보고

[46:56] 프롬프트를 조정하려고 하죠. 하지만 이게 까다로운 이유는 매우 미묘합니다.

[47:02] 보상을 할당하는 데 LLM을 사용할 때마다, 이 모델들은 수십억 개의 파라미터를 가진 거대한 것들이고

[47:07] 게임화가 가능하다는 점이에요. 이런 모델들을 대상으로 강화학습을 한다면,

[47:11] LLM 판정자에 대한 적대적 예시를 찾게 될 것이 거의 확실합니다.

[47:15] 그래서 이걸 너무 오래 할 수는 없어요.

[47:18] 10단계나 20단계 정도는 작동할 수 있지만, 100단계나 1,000단계는 불가능하죠. 당연하지 않을 수도 있지만,

[47:25] 기본적으로 모델이 작은 허점들을 찾아낼 거예요. 거대한 모델의 구석진 곳에서

[47:30] 이런 가짜 신호들을 모두 찾아내고 속일 방법을 찾겠죠.

[47:34] 제가 명확히 기억하는 한 가지 예시가 있는데, 이건 아마 공개된 내용일 텐데요. LLM 판정자를 보상으로 사용할 때,

[47:42] 학생의 답안을 주고 학생이 잘했는지 물어보는 방식이었습니다.

[47:47] 우리는 그 보상 함수에 대해

[47:49] 강화학습을 시켰는데, 정말 잘 작동했어요. 그런데 갑자기 보상이 극도로 높아졌습니다.

[47:55] 엄청난 점프였고, 완벽하게 했어요. 이걸 보면서 "와, 이건

[47:59] 학생이 모든 문제에서 완벽하다는 뜻이네. 수학을 완전히 해결했구나"라고 생각했죠. 하지만

[48:05] 모델에서 나오는 답안들을 보니 완전히 말이 안 됐어요.

[48:08] 처음에는 괜찮게 시작하다가 "dhdhdhdh"로 바뀌었어요.

[48:11] "자, 2 더하기 3을 하면 이렇게 저렇게 하고, 그다음 dhdhdhdh" 이런 식으로요.

[48:15] 이걸 보고 있으면 정말 미친 것 같았어요.

[48:17] 어떻게 보상이 1이나 100%가 나올 수 있을까요? LLM 판정자를 보니

[48:21] "dhdhdhdh"가 모델에 대한 적대적 예시였고, 이걸 100% 확률로 평가했던 거예요.

[48:27] 이건 LLM에게는 샘플 밖의 예시이기 때문이에요.

[48:30] 훈련 중에 본 적이 없는 거고, 순수한 일반화 영역에 있는 거죠.

[48:34] 훈련 중에 본 적이 없는 거고, 순수한 일반화 영역에서는

[48:37] 이런 식으로 모델을 망가뜨리는 예시들을 찾을 수 있어요. 기본적으로

[48:42] LLM이 프롬프트 인젝션 모델이 되도록 훈련시키는 거죠. 아니, 그것도 아니에요. 프롬프트 인젝션은 너무 고급 기법이고요.

[48:46] 적대적 예시라고 불리는 것들을 찾는 거예요.

[48:48] 명백히 틀린 말도 안 되는 답안들인데, 모델은 이게 훌륭하다고 생각하는 거죠.

[48:55] 이것이 RL을 더 기능적으로 만드는 데 있어 병목이라고 생각한다면,

[48:59] 자동화된 방식으로 하고 싶다면 LLM을 더 나은 판정자로 만들어야 할 거예요.

[49:05] 모델들을 더 견고하게 훈련시키는

[49:07] GAN과 같은 접근법이 필요한 건가요? 연구소들은 아마 그런 걸 다 하고 있을 거예요.

[49:11] 당연한 건 "dhdhdhdh"가 100% 보상을 받으면 안 된다는 거죠.

[49:14] 좋아요, "dhdhdhdh"를 LLM 판정자의 훈련 세트에 넣고

[49:17] 이건 100%가 아니라 0%라고 하면 되죠. 이렇게 할 수 있지만

[49:21] 이걸 할 때마다 새로운 LLM을 얻게 되고, 여전히 적대적 예시들이 있어요.

[49:24] 적대적 예시는 무한히 많아요. 이걸 몇 번 반복하면

[49:29] 아마 적대적 예시를 찾기가 점점 어려워질 거예요. 하지만 100% 확신할 수는 없어요. 왜냐하면 이게

[49:32] 1조 개의 매개변수를 가지고 있을 거예요. 각 연구소들이 시도하고 있을 거라고 생각해요.

[49:41] 여전히 다른 아이디어가 필요하다고 생각해요. 흥미롭네요. 그 다른 아이디어가 어떤 형태일지

[49:46] 감이 있으신가요? 이 검토 솔루션 아이디어는 합성 예시들을 포함해서

[49:54] 그것들로 훈련할 때 더 나아지도록 하고, 어떤 방식으로든 메타 학습하는 것이에요.

[49:58] 몇 가지 논문들이 나오기 시작하는 것 같아요.

[50:00] 저는 아직 초록만 읽는 단계예요.

[50:04] 이런 논문들은 대부분 아이디어 단계거든요. 누군가가 최신 LLM

[50:08] 연구소 규모에서 완전한 일반화로 작동하게 만들어야 해요. 이런 논문들을 보면

[50:13] 나오긴 하는데 조금 모호해요. 멋진 아이디어들이지만

[50:17] 이게 가능하다는 것을 확실하게 보여준 사람은 아직 못 봤어요.

[50:23] 하지만 LLM 연구소들은 꽤 폐쇄적이라서, 지금 뭘 하고 있는지 누가 알겠어요.

[50:33] 자신이 만든 합성 예시나 합성 문제들로 훈련하는 방법을 개념적으로는 이해할 수 있어요.

[50:36] 하지만 인간이 하는 또 다른 일이 있는 것 같아요. 수면이나 공상이

[50:40] 그런 것일 수도 있는데, 가짜 문제를 만들어내는 게 아니라 그냥 성찰하는 거죠.

[50:47] 공상이나 수면, 또는 그냥 성찰에 대한 머신러닝 유사체가 뭔지 확실하지 않아요.

[50:51] 새로운 문제를 만들어낸 건 아니에요. 당연히 가장 기본적인 유사체는

[50:54] 성찰 부분에 대한 파인튜닝이겠지만, 실제로는 그렇게 잘 작동하지 않을 것 같아요.

[51:00] 이것의 유사체가 뭔지에 대한 견해가 있으신가요?

[51:05] 분명히 우리가 놓치고 있는 측면들이 있다고 생각해요. 예를 들어 책을 읽는다고 해보죠.

[51:11] 현재 LLM이 책을 읽을 때는 텍스트 시퀀스를 펼쳐놓고

[51:15] 모델이 다음 토큰을 예측하면서 그로부터 지식을 얻는 거예요.

[51:19] 하지만 인간은 실제로 그렇게 하지 않아요.

[51:21] 책을 읽을 때, 책이 제가 주목하고 학습해야 할 해설이라는 느낌조차 들지 않아요.

[51:25] 책은 제가 합성 데이터 생성을 하도록 하는 프롬프트 모음이거나

[51:30] 북클럽에 가서 친구들과 그것에 대해 이야기하게 하는 거예요.

[51:33] 그 정보를 조작함으로써 실제로 그 지식을 습득하는 거죠.

[51:37] LLM에는 그런 것과 동등한 게 없어요. 실제로 그런 일을 하지 않아요. 사전 훈련 중에

[51:42] 자료를 생각해보고 이미 알고 있는 것과 조화시키려고 시도하는

[51:46] 단계가 있어서, 얼마간의 시간 동안 그것을 생각해보고 작동하게 만드는 걸 보고 싶어요.

[51:52] 이런 것들의 등가물은 전혀 없어요. 이건 모두 연구 영역이에요.

[51:54] 이해하기 매우 어렵다고 생각하는 미묘한, 아주 미묘한 이유들이 있어서 간단하지 않아요.

[51:59] 하나만 설명해볼게요. 왜 합성으로 생성해서 그것으로 훈련할 수 없을까요?

[52:04] 모든 합성 예시는, 모델이 책에 대해 생각하는

[52:07] 합성 생성물을 제공하면, 보고 나서 '이거 좋아 보인다.

[52:10] 왜 이걸로 훈련할 수 없지?'라고 하죠.

[52:12] 시도해볼 수는 있지만, 계속 시도하면 모델이 훨씬 나빠질 거예요.

[52:17] 그건 모델에서 얻는 모든 샘플들이 조용히 붕괴되어 있기 때문이에요.

[52:21] 조용히, 개별 예시 하나하나를 봐서는 명백하지 않지만, 그것들은 가능한

[52:27] 사고 공간의 아주 작은 다양체를 차지하고 있어요.

[52:30] LLM들이 나올 때, 우리가 '붕괴된' 상태라고 부르는 것이에요.

[52:33] 붕괴된 데이터 분포를 가지고 있다는 뜻이죠.

[52:34] 간단히 확인하는 방법이 있어요. ChatGPT에 가서 '농담 하나 해줘'라고 물어보세요.

[52:38] 농담이 세 개 정도밖에 없어요. 가능한 모든 농담의 폭을 보여주지 않아요.

[52:41] 세 개 정도의 농담만 알고 있죠. 조용히 붕괴되어 있는 거예요. 인간에게서 얻을 수 있는 풍부함과 다양성, 그리고 엔트로피를

[52:47] 이런 모델들로부터는 얻을 수 없어요. 인간은 훨씬 노이즈가 많지만, 적어도 편향되지 않았어요.

[52:52] 통계적인 의미에서 말이죠. 조용히 붕괴하지 않아요. 엄청난 양의 엔트로피를 유지하거든요.

[52:56] 그럼 어떻게 붕괴에도 불구하고, 엔트로피를 유지하면서 합성 데이터 생성이 작동하게 할 수 있을까요?

[53:00] 이건 연구 문제예요. 제가 제대로 이해했는지 확인해보자면, 붕괴가 합성 데이터

[53:05] 생성과 관련이 있는 이유는 이미 데이터 분포에 있지 않은 합성 문제나 반성을

[53:09] 만들어낼 수 있기를 원하기 때문인가요?

[53:13] 제가 말하고자 하는 건 이거예요. 책의 한 챕터가 있고 LLM에게 그것에 대해 생각해보라고 하면

[53:20] 매우 합리적으로 보이는 답변을 줄 거예요. 하지만 10번 물어보면

[53:26] 모두 똑같다는 걸 알게 될 거예요.

[53:28] 같은 양의 프롬프트 정보에 대해 '반성'을 계속 확장할 수는 없어요.

[53:31] 그리고 거기서 수익을 얻을 수도 없고요. 개별 샘플은 괜찮아 보이겠지만

[53:39] 그 분포는 꽤 끔찍해요. 너무 많이 자신의 것으로 계속 훈련하면

[53:43] 실제로 붕괴한다는 점에서 꽤 끔찍하죠.

[53:47] 아마 이것에 대한 근본적인 해결책은 없을 것 같아요.

[53:50] 인간도 시간이 지나면서 붕괴한다고 생각해요. 이런 비유들이 놀랍도록 잘 맞아요.

[53:54] 인간은 살아가는 동안 붕괴해요. 이래서 아이들은, 아직 과적합되지 않았거든요.

[54:00] 아이들은 당신을 충격에 빠뜨릴 말을 하죠. 왜냐하면 그들이 어디서 오는지 알 수 있지만

[54:06] 사람들이 보통 하는 말이 아니거든요. 아직 붕괴되지 않았기 때문이에요. 하지만 우리는

[54:09] 붕괴되었어요. 결국 같은 생각을 다시 하게 되고, 점점 더 같은 말만 하게 되죠.

[54:14] 학습률이 떨어지고, 붕괴는 계속 악화되고, 그러면 모든 것이 악화돼요.

[54:20] 꿈이 이런 과적합과 붕괴를 방지하는 방법이라는 매우 흥미로운 논문을 본 적 있나요?

[54:28] 꿈꾸기가 진화적으로 적응적인 이유는 일상 현실과 매우 다른 이상한 상황에 당신을

[54:34] 처하게 해서 이런 과적합을 방지하기 위해서라는 거예요.

[54:41] 흥미로운 아이디어예요. 머릿속에서 뭔가를 생성하고

[54:44] 그것에 주의를 기울이면, 자신의 샘플로 훈련하는 거예요.

[54:48] 자신의 합성 데이터로 훈련하는 거죠. 너무 오래 하면

[54:51] 궤도를 벗어나서 너무 많이 붕괴해요. 인생에서 항상 엔트로피를 추구해야 해요.

[54:57] 다른 사람들과 대화하는 것이 훌륭한 엔트로피 소스죠. 그런 것들 말이에요.

[55:05] 아마 뇌도 그 과정에서 엔트로피의 양을 증가시키기 위한 내부 메커니즘을 구축했을 거예요.

[55:11] 흥미로운 아이디어네요. 이건 아직 덜 형성된 생각이라서 그냥 던져보고 반응을 보겠어요.

[55:16] 우리가 알고 있는 최고의 학습자들, 즉 아이들은 정보를 기억하는 데

[55:20] 극도로 나빠요. 사실 아동기 초기 단계에서는 모든 걸 잊어버려요.

[55:25] 특정 연도 이전에 일어난 모든 것에 대해서는 그냥 기억상실증 환자예요.

[55:29] 하지만 새로운 언어를 습득하고 세상으로부터 배우는 데는 극도로 뛰어나죠.

[55:32] 하지만 아이들은 새로운 언어를 익히고 세상으로부터 배우는 것에는 극도로 뛰어납니다.

[55:36] 아마 나무를 보고도 숲을 볼 수 있는 능력의 어떤 요소가 있는 것 같아요.

[55:38] 반대편 끝에 있는 LLM 사전훈련과 비교해보면,

[55:44] 이 모델들은 문자 그대로 위키피디아 페이지의 다음 내용을

[55:47] 한 글자 한 글자 그대로 토해낼 수 있습니다. 하지만 아이가 할 수 있는 방식으로

[55:52] 추상적 개념을 정말 빠르게 학습하는 능력은 훨씬 제한적입니다.

[55:55] 그리고 성인들은 그 중간 어디쯤에 있죠. 어린 시절 학습의 유연성은 없지만

[55:59] 사실과 정보를 암기하는 능력은 아이들보다 훨씬 뛰어납니다.

[56:05] 이런 스펙트럼에 흥미로운 무언가가 있는지 모르겠어요.

[56:08] 저는 확실히 매우 흥미로운 부분이 있다고 생각합니다.

[56:10] 인간은 LLM에 비해 나무를 보고도 숲을 보는 요소가 훨씬 많다고 생각합니다.

[56:16] 우리는 실제로 암기를 그렇게 잘하지 못하는데,

[56:19] 이것은 사실 장점입니다. 암기를 잘하지 못하기 때문에 우리는

[56:25] 더 일반적인 의미에서 패턴을 찾도록 강요받습니다. 이에 비해 LLM들은 암기에 극도로 뛰어납니다.

[56:33] 이들은 모든 훈련 소스의

[56:35] 구절들을 암송할 것입니다. 완전히 말이 안 되는 데이터를 줘도 마찬가지입니다.

[56:41] 텍스트를 해시화하거나 하면 완전히 무작위 시퀀스가 나오잖아요.

[56:44] 그걸로 훈련하면, 단 한 번이나 두 번의 반복만으로도 갑자기

[56:48] 전체를 토해낼 수 있습니다. 암기해버리는 거죠. 사람은 무작위 숫자 시퀀스를

[56:51] 한 번 읽고 암송할 수 있는 방법이 없습니다. 이것은 버그가 아니라 기능입니다. 왜냐하면

[56:58] 일반화 가능한 구성요소만 학습하도록 강요하기 때문입니다. 반면 LLM들은 사전훈련 문서들에 대한

[57:03] 모든 기억으로 인해 산만해지고, 어떤 의미에서는

[57:06] 매우 방해가 될 것입니다. 그래서 제가 인지 코어에 대해 이야기할 때

[57:10] 우리가 논의했듯이 기억을 제거하고 싶은 것입니다.

[57:13] 이들이 더 적은 기억을 가져서 정보를 찾아야 하고,

[57:17] 사고를 위한 알고리즘과 실험의 아이디어,

[57:22] 그리고 행동의 모든 인지적 접착제만 유지하기를 바랍니다. 이것은 또한

[57:28] 모델 붕괴를 방지하는 것과도 관련이 있나요? 음, 생각해봅시다.

[57:35] 잘 모르겠어요. 거의 별개의 축 같습니다. 모델들은 암기를 너무 잘하고,

[57:40] 어떻게든 그것을 제거해야 합니다. 사람들은 훨씬 못하지만, 그것이 좋은 일입니다.

[57:46] 모델 붕괴의 해결책은 무엇인가요? 시도해볼 수 있는 매우 단순한 방법들이 있습니다.

[57:52] 로짓에 대한 분포가 더 넓어야 한다거나 하는 식으로요.

[57:55] 시도해볼 수 있는 단순한 방법들이 많습니다.

[57:58] 단순한 접근법들의 문제는 무엇인가요? 좋은 질문이네요. 엔트로피에 대한

[58:02] 정규화 같은 것들을 상상해볼 수 있습니다. 아마 경험적으로

[58:06] 그렇게 잘 작동하지 않는 것 같아요. 왜냐하면 지금 모델들이 붕괴되어 있기 때문입니다. 하지만

[58:13] 우리가 그들에게 원하는 대부분의 작업들은 실제로 다양성을 요구하지 않습니다.

[58:20] 아마 그것이 무슨 일이 일어나고 있는지에 대한 답일 것입니다.

[58:22] 최첨단 연구소들은 모델을 유용하게 만들려고 노력하고 있습니다.

[58:26] 저는 출력의 다양성이 그렇게... 첫째로, 작업하고 평가하기가 훨씬 어렵고

[58:29] 모든 것들이 그렇지만, 아마 가치의 대부분을 포착하는 것이 아닐 수도 있습니다. 사실 적극적으로 패널티를 받기도 하죠.

[58:34] 강화학습에서 너무 창의적이면 좋지 않아요. 아니면 LLM의 도움으로 글을 많이 쓴다면

[58:39] 아마 좋지 않을 거예요. 모델들이 조용히 모두 같은 것만

[58:42] 제공할 테니까요. 다양한 방식으로 질문에 답하는 것을 탐색하지 않아요.

[58:48] 아마 이런 다양성이 필요한 애플리케이션이 많지 않아서 모델들이 그걸 갖지 않는 거죠.

[58:56] 하지만 합성 데이터 생성 시점에서는 문제가 되죠.

[58:58] 모델에서 이런 엔트로피를 유지하지 않아서 우리 스스로 발목을 잡고 있어요.

[59:01] 아마 연구소들이 더 열심히 시도해야 할 것 같아요.

[59:06] 이게 매우 근본적인 문제라고 암시하셨는데, 쉽게 해결되지 않을 거라고요.

[59:11] 그에 대한 직관은 어떤가요? 그렇게 근본적인지 모르겠어요.

[59:17] 그렇게 말하려던 건지 모르겠네요. 이런 실험을 해본 적은 없지만,

[59:23] 아마 엔트로피를 더 높게 정규화할 수 있을 것 같아요.

[59:26] 모델이 더 많은 해결책을 제공하도록 장려하지만, 훈련 데이터에서

[59:31] 너무 벗어나지 않게 하고 싶어요. 자체 언어를 만들어내기 시작할 테니까요.

[59:34] 극도로 희귀한 단어들을 사용하기 시작해서 분포에서

[59:38] 너무 멀어질 거예요. 그래서 분포를 제어하는 것이

[59:41] 까다로운 것 같아요. 그런 의미에서 아마 자명하지 않을 거예요.

[59:47] 추측해보신다면, 최적의 지능 핵심은 몇 비트 정도가 되어야 할까요?

[59:54] 폰 노이만 탐사선에 넣을 것 말이에요.

[59:56] 얼마나 커야 할까요? 이 분야 역사에서 정말 흥미로운 건

[01:00:01] 한때 모든 것이 스케일링에 완전히 빠져있었어요. '더 큰 모델을 만들자,

[01:00:05] 수조 개 매개변수 모델을!' 하면서요.

[01:00:08] 모델 크기는 커졌다가 이제는

[01:00:12] 작아졌어요. 최신 모델들이 더 작아요.

[01:00:14] 그럼에도 너무 많은 것을 암기한다고 생각해요.

[01:00:20] 예전에 예측했는데, 10억 매개변수로도 매우 뛰어난

[01:00:24] 인지 핵심을 얻을 수 있을 것 같아요. 10억 매개변수 모델과 대화한다면,

[01:00:30] 20년 후에는 매우 생산적인 대화를 할 수 있을 것 같아요.

[01:00:34] 생각하고 인간과 훨씬 더 비슷하죠. 하지만 사실적인 질문을 하면

[01:00:39] 찾아봐야 할 수도 있지만, 모른다는 걸 알고 찾아봐야 한다는 걸 알고

[01:00:42] 합리적인 모든 행동을 할 거예요.

[01:00:44] 10억 매개변수가 필요하다고 생각하시는 게 놀라워요.

[01:00:47] 이미 10억이나 몇십억 매개변수 모델들이 매우 똑똑한데요.

[01:00:51] 최신 모델들은 대략 1조 매개변수예요.

[01:00:53] 하지만 너무 많은 걸 기억하죠. 근데 10년 후에도

[01:00:58] 이런 속도라면... gpt-oss-20b가 있어요. 1조 개 이상 매개변수였던 원래 GPT-4보다 훨씬 좋아요.

[01:01:07] 이런 추세를 보면, 10년 후에도 인지 핵심이

[01:01:11] 여전히 10억 매개변수라고 생각하시는 게 놀라워요.

[01:01:15] '아, 수천만 개나 수백만 개가 될 거야'라고 하지 않으시는 게 놀라워요.

[01:01:20] 여기서 문제는 훈련 데이터가

[01:01:22] 인터넷인데, 정말 형편없어요.

[01:01:26] 인터넷이 형편없기 때문에 얻을 수 있는 이득이 엄청나요.

[01:01:28] 인터넷이라고 해도

[01:01:29] 우리가 생각하는 인터넷은 월스트리트 저널 같은 것이에요.

[01:01:32] 월스트리트 저널 같은 것들 말이에요. 하지만 실제로는 그게 아니거든요. 프론티어 랩에서 사전 훈련 데이터셋을 보면서

[01:01:36] 무작위 인터넷 문서를 살펴보면, 정말 완전한 쓰레기예요.

[01:01:40] 도대체 이게 어떻게 작동하는지 모르겠어요. 주식 티커, 심볼 같은 것들,

[01:01:46] 인터넷 구석구석에서 나온 엄청난 양의 찌꺼기와 쓰레기들이죠.

[01:01:50] 월스트리트 저널 같은 기사는 극히 드물어요.

[01:01:53] 인터넷이 너무 형편없기 때문에, 우리는 그 모든 것을 압축하기 위해 정말 큰 모델을 만들어야 해요.

[01:02:00] 그 압축의 대부분은 인지적 작업이 아닌 기억 작업이에요.

[01:02:04] 하지만 우리가 정말 원하는 건 인지적 부분이고, 기억 부분은 삭제하면 돼요.

[01:02:08] 제가 말하고 싶은 건 지능적인 모델이 필요하다는 거예요. 사전 훈련 세트조차

[01:02:12] 정제해서 인지적 구성요소들로만 좁혀나가도록 도와주는 모델이요.

[01:02:15] 그러면 훨씬 작은 모델로도 가능할 것 같아요.

[01:02:18] 훨씬 나은 데이터셋이니까요. 그걸로 훈련시킬 수 있을 거예요. 하지만 아마 직접 훈련하지는 않을 거예요.

[01:02:22] 아마 훨씬 더 나은 모델에서 증류할 거예요. 하지만 증류된 버전이 왜 여전히 10억 개일까요?

[01:02:28] 증류가 정말 잘 작동한다고 생각해요.

[01:02:30] 거의 모든 소형 모델, 작은 모델이 있다면 거의 확실히 증류된 거예요.

[01:02:35] 맞아요, 하지만 10년 후 증류가 10억 개 아래로 내려가지 않는 이유는 뭘까요?

[01:02:39] 아, 10억 개보다 작아야 한다고 생각하시는군요? 뭐, 당연하죠. 잘 모르겠네요.

[01:02:43] 어느 정도는 흥미로운 일을 하려면 적어도 10억 개의 노브는 필요할 것 같아요.

[01:02:49] 더 작아야 한다고 생각하시는군요? 네. 지난 몇 년간의 추세를 보면

[01:02:53] 쉬운 성과들을 찾아내며 1조 개 이상의 모델에서

[01:02:57] 말 그대로 2년 만에 두 자릿수 규모로 작은 모델로 가면서도 더 나은 성능을 보였잖아요.

[01:03:03] 이걸 보면 지능의 핵심은 훨씬, 훨씬 더 작을 수도 있다는 생각이 들어요.

[01:03:09] 파인만의 말을 빌리자면, 바닥에 여전히 많은 여유가 있다는 거죠.

[01:03:11] 10억 매개변수 인지 코어에 대해 말하는 것만으로도

[01:03:14] 이미 반대 의견을 내고 있다고 생각하는데, 당신이 저를 능가하고 있네요. 아마 조금 더 작게 할 수 있을지도요.

[01:03:23] 실질적으로 말하면, 모델이 어느 정도 지식을 가져야 한다고 생각해요.

[01:03:26] 모든 걸 찾아보게 하고 싶지는 않거든요. 그러면 머릿속으로 생각할 수가 없어요.

[01:03:30] 항상 너무 많은 것들을 찾아봐야 하니까요.

[01:03:32] 지식을 위한 기본적인 커리큘럼은 있어야 하지만, 난해한 지식까지는 필요 없어요.

[01:03:38] 우리가 논의하고 있는 건 인지 코어가 될 수 있는 것이에요.

[01:03:41] 별개의 질문이 있는데, 시간이 지나면서 프론티어 모델의 크기는 어떻게 될까요?

[01:03:46] 예측이 궁금해요. GPT 4.5까지는 규모가 증가했는데

[01:03:51] 이제 규모가 감소하거나 정체되고 있는 것 같아요. 여러 가지 이유가 있을 수 있겠죠.

[01:03:56] 앞으로에 대한 예측이 있으신가요? 가장 큰 모델들이 더 커질까요,

[01:04:00] 더 작아질까요, 아니면 비슷할까요? 확신있는 예측은 없어요.

[01:04:07] 연구소들은 그냥 실용적으로 접근하고 있어요. 플롭스 예산과 비용 예산이 있거든요.

[01:04:10] 사전 훈련이 플롭스나 비용의 대부분을 투입할 곳이 아니라는 걸 알게 된 거예요.

[01:04:14] 그래서 모델들이 작아진 거예요. 조금 작아졌어요, 사전 훈련

[01:04:17] 단계는 작아졌지만, 강화학습에서 보완하고 있어요.

[01:04:21] 중간 훈련과 그 이후의 모든 과정에서 말이죠. 그들은 모든 단계에서 실용적으로 접근하고 있고

[01:04:25] 어떻게 최대한 효율적으로 성과를 얻을 수 있는지를 고려합니다. 이런 트렌드를 예측하는 건 정말 어렵죠.

[01:04:30] 여전히 저는 정말 많은 쉽게 따낼 수 있는 열매들이 있을 거라고 기대합니다. 그게 제 기본적인 예상이에요.

[01:04:38] 저는 이 부분에 대해서는 매우 넓은 분포를 가지고 있어요. 당신은 그런 쉬운 성과들이

[01:04:42] 지난 2~5년 동안 일어났던 것들과 비슷한 종류일 거라고 예상하시나요?

[01:04:49] 나노챗 대비 나노GPT를 보면, 그리고 당신이 만든 아키텍처 조정들을 보면,

[01:04:54] 그런 것들이 계속 일어날 거라고 예상하는 그런 방향성인가요?

[01:04:58] 거대한 패러다임 전환은 기대하지 않으시는군요. 대부분의 경우에는 맞습니다. 저는

[01:05:01] 데이터셋이 훨씬, 훨씬 더 좋아질 거라고 예상해요. 평균적인 데이터셋을 보면,

[01:05:03] 정말 끔찍합니다. 너무 나빠서

[01:05:05] 어떻게 이게 작동하는지조차 모르겠어요. 훈련 세트의 평균적인 예시를 보세요:

[01:05:10] 사실 오류, 에러, 말도 안 되는 것들. 그런데 어떻게든 규모를 키우면,

[01:05:16] 노이즈는 사라지고 신호만 남게 되죠. 데이터셋은 엄청나게 개선될 거예요.

[01:05:21] 모든 것이 더 좋아집니다. 우리의 하드웨어, 하드웨어를 돌리는 모든 커널들 그리고

[01:05:29] 하드웨어에서 최대한 많은 것을 얻어내는 것들. 엔비디아도 천천히 하드웨어 자체를 튜닝하고 있어요,

[01:05:33] 텐서 코어, 이 모든 것들이 일어나야 하고 계속 일어날 거예요.

[01:05:36] 모든 커널들이 더 좋아지고 칩을 최대한 활용하게 될 겁니다.

[01:05:39] 모든 알고리즘들도 아마 최적화, 아키텍처, 그리고 모든 모델링에서 개선될 거예요

[01:05:45] 모든 것이 어떻게 이뤄지는지, 그리고 우리가 실제로 훈련하는 알고리즘이 무엇인지의 구성 요소들.

[01:05:48] 저는 아무것도 압도적이지 않을 거라고 예상합니다. 모든 것이 플러스 20%. 이게 제가 본 대략적인 모습이에요.

[01:07:13] 사람들은 완전한 AGI를 향해 얼마나 진전을 이뤘는지 차트로 만드는 다양한 방법을 제안해왔습니다.

[01:07:21] 어떤 선을 만들 수 있다면, 그 선이 AGI와 교차하는 지점을 볼 수 있고

[01:07:25] x축에서 언제 그런 일이 일어날지 알 수 있죠. 사람들은 교육 수준이라고 제안했어요.

[01:07:29] 고등학생 수준이었는데, 그다음 RL로 대학에 갔고, Ph.D.를 받을 거라고요.

[01:07:34] 저는 그게 마음에 안 들어요. 아니면 호라이즌

[01:07:36] 길이를 제안하기도 해요. 아마 1분 걸리는 작업을 자율적으로 할 수 있다가,

[01:07:41] 그다음엔 인간이 1시간 걸리는 작업, 인간이 1주일 걸리는 작업을 자율적으로 할 수 있게 된다는 거죠.

[01:07:46] 여기서 관련된 y축에 대해서는 어떻게 생각하세요? AI가 진전을 이루는 것에 대해

[01:07:53] 어떻게 생각해야 할까요? 이에 대해 두 가지 답이 있어요.

[01:07:55] 첫 번째로, 저는 거의 이 질문 자체를 거부하고 싶을 정도예요. 왜냐하면

[01:07:59] 저는 이것을 컴퓨팅의 확장으로 보거든요. 컴퓨팅에서 진전을 차트로 만드는 방법에 대해

[01:08:02] 이야기해본 적이 있나요? 1970년대 이후 컴퓨팅에서 어떻게 진전을 차트로 만들지?

[01:08:06] y축이 뭔가요? 그런 관점에서 보면 전체 질문이 좀 우스워요.

[01:08:13] 사람들이 AI와 원래 AGI에 대해 이야기할 때, 그리고 OpenAI가 시작했을 때 우리가 어떻게 말했는지를 보면,

[01:08:18] AGI는 경제적으로 가치 있는 모든 작업을 인간 수준이나 그 이상으로 할 수 있는 시스템이었어요.

[01:08:27] 그게 정의였죠. 당시에 저는 그 정의가 꽤 마음에 들었어요.

[01:08:32] 저는 계속 그 정의를 고수해왔는데, 사람들은 온갖 다른

[01:08:36] 정의들을 만들어냈어요. 하지만 저는 그 정의가 좋아요. 사람들이 항상 하는 첫 번째 양보는

[01:08:43] 단지 디지털 지식 업무에 대해서만 이야기하기 때문에 모든 물리적인 것들은 제외하겠습니다.

[01:08:48] 이것은 인간이 할 수 있는 모든 작업이었던 원래 정의와 비교하면 꽤 큰 양보입니다.

[01:08:52] 저는 물건을 들어올릴 수 있고 등등을 할 수 있습니다. AI는 당연히 그런 건 못하지만, 그것은 받아들이겠습니다.

[01:08:57] "오, 지식 업무만 해당된다"고 말함으로써 경제의 몇 퍼센트를 제외하는 걸까요? 정확한 수치는 모르지만

[01:09:02] 제 추측으로는 약 10%에서 20% 정도가 순수한 지식 업무, 즉 누군가가 집에서 일하면서 작업을 수행할 수 있는 그런 일이라고 생각합니다.

[01:09:09] 그래도 여전히 정말 큰 시장입니다. 경제 규모가 얼마나 되고, 그 중 10%나 20%가 얼마나 될까요?

[01:09:19] 미국에서만도 여전히 몇 조 달러 규모의 시장 점유율이나 일자리에 대해 이야기하고 있는 것입니다.

[01:09:26] 그래서 여전히 매우 거대한 영역입니다. 정의로 돌아가서,

[01:09:30] 제가 찾고 있는 것은 그 정의가 어느 정도까지 사실인지 하는 것입니다.

[01:09:35] 일자리나 많은 작업들이 있나요? 일자리가 아니라 작업으로 생각해보면 말이죠.

[01:09:40] 어려운 점은 사회가 자동화 가능한 것과 그렇지 않은 것에 기반해서 일자리를 구성하는 작업들을 재구성할 것이라는 문제입니다.

[01:09:47] 오늘날 어떤 일자리들이 AI로 대체 가능할까요?

[01:09:52] 최근의 좋은 예는 방사선과 의사가 더 이상 직업이 되지 않을 것이라는 제프 힌튼의 예측이었는데,

[01:09:57] 이것은 여러 면에서 매우 틀린 것으로 판명되었습니다.

[01:10:00] 컴퓨터 비전이 영상에서 인식해야 하는 모든 다양한 것들을 정말 정말 잘 인식함에도 불구하고

[01:10:04] 방사선과 의사들은 살아있고 건재하며 늘어나고 있습니다.

[01:10:07] 그것은 단지 환자들과 상호작용하고 많은 측면들을 다루는 복잡하고 까다로운 일이기 때문입니다.

[01:10:11] 그리고 그런 맥락에서 일어나는 모든 것들 말이죠. 그 정의로는 AI가 아직 큰 영향을 미쳤다고 생각하지 않습니다.

[01:10:17] 제가 주목하고 있는 일자리들 중 일부는 다른 것보다 일찍 자동화되기에 매우 적합한 특징들을 가지고 있습니다.

[01:10:22] 예를 들어, 콜센터 직원들이 종종 거론되는데, 저는 그것이 타당하다고 생각합니다.

[01:10:27] 콜센터 직원들은 오늘날 자동화 가능한 것과 관련해서 몇 가지 단순화시키는 특성들을 가지고 있습니다.

[01:10:30] 그들의 일은 꽤 단순합니다. 일련의 작업들이고, 모든 작업이 비슷해 보입니다.

[01:10:35] 사람과 전화 통화를 받고, 10분 정도의 상호작용을 하거나 뭐 그런 것이죠.

[01:10:42] 아마 좀 더 길 것입니다. 제 경험상으로는 훨씬 더 길죠.

[01:10:45] 어떤 체계에서 어떤 작업을 완료하고, 데이터베이스 항목들을 변경하거나 그런 것들을 합니다.

[01:10:49] 그래서 똑같은 것을 계속 반복하는데, 그게 바로 당신의 일입니다.

[01:10:53] 작업 범위를 고려해야 합니다 - 작업을 수행하는 데 얼마나 걸리는지

[01:10:55] 그리고 맥락도 제거해야 합니다.

[01:11:01] 회사의 다른 부서나 다른 고객들과 상대하는 게 아닙니다.

[01:11:05] 그냥 데이터베이스, 당신, 그리고 당신이 서비스하는 사람만 있을 뿐입니다.

[01:11:08] 더 폐쇄적이고, 더 이해하기 쉬우며, 순전히 디지털적입니다.

[01:11:11] 그래서 저는 그런 것들을 찾고 있을 것입니다. 하지만 거기서도

[01:11:15] 아직 완전한 자동화를 기대하고 있지는 않습니다.

[01:11:18] 저는 자율성 슬라이더를 보고 있습니다.

[01:11:21] 우리가 즉시 사람들을 대체하지는 않을 것이라고 예상합니다.

[01:11:25] 업무량의 80%를 수행하는 AI들을 투입할 것입니다.

[01:11:29] 그들은 업무량의 20%를 인간에게 위임하고, 인간들은 더 기계적인 콜센터 업무를 하는

[01:11:33] 5개의 AI 팀을 감독할 것입니다. 저는 어떤 계층을 제공하는 새로운 인터페이스나 새로운 회사들을 찾고 있을 것입니다.

[01:11:39] 그것을 관리할 수 있게 해주는 말이죠.

[01:11:44] 아직 완벽하지 않은 AI들을 관리하는 일이죠. 그런 일들이 경제 전반에서 일어날 것으로 예상합니다.

[01:11:48] 많은 직업들이 콜센터 직원보다 훨씬 더 어렵습니다.

[01:11:52] 방사선과 의사의 경우, 저는 완전히 추측하고 있고 방사선과 의사의 실제 업무 과정이

[01:11:56] 어떤지 전혀 모릅니다. 하지만 적용될 수 있는 한 가지 비유는 웨이모가 처음 출시됐을 때,

[01:12:03] 앞자리에 사람이 앉아 있었고, 정말 문제가 생겼을 때를 대비해 그들이 거기에 있어야 했습니다.

[01:12:09] 모니터링을 위해서요. 오늘날에도 사람들이 여전히 지켜보고 있습니다.

[01:12:12] 모든 것이 잘 돌아가고 있는지 확인하기 위해서요.

[01:12:15] 방금 배치된 로보택시에도 여전히 사람이 타고 있습니다.

[01:12:19] 이제 우리가 비슷한 상황에 있을 수 있습니다. 만약 당신이 직업의 99%를 자동화한다면,

[01:12:25] 인간이 해야 할 마지막 1%가 엄청나게 가치 있는데, 왜냐하면 그것이 다른 모든 것을 병목현상으로 만들기 때문입니다.

[01:12:29] 방사선과 의사의 경우도 마찬가지라면, 웨이모 앞자리에 앉은 사람이

[01:12:35] 마지막 1%를 제공하기 위해 수년간 특별한 훈련을 받아야 한다면, 그들의 임금은

[01:12:39] 엄청나게 올라가야 합니다. 왜냐하면 그들이 광범위한 배치를 막는 유일한 병목 지점이기 때문입니다.

[01:12:43] 방사선과 의사들의 임금이 비슷한 이유로 올라갔다고 생각합니다.

[01:12:46] 당신이 마지막 병목 지점이고 대체 불가능하다면요. 웨이모 운전자는 다른 사람들과 교체 가능할 수 있습니다.

[01:12:53] 그래서 당신은 99%에 도달할 때까지 임금이 올라가다가 마지막 1%가 사라지면

[01:12:57] 바로 그렇게 떨어지는 현상을 볼 수 있을 겁니다. 우리가 방사선학이나

[01:13:02] 콜센터 직원들의 급여, 또는 그런 것들에서 비슷한 현상을 보고 있는지 궁금합니다.

[01:13:07] 흥미로운 질문입니다. 현재 방사선학에서는 그런 현상을 보지 못하고 있다고 생각합니다.

[01:13:15] 방사선학은 좋은 예가 아니라고 생각합니다. 제프 힌튼이 왜

[01:13:19] 방사선학을 선택했는지 모르겠습니다. 왜냐하면 그것은 극도로 복잡하고 까다로운 직업이라고 생각하기 때문입니다.

[01:13:25] 오늘날 콜센터 직원들에게 무슨 일이 일어나고 있는지가

[01:13:28] 훨씬 더 흥미로울 것 같습니다. 왜냐하면 반복적인 업무의 많은 부분이 오늘날 자동화될 수 있을 것으로 예상하기 때문입니다.

[01:13:32] 저는 직접적인 접근은 없지만 콜센터 직원들에게

[01:13:36] 무슨 일이 일어나고 있는지 트렌드를 찾아볼 것입니다. 또한 제가 예상하는 것 중 일부는

[01:13:40] 그들이 AI를 도입하고 있을 수도 있지만, 그래도 1년이나 2년 정도는 기다려볼 것입니다.

[01:13:45] 왜냐하면 그들이 철수해서 일부 직원들을 다시 고용할 가능성이 있기 때문입니다.

[01:13:49] AI를 도입한 회사들에서 그런 일이 이미 일어나고 있다는 증거가 있습니다.

[01:13:53] 이것은 정말 놀라운 일이라고 생각합니다. 또한 정말 놀라웠던 것을 발견했습니다. AGI,

[01:13:59] 맞죠? 모든 것을 할 수 있는 것. 육체적 노동은 제외하지만,

[01:14:04] 모든 지식 노동을 할 수 있어야 합니다. 순진하게 예상했을 것은

[01:14:09] 이런 진행 과정이 컨설턴트가 하고 있는 작은 업무를 가져와서

[01:14:14] 바구니에서 빼는 것입니다. 회계사가 하고 있는 작은 업무를 가져와서

[01:14:19] 바구니에서 빼는 것입니다. 그런 다음 모든 지식 노동에 걸쳐

[01:14:22] 이런 일을 하는 것입니다. 하지만 우리가 현재 패러다임으로

[01:14:25] AGI의 길에 있다고 믿는다면, 진행 과정은 전혀 그렇지 않습니다.

[01:14:30] 컨설턴트나 회계사들이 큰 생산성 향상을 얻고 있는 것 같지 않습니다.

[01:14:34] 프로그래머들의 업무가 점점 더 많이 깎여나가고 있는 것 같습니다.

[01:14:39] 이런 회사들의 수익을 보면, 일반적인 채팅 수익(구글과 비슷한)을 제외하고 API 수익만 보면 코딩이 압도적으로 많습니다.

[01:14:46] "범용"적이라고 하고 어떤 지식 작업이든 할 수 있어야 하는 것이

[01:14:51] 압도적으로 코딩만 하고 있습니다.

[01:14:56] AGI가 배포되는 방식으로는 놀라운 방법이죠.

[01:15:00] 여기서 흥미로운 점이 있습니다.

[01:15:04] 저는 코딩이 이런 LLM과 에이전트들에게 완벽한 첫 번째 영역이라고 생각합니다.

[01:15:12] 코딩은 근본적으로 항상 텍스트를 중심으로 작동해왔기 때문입니다.

[01:15:17] 컴퓨터 터미널과 텍스트, 모든 것이 텍스트 기반입니다.

[01:15:20] LLM들은 인터넷에서 학습된 방식으로 텍스트를 좋아합니다.

[01:15:24] 완벽한 텍스트 프로세서이고, 거기엔 많은 데이터가 있습니다. 완벽한 조합이죠.

[01:15:29] 또한 코드와 텍스트를 처리하기 위한 인프라가 이미 많이 구축되어 있습니다.

[01:15:33] 예를 들어, Visual Studio Code나 선호하는 IDE가 코드를 보여주고

[01:15:41] 에이전트가 그것에 연결할 수 있습니다. 에이전트가 어떤 변경을 한 diff가 있다면

[01:15:45] diff를 사용해서 코드베이스의 모든 차이점을 보여주는 코드가 이미 있습니다.

[01:15:51] 마치 코드를 위한 인프라를 미리 구축해 놓은 것 같습니다.

[01:15:55] 그런 혜택을 전혀 누리지 못하는 것들과 대조해보세요.

[01:15:58] 예를 들어, 코딩이 아닌 슬라이드 자동화를 구축하려는 사람들이 있습니다.

[01:16:03] 슬라이드를 다루는 회사를 봤는데, 훨씬 더 어렵습니다.

[01:16:07] 훨씬 어려운 이유는 슬라이드가 텍스트가 아니기 때문입니다.

[01:16:11] 슬라이드는 작은 그래픽들이고, 공간적으로 배치되어 있으며, 시각적 요소가 있습니다.

[01:16:18] 슬라이드에는 이런 미리 구축된 인프라가 없습니다. 예를 들어, 에이전트가 슬라이드를 변경한다면

[01:16:24] 어떻게 diff를 보여줄까요? diff를 어떻게 볼 수 있을까요?

[01:16:26] 슬라이드용 diff를 보여주는 것은 없습니다. 누군가 만들어야 합니다.

[01:16:34] 이런 것들 중 일부는 텍스트 프로세서인 AI에게 적합하지 않은데, 코드는 놀랍게도 적합합니다.

[01:16:42] 그것만으로는 설명이 안 되는 것 같습니다. 개인적으로 저는 LLM을 순수한 언어 입력, 언어 출력 영역에서 유용하게 만들려고 시도했습니다.

[01:16:49] 대본 재작성, 대본 기반 클립 만들기 같은 것들 말이죠.

[01:16:57] 제가 가능한 모든 것을 다 하지 않았을 가능성이 큽니다.

[01:17:00] 컨텍스트에 좋은 예시들을 많이 넣었지만, 아마 파인튜닝을 했어야 했을지도 모르죠.

[01:17:06] 공통 친구인 앤디 마투샤크가 말하길, 모델들이 간격 반복 프롬프트 작성을 잘하게 만들려고 500억 가지를 시도했다고 합니다.

[01:17:13] 다시 말하지만, 매우 언어 입력, 언어 출력 작업으로, LLM의 레퍼토리의 정중앙에 있어야 할 종류의 것들입니다.

[01:17:19] 그는 몇 가지 예시와 함께 인컨텍스트 학습을 시도했습니다.

[01:17:22] 지도 학습 파인튜닝과 검색도 시도했습니다.

[01:17:25] 하지만 자신이 만족할 만한 카드를 만들게 할 수 없었습니다.

[01:17:35] 언어 출력 영역에서도

[01:17:39] 코딩을 제외하고 이런 모델들로부터 많은 경제적 가치를 얻어내기가 매우 어렵다는 점이 인상적입니다.

[01:17:45] 뭘로 설명할 수 있을지 모르겠습니다. 그게 맞는 것 같네요.

[01:17:52] 모든 텍스트가 사소하다고 말하는 게 아닙니다. 코드는 꽤 구조화되어 있다고 생각합니다.

[01:17:58] 텍스트는 아마 훨씬 더 화려하고, 텍스트에는 엔트로피가 훨씬 많을 것 같습니다.

[01:18:04] 달리 표현할 방법을 모르겠네요. 또한 코드는 어렵고, 그래서 사람들이 꽤

[01:18:10] 간단한 지식만으로도 LLM의 힘을 빌릴 수 있게 됩니다. 이에 대해 정확한 답변을 드리기는 어렵네요.

[01:18:19] 분명히 텍스트는 훨씬 쉽게 만들어주지만, 모든 텍스트가 사소하다는 뜻은 아닙니다.

[01:18:25] 초지능에 대해서는 어떻게 생각하시나요? 일반 인간이나 인간 회사들과는

[01:18:29] 질적으로 다르게 느껴질 거라고 예상하시나요? 저는 이를 사회의

[01:18:37] 자동화의 연장선상으로 봅니다. 컴퓨팅 기술의 발전 추세를 보면

[01:18:42] 많은 것들이 점진적으로 자동화될 것이고, 초지능은 그러한 연장선상에 있을 겁니다.

[01:18:47] 시간이 지나면서 디지털 작업을 수행하고

[01:18:50] 나중에는 물리적 작업까지 처리하는 자율적인 개체들이 더 많아질 것으로 예상합니다.

[01:18:56] 기본적으로 저는 이를 단순히 자동화로 보고 있습니다.

[01:19:00] 하지만 자동화는 인간이 이미 할 수 있는 일들을 포함하고, 초지능은

[01:19:03] 인간이 할 수 없는 일들을 의미합니다. 하지만 사람들이 하는 일 중 하나는

[01:19:05] 새로운 것을 발명하는 것인데, 이 역시 자동화에 포함시킬 수 있다고 생각합니다.

[01:19:10] 하지만 좀 더 구체적이고 질적으로 물어보면, 어떤 것이 느껴질 것이라고

[01:19:18] 예상하시나요? 이것이 매우 빠르게 생각할 수 있거나, 수많은 복사본을 가지거나, 복사본들이

[01:19:26] 자신들과 다시 합쳐질 수 있거나, 훨씬 똑똑하거나, AI가 가질 수 있는 여러 장점들로 인해

[01:19:36] 이러한 AI들이 존재하는 문명이 인간과는 질적으로 다르게 느껴질까요?

[01:19:39] 그럴 것이라고 생각합니다. 근본적으로는 자동화지만, 극도로 낯설 것입니다.

[01:19:44] 정말 이상하게 보일 겁니다. 말씀하신 것처럼, 컴퓨터 클러스터에서 이 모든 것을 훨씬 빠르게 실행할 수 있습니다.

[01:19:53] 세상이 그렇게 되었을 때 제가 불안해지기 시작하는 시나리오들은

[01:19:58] 무슨 일이 일어나고 있는지에 대한 통제력과 이해력의 점진적 상실입니다.

[01:20:01] 그것이 가장 가능성 있는 결과라고 생각합니다. 점진적인 이해력 상실이 있을 것입니다.

[01:20:07] 우리는 점진적으로 이 모든 것을 곳곳에 배치할 것이고,

[01:20:10] 이를 이해하는 사람들은 점점 줄어들 것입니다. 그러면 무슨 일이

[01:20:14] 일어나고 있는지에 대한 통제력과 이해력의 점진적 상실이 있을 것입니다.

[01:20:19] 그것이 모든 일이 어떻게 진행될지에 대한 가장 가능성 있는 결과라고 봅니다.

[01:20:22] 그 부분을 좀 더 자세히 알아보겠습니다. 통제력 상실과 이해력 상실이

[01:20:27] 같은 것인지는 명확하지 않습니다. TSMC나 인텔 같은 회사의 이사회를 보면, 그들은 그저 80세의 권위 있는 사람들입니다.

[01:20:37] 그들은 이해도가 매우 낮고, 실질적으로 실제 통제력도 없을지 모릅니다.

[01:20:43] 더 좋은 예는

[01:20:43] 미국 대통령입니다. 대통령은 엄청난 권력을 가지고 있습니다.

[01:20:48] 현재 재임자에 대해 좋은 말을 하려는 건 아니지만, 어쩌면 그럴 수도 있고요.

[01:20:53] 하지만 실제 이해 수준과 통제 수준은 매우 다릅니다.

[01:20:56] 그 지적은 타당합니다. 좋은 반박이네요. 저는 둘 다 상실될 것이라고 예상합니다.

[01:21:05] 왜 그런가요? 이해력 상실은 명백하지만, 왜 통제력도 상실될까요?

[01:21:10] 우리는 제가 어떤 모습일지 모르는 영역에 깊이 들어와 있지만,

[01:21:14] 만약 제가 SF 소설을 쓴다면, 모든 것을 장악하는 단일 개체가 아니라

[01:21:22] 점점 더 자율적이 되는 여러 경쟁 개체들의 모습일 것입니다.

[01:21:27] 그 중 일부는 통제를 벗어나고 다른 것들이 그들을 막아내는 상황입니다.

[01:21:31] 우리가 위임한 완전히 자율적인 활동들의 뜨거운 용광로 같은 상황이 될 것입니다.

[01:21:37] 그런 느낌이 들 것 같습니다. 통제력을 잃게 되는 것은 AI가 우리보다 똑똑하다는 사실 때문이 아니라

[01:21:43] AI들이 서로 경쟁한다는 사실 때문입니다. 그 경쟁에서 나오는 결과가 통제력 상실로 이어지는 거죠.

[01:21:47] 이런 것들 중 많은 부분이 사람들을 위한 도구가 될 것이고, 사람들을 대신해서 행동하거나 그런 식으로 작동할 겁니다.

[01:21:58] 그러면 그 사람들이 통제하고 있다고 볼 수도 있겠지만,

[01:22:04] 우리가 원하는 결과라는 측면에서 보면

[01:22:07] 사회 전체적으로는 통제력을 잃는 것일 수도 있습니다. 개인들을 대신해서 행동하는 개체들이 있지만

[01:22:13] 여전히 대체로 통제할 수 없는 상태로 보이는 거죠.

[01:22:20] 이건 좀 더 일찍 물어봤어야 할 질문인데요.

[01:22:24] 현재 AI 엔지니어링이나 AI 연구를 할 때, 이런 모델들이 대체재라기보다는

[01:22:29] 컴파일러 카테고리에 더 가깝게 느껴진다고 얘기했는데요.

[01:22:34] 언젠가 AGI가 있다면, 당신이 하는 일을 할 수 있어야겠죠.

[01:22:38] 당신의 복사본 백만 개가 병렬로 작동한다면 AI 발전에 엄청난 속도 향상을 가져올 거라고 생각하시나요?

[01:22:43] 만약 그런 일이 일어난다면, 진짜 AGI를 갖게 되면 지능 폭발을 보게 될 거라고 기대하시나요?

[01:22:49] 오늘날의 LLM에 대한 얘기가 아니라요. 그런 일은 일어날 거라고 봅니다만, 평상시와 다를 바 없을 겁니다.

[01:22:56] 왜냐하면 우리는 이미 지능 폭발 속에 있고 수십 년째 그래왔거든요.

[01:23:00] 기본적으로 GDP 곡선이 산업의 너무나 많은 측면에 걸친

[01:23:03] 지수적 가중합인 거죠.

[01:23:06] 모든 것이 점진적으로 자동화되고 있고 수백 년간 그래왔습니다.

[01:23:10] 산업혁명은 물리적 구성요소와 도구 제작 등의

[01:23:13] 자동화이고 이런 모든 것들이죠. 컴파일러는 초기 소프트웨어 자동화고요.

[01:23:16] 우리는 오랫동안 재귀적으로 자기 개선을 하며 폭발적으로 성장해왔습니다.

[01:23:21] 다른 관점에서 보면, 지구는 생체역학 등을 보지 않고는 꽤 지루한 곳이었고

[01:23:27] 매우 비슷해 보였습니다. 우주에서 보면, 우리는 이 폭죽 이벤트의

[01:23:33] 한가운데 있지만, 그것을 슬로모션으로 보고 있는 거죠.

[01:23:38] 이것이 정말 오랫동안 이미 일어나고 있었다고 확실히 느낍니다.

[01:23:42] 다시 말하지만, 저는 AI를 오랫동안 일어나고 있던 일과

[01:23:47] 구별되는 기술로 보지 않습니다.

[01:23:50] 이 초지수적 트렌드와 연속선상에 있다고 보시는 건가요?

[01:23:53] 그렇습니다. 그래서 이게 저에게 매우 흥미로웠는데,

[01:23:57] 한동안 GDP에서 AI를 찾으려고 노력했거든요.

[01:24:01] GDP가 올라가야 한다고 생각했어요. 하지만 제가 매우 혁신적이라고 생각했던

[01:24:04] 컴퓨터나 휴대폰 등과 같은 다른 기술들을 살펴보니

[01:24:08] GDP에서 찾을 수 없더군요. GDP는 같은 지수함수예요. 심지어 초기 iPhone도 앱스토어가 없었고

[01:24:13] 현재 iPhone이 가진 많은 부가기능들이 없었어요.

[01:24:18] 그래서 우리가 iPhone이 나온 2008년을 이 거대한 지각 변동으로 생각하지만

[01:24:21] 실제로는 그렇지 않습니다. 모든 것이 너무 분산되어 있고

[01:24:25] 너무 천천히 확산되어서 결국 모든 것이 같은 지수함수로 평균화됩니다.

[01:24:28] 컴퓨터도 정확히 똑같아요. GDP에서 컴퓨터를 찾을 수 없습니다.

[01:24:31] '오, 이제 컴퓨터가 있네'라고 할 수 없어요.

[01:24:33] 너무 느린 진행이기 때문에 그런 일은 일어나지 않았어요. AI에서도 정확히 똑같은 것을 보게 될 겁니다. 그냥 더 많은 자동화일 뿐이에요. 우리가 쓸 수 있게 해주는 거죠

[01:24:37] 이전에는 작성할 수 없었던 다양한 종류의 프로그램을 작성할 수 있게 해주지만, AI는 여전히 근본적으로 프로그램입니다.

[01:24:42] 새로운 종류의 컴퓨터이자 새로운 종류의 컴퓨팅 시스템이죠.

[01:24:46] 하지만 여러 문제들이 있고, 시간이 지나면서 확산될 것이며,

[01:24:49] 결국 같은 지수적 성장에 합쳐질 것입니다.

[01:24:52] 우리는 여전히 극도로 가파르게 증가하는 지수곡선을 갖게 될 것입니다.

[01:24:56] 그런 환경에서 살아간다는 것은 매우 낯선 경험이 될 것입니다.

[01:24:59] 산업혁명 이전부터 지금까지의 추세를 보면, 하이퍼 지수적 성장이 있었다고 말씀하시는 건가요?

[01:25:05] 0% 성장에서 시작해서 1만 년 전에는 0.02% 성장,

[01:25:11] 그리고 지금은 2% 성장을 보이는 하이퍼 지수적 성장 말입니다.

[01:25:15] AI를 이 차트에 놓으면 AI가 20% 성장이나 200% 성장으로 이끈다고 보시는 건가요?

[01:25:20] 아니면 지난 300년을 보면, 컴퓨터, 전기화,

[01:25:23] 증기기관, 철도 등 기술들이 계속 나왔지만

[01:25:27] 성장률은 똑같이 2%를 유지했다고 말씀하시는 건가요?

[01:25:33] 성장률이 올라갈 것이라고 보시나요? 성장률도 대략적으로 일정하게 유지되어 왔잖아요?

[01:25:38] 지난 200-300년 동안만 그랬죠.

[01:25:41] 하지만 인류 역사 전체로 보면 폭발적으로 증가했습니다.

[01:25:44] 0%에서 점점 더 빠르게, 더 빠르게 증가해서 산업혁명 이후 2%에 도달했죠.

[01:25:51] 한동안 GDP 곡선에서 AI를 찾아보려고 노력했는데,

[01:25:54] 이것이 잘못된 접근이라는 확신이 들었습니다.

[01:25:58] 재귀적 자기개선이나 연구소들에 대해 사람들이 이야기할 때도

[01:26:01] 이것은 평상시와 다름없는 일입니다. 물론 재귀적으로 자기개선할 것이고,

[01:26:05] 이미 재귀적으로 자기개선해왔습니다. LLM은 엔지니어들이 다음 세대 LLM을 훨씬 더 효율적으로 구축할 수 있게 해주고,

[01:26:11] 훨씬 더 많은 구성 요소들이 자동화되고 조정되고 있습니다.

[01:26:14] 모든 엔지니어들이 구글 검색에 접근할 수 있다는 것도 그 일부죠.

[01:26:19] 모든 엔지니어들이 IDE를 갖고, 자동완성이나 Claude 코드를 사용하는 것,

[01:26:23] 이 모든 것들이 전체적인 속도 향상의 일부입니다. 너무나 자연스럽게 진행되죠.

[01:26:30] 명확히 하자면, 성장률은 변하지 않을 것이라고 말씀하시는 건가요?

[01:26:35] 지능 폭발은 우리가 2% 성장 궤도를 계속 유지할 수 있게 해주는 것으로,

[01:26:39] 인터넷이 2% 성장 궤도를 유지하는 데 도움을 준 것과 같은 방식으로 나타날 것이다?

[01:26:42] 네, 제 예상으로는 같은 패턴을 유지할 것입니다.

[01:26:47] 반대 논리를 제시해보자면, 제 예상으로는 폭발적으로 증가할 것입니다. 왜냐하면

[01:26:55] 진정한 AGI는—LLM 코딩 봇 말고 실제로 서버에서 인간을 완전히 대체할 수 있는—

[01:27:00] 다른 생산성 향상 기술들과 질적으로 다르다고 생각하기 때문입니다.

[01:27:07] 바로 노동력 그 자체이기 때문이죠. 우리는 매우 노동력이 제약된 세상에서 살고 있습니다.

[01:27:13] 어떤 스타트업 창업자나 누구에게든 물어보면, 더 필요한 게 뭐냐고 하면

[01:27:17] 정말 재능 있는 사람들이라고 답할 것입니다. 그런데 만약 물건을 발명하고,

[01:27:22] 스스로를 통합하며, 처음부터 끝까지 회사를 만드는 수십억 명의 추가 인력이 있다면

[01:27:28] 그것은 단일 기술과는 질적으로 다른 느낌입니다.

[01:27:32] 지구상에 100억 명의 추가 인구를 얻는 것과 같죠. 반박할 수 있는 논리가 있습니다.

[01:27:37] 이 점에 대해서는 어느 쪽이든 확신을 가질 수 있을 것 같습니다. 하지만 예를 들어, 컴퓨팅이 바로 노동력이라는 점을 말씀드리고 싶습니다.

[01:27:42] 컴퓨팅은 노동력이었죠. 컴퓨터 때문에 많은 일자리가 사라졌습니다. 컴퓨터가

[01:27:45] 디지털 정보 처리 업무를 자동화하면서 더 이상 인간이 필요 없게 된 것들이 많아졌거든요.

[01:27:50] 그래서 컴퓨터는 노동력이고, 이는 이미 현실이 되었습니다. 자율주행을 예로 들면, 이것도 컴퓨터가 하는 노동이죠.

[01:27:57] 이미 진행되고 있는 일입니다. 여전히 평상시와 다를 바 없어요.

[01:28:02] 잠재적으로 더 빠른 속도로 더 많은 것들을 만들어내는 기계가 있는 거죠.

[01:28:08] 역사적으로 우리는 성장 체제가 변화한 사례들을 가지고 있습니다.

[01:28:11] 0.2% 성장에서 2% 성장으로 도약했던 때 말이죠. 다음 자율주행차와 다음 인터넷, 그 외 모든 것들을 만들어내는 기계가

[01:28:18] 있다면 충분히 그럴 가능성이 있어 보입니다...

[01:28:23] 어디서 나오는 이야기인지는 이해합니다. 동시에 저는

[01:28:27] 사람들이 '우리가 상자 안에 신을 가두어 놨고, 이제 그것이 모든 것을

[01:28:31] 할 수 있다'고 가정하는 것 같은데, 실제로는 그렇지 않을 것 같아요.

[01:28:36] 일부는 할 수 있겠지만, 다른 일부는 실패할 거고요.

[01:28:39] 사회에 점진적으로 도입될 것이고, 결국 같은 패턴으로 귀결될 겁니다. 그게 제 예측이에요. 갑자기

[01:28:43] 완전히 지능적이고, 완전히 유연하고, 완전히 범용적인 인간을 상자 안에 가두어 놓고, 사회의 임의의 문제에

[01:28:49] 이를 투입할 수 있다는 가정은, 저는 이런 불연속적인 변화가 일어날 것이라고 생각하지 않습니다.

[01:28:57] 저는 이런 기술이 산업 전반에 걸쳐 같은 종류의 점진적인 확산으로 도달할 것이라고 생각합니다.

[01:29:03] 이런 대화에서는 종종 오해의 소지가 있게 됩니다.

[01:29:09] 저는 이런 맥락에서 '지능'이라는 단어를 쓰는 것을 좋아하지 않는데, 지능이라고 하면

[01:29:12] 서버에 앉아있는 단일한 초지능이 있고, 그것이 어떻게 새로운 기술과

[01:29:18] 발명을 만들어내서 이런 폭발적 성장을 일으킬지 알아낼 것이라는 의미가 내포되어 있거든요.

[01:29:22] 제가 20% 성장을 상상할 때는 그런 게 아닙니다.

[01:29:25] 저는 수십억 개의 매우 똑똑한 인간 같은 마음들이 있다고 상상하고 있어요. 잠재적으로 말이죠.

[01:29:33] 아니면 그 정도만 있으면 됩니다. 하지만 수억, 수십억 개가 있다는 사실이

[01:29:36] 각각 개별적으로 새로운 제품을 만들고, 경제에 스스로를 통합하는 방법을 알아내는 거죠.

[01:29:41] 만약 경험이 풍부하고 똑똑한 이민자가 이 나라에 온다면, 우리가 그들을 경제에 어떻게 통합할지

[01:29:46] 고민할 필요가 없겠죠. 그들이 알아서 할 테니까요.

[01:29:49] 회사를 차릴 수도 있고, 발명을 할 수도 있고, 세상의 생산성을 높일 수도 있어요.

[01:29:55] 현재 체제에서도 10-20% 경제 성장을 이룬 곳들의 사례가 있습니다.

[01:30:01] 사람이 많고 그에 비해 자본이 적다면

[01:30:05] 홍콩이나 선전 같은 곳에서 수십 년간 10% 이상의 성장을 할 수 있어요.

[01:30:13] 자원을 활용할 준비가 된 정말 똑똑한 사람들이 많이 있고

[01:30:17] 불연속성이 있었기 때문에 이런 따라잡기 기간을 거치는 거죠. AI도 비슷할 수 있다고 생각합니다.

[01:30:24] 이해는 하지만, 여전히 어떤 불연속적인 도약을 전제하고 계신 것 같아요.

[01:30:28] 우리가 차지하기를 기다리고 있는 어떤 잠금 해제가 있다는 거죠. 그리고 갑자기 우리가

[01:30:31] 데이터센터에 천재들을 갖게 될 거라는.

[01:30:34] 여전히 역사적 선례가 없는 어떤 불연속적인 도약을 전제하고 계신 것 같은데, 저는 어떤 통계에서도

[01:30:39] 그런 걸 찾을 수 없고, 아마 일어나지 않을 거라고 생각합니다.

[01:30:43] 성장률이 0.2%에서 2%로 점프했잖아요. 저는 그와 같은 또 다른 점프가 일어날 거라고 말하는 거예요.

[01:30:49] 저는 조금 의심스럽긴 해요. 한번 살펴봐야겠어요.

[01:30:53] 예를 들어, 산업혁명 이전의 기록들은 그다지 정확하지 않아요.

[01:30:59] 조금 의심스럽긴 하지만 강한 의견은 없어요.

[01:31:04] 당신은 이것이 극도로 마법 같은 단일 사건이었다고 말하는 거군요.

[01:31:07] 그와 똑같이 극도로 마법 같은

[01:31:09] 또 다른 사건이 일어날 거라고요. 패러다임을 깨뜨리는 그런 사건 말이에요.

[01:31:12] 사실 저는... 산업혁명에서 중요한 것은 그것이 마법 같지 않았다는 점이에요.

[01:31:18] 확대해서 보면, 1770년이나 1870년에 어떤 핵심적인 발명이 있었던 게 아니에요.

[01:31:28] 하지만 동시에 경제를 훨씬 빠른 발전이 가능한

[01:31:32] 체제로 이동시켰고, 지수적 성장이 10배가 되었죠. AI에서도 비슷한 일이 일어날 것으로 기대해요.

[01:31:37] 결정적인 발명을 한 단일한 순간이 있을 것 같지는 않아요.

[01:31:42] 잠재된 것이 해제되는 거죠. 새로운 에너지원처럼요.

[01:31:45] 어떤 해제가 있는 거예요. 이 경우에는 일종의 인지 능력이고, 해야 할

[01:31:49] 인지적 작업들의 잠재력이 있는 거죠. 맞아요.

[01:31:52] 그 잠재력이 임계점을 넘으면 이 새로운 기술로 채워질 것으로 기대하는 거군요.

[01:31:56] 한 가지 생각해볼 방법은 역사를 통해 많은 성장이

[01:32:01] 사람들이 아이디어를 떠올리고, 그 아이디어들을 실행하여

[01:32:06] 가치 있는 결과를 만들어내는 것에서 나온다는 점이에요. 이 시간 대부분 동안 인구가

[01:32:11] 폭발적으로 증가했어요. 그것이 성장을 견인했죠. 지난 50년 동안 사람들은

[01:32:14] 성장이 정체되었다고 주장해왔어요. 선진국의 인구도

[01:32:17] 정체되었고요. 저는 우리가

[01:32:19] 인구의 지수적 성장으로 돌아가서 결과적으로 초지수적 성장을 일으킬 것이라고 생각해요.

[01:32:28] 정말 판단하기 어려워요. 그 관점을 이해하지만

[01:32:32] 직관적으로는 그 관점에 동의하지 않아요. 당신이 닉 레인의 책을 추천해주셨죠.

[01:33:40] 그 덕분에 정말 흥미롭게 읽었고 그를 인터뷰하기도 했어요.

[01:33:45] 지능과 진화 역사에 대한 생각에 관해 몇 가지 질문이 있어요.

[01:33:49] 지난 20년간 AI 연구를 하면서 지능이 무엇인지, 그것을 개발하는 데 무엇이 필요한지

[01:33:54] 더 구체적으로 이해하게 되셨을 텐데요. 그 결과로 진화가 자연스럽게

[01:34:01] 지능을 우연히 발견했다는 사실에 대해 더 놀라게 되셨나요, 덜 놀라게 되셨나요? 저는 닉 레인의 책을 정말 좋아해요. 여기 오는 길에도

[01:34:12] 그의 팟캐스트를 듣고 있었어요. 지능과 그 진화에 관해서는

[01:34:15] 정말 최근의 일이에요. 지능이 진화했다는 것에 놀라워해요.

[01:34:23] 저 밖에 있는 모든 세계들에 대해 생각해보는 것이 흥미로워요.

[01:34:25] 지구 같은 행성이 천 개 있다고 하면 그들이 어떻게 생겼을까요.

[01:34:27] 닉 레인이 여기서 가장 초기 단계들에 대해 이야기했다고 생각해요.

[01:34:30] 그는 대략적으로 말해서 매우 유사한 생명체들과

[01:34:34] 박테리아 같은 것들이 대부분의 행성에 있을 것이라고 예상해요. 거기에는 몇 가지 단절이 있어요.

[01:34:39] 지능의 진화는 직관적으로 상당히 드문 사건이어야 할 것 같아요.

[01:34:45] 아마도 어떤 것이 얼마나 오래 존재해왔는지를 기준으로 해야 할 것 같아요.

[01:34:49] 박테리아가 20억 년 동안 있었는데 아무 일도 일어나지 않았다면, 진핵생물로의 진화는

[01:34:52] 박테리아는 지구 진화나 역사에서 꽤 이른 시기에 나타났기 때문에 아마도 상당히 어려웠을 것입니다.

[01:35:02] 동물은 얼마나 오래 존재해 왔을까요? 아마도 몇억 년 정도,

[01:35:04] 돌아다니고 기어다니는 다세포 동물들 말이죠.

[01:35:08] 그것은 지구 수명의 약 10% 정도입니다. 그 시간 척도로 보면 그렇게 까다롭지는 않을 것 같아요.

[01:35:18] 그래도 직관적으로 그것이 발달했다는 것이 놀라워요.

[01:35:20] 저는 아마도 동물 같은 생명체들이 동물 같은 일들만 하는 것을 기대할 것 같아요.

[01:35:24] 문화와 지식을 창조하고

[01:35:28] 축적할 수 있는 것이 나타난다는 사실이 놀라워요. 몇 가지 흥미로운 후속 질문들이 있습니다.

[01:35:35] 지능의 핵심이 동물 지능이라는 서튼의 관점을 받아들인다면...

[01:35:41] 그가 한 말은 '다람쥐에 도달했다면, AGI의 대부분을 달성한 것'이라는 것이었어요.

[01:35:46] 우리는 6억 년 전 캄브리아기 대폭발 직후에 다람쥐 지능에 도달했습니다.

[01:35:51] 그것을 촉발한 것은 6억 년 전의 산소화 사건인 것 같아요.

[01:35:56] 하지만 다람쥐 지능을 만들어내는 지능 알고리즘이 즉시 그곳에 있었던 것 같습니다.

[01:36:02] 동물 지능이 그런 식이었다는 것을 시사해요.

[01:36:06] 환경에 산소가 생기자마자 진핵생물이 있었고,

[01:36:09] 알고리즘을 얻을 수 있었던 것 같아요. 아마도 우연히

[01:36:14] 진화가 그렇게 빨리 그것을 발견한 것일 수도 있지만, 그것이

[01:36:18] 결국 상당히 단순할 것이라는 것을 시사하는지는 모르겠어요. 이런 일들은 판단하기가 너무 어려워요.

[01:36:23] 어떤 것이 얼마나 오래 존재했는지나

[01:36:26] 얼마나 오래 병목 상태에 있었던 것 같은지를 기준으로 할 수 있어요. 닉 레인은 매우

[01:36:30] 명백한 박테리아와 고세균의 병목현상을 설명하는 데 매우 뛰어나요. 20억 년 동안 아무 일도 일어나지 않았어요.

[01:36:34] 생화학의 극도로 다양한 변화가 있었지만, 동물이 되기 위해 성장하는 것은 아무것도 없었어요.

[01:36:41] 20억 년이에요. 우리가 동물과 지능에서 정확히 그런 종류의 동등한 것을

[01:36:46] 보았는지는 모르겠어요, 당신 말대로. 우리는 또한

[01:36:51] 특정 지능이 개별적으로 몇 번 나타났다고 생각하는지에 대해서도 볼 수 있어요.

[01:36:55] 그것은 정말로 조사해볼 가치가 있는 것이에요. 그것에 대한 한 가지 생각이 있어요. 인류의 지능이 있고,

[01:37:03] 그리고 조류의 지능이 있어요. 까마귀 등은 극도로 영리하지만,

[01:37:07] 그들의 뇌 부분은 상당히 다르고, 우리는 그렇게 많은 공통점이 없어요.

[01:37:13] 그것은 지능이 몇 번 나타났을 수도 있다는 약간의 징표예요.

[01:37:18] 그런 경우라면, 더 자주 기대할 수 있을 것이에요. 이전 게스트인 그웬과 칼 슐만은

[01:37:26] 이것에 대해 정말 흥미로운 지적을 했어요. 그들의 관점은 확장 가능한 알고리즘이

[01:37:32] 인간과 영장류가 가지고 있고, 새들에게도 나타났으며, 아마도 다른 때에도 나타났을 것이라는 거예요.

[01:37:39] 하지만 인간은 지능의 한계적 증가를 보상하는 진화적 틈새를 발견했고

[01:37:47] 또한 그러한 지능 증가를 달성할 수 있는 확장 가능한 뇌 알고리즘을 가지고 있었어요.

[01:37:53] 예를 들어, 새가 더 큰 뇌를 가지면 공중에서 그냥 떨어질 거예요.

[01:37:57] 뇌 크기에 비해서는 매우 똑똑하지만,

[01:38:00] 뇌가 더 커지는 것을 보상하는 틈새에 있지 않아요. 아마도 정말 똑똑한... 돌고래처럼요?

[01:38:08] 돌고래처럼요?

[01:38:10] 맞아요, 인간은 도구 사용법을 배우는 능력을 보상하는 손을 가지고 있어요. 우리는 소화를 외부화할 수 있고, 더 많은 에너지를

[01:38:14] 뇌를 발달시키고, 이것이 선순환 고리를 만들어냅니다. 또한 작업할 도구들도 있죠. 제가 돌고래였다면 더 어려웠을 것 같아요.

[01:38:19] 어떻게 불을 사용할 수 있을까요? 물속에서 할 수 있는 일의 범위는 아마도 땅에서 할 수 있는 것보다 화학적으로 제한적일 것입니다.

[01:38:28] 이런 생태적 틈새와 인센티브 구조에 대한 관점에 동의합니다. 하지만 여전히 기적적이라고 생각해요.

[01:38:33] 더 큰 근육을 가진 동물들에게 막혀버릴 것이라고 예상했거든요.

[01:38:38] 지능을 통해 발전하는 것은 정말 매혹적인 전환점입니다.

[01:38:47] Gwern이 말하길, 이것이 그토록 어려웠던 이유는 아주 좁은 경계선 때문이라고 합니다.

[01:38:51] 어떤 것을 학습하는 것이 너무 중요해서 정확한 회로를 DNA에 직접 새겨넣을 가치가 없는 상황과,

[01:38:56] 아예 학습할 필요가 없을 정도로 중요하지 않은 것 사이의 경계선 말이죠.

[01:39:03] 평생에 걸쳐 학습할 수 있는 알고리즘 구축을 장려하는 무언가가 있어야 합니다.

[01:39:10] 어떤 종류의 적응성을 장려해야 하는 거죠. 진화가 알고리즘을 가중치에 구워넣을 수 없을 정도로

[01:39:17] 예측 불가능한 환경이 필요합니다.

[01:39:21] 많은 동물들은 이런 의미에서 미리 구워져 있습니다.

[01:39:24] 인간은 태어났을 때 테스트 시간에 알아내야 합니다.

[01:39:30] 무엇이 잘 작동할지 예측할 수 없을 정도로 급변하는 환경을 원하는 거죠.

[01:39:35] 테스트 시간에 알아내기 위해 지능을 만들어내는 것입니다.

[01:39:42] Quintin Pope의 흥미로운 블로그 포스트가 있었는데, 그가 급격한 도약을 예상하지 않는 이유는

[01:39:45] 인간이 이미 그 급격한 도약을 겪었기 때문이라고 합니다.

[01:39:48] 6만 년 전에 우리가 오늘날 가지고 있는 인지 구조를 갖게 된 것 같고,

[01:39:55] 1만 년 전에 농업 혁명과 근대성이 일어났습니다.

[01:39:59] 그 5만 년 동안 무슨 일이 있었을까요?

[01:40:04] 세대를 거쳐 지식을 축적할 수 있는 문화적 발판을 구축해야 했습니다.

[01:40:11] 이것은 우리가 AI 훈련을 하는 방식에서는 무료로 존재하는 능력입니다.

[01:40:16] 많은 경우 이들은 말 그대로 증류됩니다. 모델을 재훈련하면,

[01:40:21] 서로를 훈련할 수 있고, 같은 사전 훈련 코퍼스로 훈련할 수 있으며,

[01:40:25] 말 그대로 처음부터 시작할 필요가 없습니다.

[01:40:31] 인간이 이 문화적 순환을 만들어내는 데 오랜 시간이 걸렸지만, LLM 훈련 방식에서는 그냥 공짜로 제공되는 측면이 있습니다.

[01:40:36] 맞기도 하고 틀리기도 해요. 왜냐하면 LLM은 실제로 문화의 등가물을 갖고 있지 않거든요.

[01:40:39] 아마도 우리가 너무 많은 것을 주면서

[01:40:42] 문화를 만들어내지 않도록 유도하고 있는지도 모릅니다.

[01:40:45] 하지만 문화의 발명과 기록된 기록,

[01:40:48] 서로에게 메모를 전달하는 것의 등가물이 지금 LLM에는 없다고 생각합니다.

[01:40:53] LLM은 현재 실제로 문화를 갖고 있지 않고, 이것이 장애물 중 하나라고 할 수 있습니다.

[01:40:58] LLM 문화가 어떤 모습일지 감을 좀 주실 수 있나요?

[01:41:01] 가장 단순한 경우에는 LLM이 편집할 수 있는 거대한 스크래치패드가 있고,

[01:41:06] 무언가를 읽거나 업무를 도울 때 자신을 위해 스크래치패드를 편집하는 것이겠죠.

[01:41:10] 왜 LLM이 다른 LLM을 위한 책을 쓸 수 없을까요? 그건 멋질 것 같은데요.

[01:41:16] 왜 다른 LLM들이 이 LLM의 책을 읽고 영감을 받거나 충격을 받을 수 없을까요?

[01:41:20] 이런 것들의 등가물이 전혀 없습니다. 흥미롭네요.

[01:41:24] 그런 일들이 언제쯤 일어나기 시작할 것으로 예상하시나요? 또한 다중 에이전트 시스템과 독립적인 AI 문명과 문화는요?

[01:41:31] 멀티 에이전트 영역에는 두 가지 강력한 아이디어가 있는데, 둘 다 아직 제대로 구현되지 않았습니다.

[01:41:34] 첫 번째는 문화와 LLM이 자신들만의 목적을 위해 지식의 레퍼토리를 늘려가는 것입니다.

[01:41:38] 두 번째는 셀프 플레이라는 강력한 아이디어와 매우 유사합니다.

[01:41:44] 제 생각에는 이것이 극도로 강력합니다. 진화에는 지능과 진화를 추진하는 많은 경쟁이 있습니다.

[01:41:47] 알고리즘적으로 보면 알파고가 자기 자신과 대결하며 바둑을 정말 잘하게 되는 방식입니다.

[01:41:53] 아직 셀프 플레이하는 LLM에 대한 동등한 사례는 없지만, 그런 것도 존재할 것으로 예상합니다.

[01:41:59] 아직 아무도 해내지 못했습니다. 예를 들어 왜 LLM이 다른 LLM이 해결하도록 학습할 문제들을 만들 수 없을까요?

[01:42:03] 그러면 LLM은 항상 더 어렵고 복잡한 문제들을 제공하려고 노력할 것입니다.

[01:42:07] 그런 것을 조직하는 방법은 많이 있습니다.

[01:42:10] 연구 영역이긴 하지만, 이런 멀티 에이전트 개선 사항들을 설득력 있게 구현한 것을 본 적이 없습니다.

[01:42:16] 우리는 대부분 개별 에이전트 영역에 머물러 있지만, 이는 바뀔 것입니다.

[01:42:22] 문화 영역에서도 조직과 같은 것들을 범주화할 것입니다.

[01:42:26] 그런 것들도 설득력 있게 본 적이 없습니다. 그래서 우리는 여전히 초기 단계에 있는 것입니다.

[01:42:31] LLM 간의 이런 종류의 협업을 막는 핵심적인 병목 지점을 찾아낼 수 있나요?

[01:42:37] 제가 표현하고 싶은 방식은, 이런 비유들 중 일부는 작동하는데 사실 작동하면 안 되지만, 놀랍게도 작동합니다.

[01:42:41] 더 작은 모델들이나 더 단순한 모델들이 놀랍게도 유치원생이나 초등학생, 고등학생과 닮아있습니다.

[01:42:45] 어떻게든 아직 이런 것들이 인간을 대체할 만큼 충분히 졸업하지 못했습니다.

[01:42:50] 제 Claude Code나 Codex는 여전히 초등학교 수준의 학생 같은 느낌입니다.

[01:42:56] 그들이 박사 과정 퀴즈를 풀 수 있다는 것은 알지만, 인지적으로는 여전히 유치원생이나 초등학생 같습니다.

[01:43:01] 그들이 문화를 만들어낼 수 있다고 생각하지 않는 이유는 아직 아이들이기 때문입니다. 천재적인 아이들이죠.

[01:43:07] 모든 것을 완벽하게 기억합니다.

[01:43:12] 정말 좋아 보이는 온갖 종류의 허접한 콘텐츠를 설득력 있게 만들어낼 수 있습니다.

[01:43:17] 하지만 여전히 그들이 자신이 무엇을 하고 있는지 정말로 알고 있다고 생각하지 않고

[01:43:21] 우리가 여전히 수집해야 할 이 모든 작은 체크박스들에 대한 인지 능력이 부족하다고 생각합니다.

[01:43:24] 당신이 2017년부터 2022년까지 테슬라에서 자율주행을 이끌었다고 말씀하셨는데요.

[01:43:33] 멋진 데모에서부터 지금 수천 대의 자동차가 실제로 자율주행을 하는 것까지의 진전을 직접 보셨죠.

[01:43:36] 왜 10년이나 걸렸을까요?

[01:43:38] 그 시간 동안 무슨 일이 일어났던 건가요?

[01:43:43] 제가 즉시 반박하고 싶은 한 가지는 이것이 끝나기에는 아직 멀었다는 것인데, 여러 방면에서 그렇습니다.

[01:43:50] 자율주행은 정말 흥미로운데, 제가 5년간 작업했기 때문에 많은 직관을 얻게 된 분야입니다.

[01:43:58] 자율주행의 첫 데모는 1980년대까지 거슬러 올라가는 전체 역사를 가지고 있습니다.

[01:44:01] 1986년 CMU의 데모를 볼 수 있습니다.

[01:44:06] 도로에서 스스로 운전하는 트럭이 있었죠. 시간이 흘러 제가 테슬라에 합류했을 때,

[01:44:13] 웨이모의 아주 초기 데모를 경험했습니다.

[01:44:16] 2014년경에 기본적으로 완벽한 주행을 경험했습니다. 10년 전에 완벽한 웨이모 주행을 말이죠.

[01:44:22] 거기서 일하는 친구가 있어서 팰로 알토 주변을 돌아다녔습니다.

[01:44:28] 그리고 기타 등등의 경험을 했죠.

[01:44:34]

[01:44:40]

[01:44:46]

[01:44:50] 매우 가깝다고 생각했는데도 여전히 오랜 시간이 걸렸습니다.

[01:44:54] 어떤 종류의 작업이나 업무의 경우, 데모와 제품 사이에 매우 큰 격차가 있습니다.

[01:45:02] 데모는 매우 쉽지만 제품은 매우 어렵습니다. 특히 자율주행과 같은 경우에 그렇죠.

[01:45:07] 실패 비용이 너무 높기 때문입니다.

[01:45:11] 많은 산업, 작업, 직업들은 그런 특성이 없을 수도 있지만, 그런 특성이 있다면

[01:45:15] 확실히 시간이 오래 걸립니다. 예를 들어 소프트웨어 엔지니어링에서는

[01:45:19] 그런 특성이 존재한다고 생각합니다. 간단한 코딩에서는 그렇지 않지만요.

[01:45:24] 하지만 실제 프로덕션 수준의 코드를 작성한다면, 그런 특성이 있어야 합니다.

[01:45:28] 어떤 실수든 보안 취약점이나 비슷한 문제로 이어지기 때문입니다.

[01:45:32] 수백만, 수억 명의 개인 사회보장번호가

[01:45:36] 유출되거나 하는 일이 벌어집니다. 그래서 소프트웨어에서도 사람들이 조심해야 합니다.

[01:45:42] 마치 자율주행처럼 말이죠. 자율주행에서 문제가 생기면

[01:45:46] 다칠 수 있습니다. 더 심각한 결과도 있죠. 하지만 소프트웨어에서는 거의

[01:45:52] 얼마나 끔찍한 일이 벌어질지 한계가 없습니다. 둘 다 그런 특성을 공유한다고 생각합니다.

[01:45:59] 오랜 시간이 걸리는 이유와 그것을 생각하는 방식은 '9의 행진'입니다.

[01:46:04] 각각의 9는 일정한 양의 작업입니다. 각각의 9는 같은 양의 작업입니다.

[01:46:10] 데모를 만들고 무언가가 90%의 시간에 작동한다면, 그것은 단지 첫 번째 9일 뿐입니다.

[01:46:16] 그다음 두 번째 9, 세 번째 9, 네 번째 9, 다섯 번째 9가 필요합니다.

[01:46:18] 제가 테슬라에 5년 정도 있는 동안, 아마 3개의 9나 2개의 9를 거쳤을 겁니다.

[01:46:23] 정확히는 모르겠지만, 여러 개의 9를 반복했죠.

[01:46:25] 아직도 더 많은 9가 남아있습니다. 그래서 이런 일들이 그렇게 오래 걸리는 겁니다.

[01:46:31] 데모였던 것을 본 것은 저에게 확실히 형성적이었습니다. 저는

[01:46:35] 데모에 감명받지 않습니다. 어떤 것의 데모를 볼 때마다 전혀 감명받지 않습니다.

[01:46:43] 누군가 보여주기 위해 만든 데모라면 더욱 그렇습니다.

[01:46:45] 직접 상호작용할 수 있다면 조금 낫습니다.

[01:46:47] 하지만 그래도 끝난 게 아닙니다. 실제 제품이 필요합니다. 현실과 접촉했을 때

[01:46:50] 모든 이런 도전에 직면하고 패치가 필요한

[01:46:53] 모든 다양한 행동 영역들을 마주하게 됩니다. 우리는 이 모든 것들이

[01:46:57] 펼쳐지는 것을 보게 될 것입니다. 그것은 9의 행진입니다. 각 9는 일정합니다. 데모는 격려가 되지만

[01:47:01] 여전히 해야 할 엄청난 양의 작업이 있습니다. 이것은 중요한 안전 영역입니다.

[01:47:07] 간단한 코딩을 하는 게 아닌 이상 말이죠. 그건 좋고 재미있지만요.

[01:47:11] 그래서 이것이 또한 그런 관점에서 제 타임라인을 강화했습니다.

[01:47:16] 소프트웨어에 필요한 안전 보장이 자율주행과 비슷하다고 말씀하시는 것이 매우 흥미롭네요.

[01:47:20] 사람들이 종종 말하는 것은

[01:47:24] 자율주행이 그렇게 오래 걸린 이유는 실패 비용이 너무 높기 때문이라는 것입니다.

[01:47:30] 인간은 평균적으로 40만 마일마다 또는 7년마다 한 번씩 실수를 합니다.

[01:47:34] 최소 7년 동안 실수할 수 없는 코딩 에이전트를 출시해야 한다면

[01:47:39] 배포하기 훨씬 어려울 것입니다. 하지만 말씀하신 점은

[01:47:43] 7년마다 중요한 시스템을 망가뜨리는 것과 같은 치명적인 코딩 실수를 한다면...

[01:47:47] 매우 쉽게 할 수 있습니다. 사실, 실제 시간으로 따지면

[01:47:51] 7년보다 훨씬 짧을 것입니다. 왜냐하면 계속해서 그런 코드를 출력하고 있기 때문입니다.

[01:47:57] 토큰 기준으로는 7년이겠지만, 실제 시간으로 계산하면...

[01:48:00] 어떤 면에서는 훨씬 어려운 문제죠. 자율주행은 사람들이 하는

[01:48:02] 수천 가지 일 중 하나일 뿐이에요. 거의 하나의 세부 영역 같은 거죠.

[01:48:07] 반면 일반적인 소프트웨어 엔지니어링에 대해 얘기할 때는

[01:48:08] 훨씬 더... 다뤄야 할 영역이 넓어요. 사람들이 그 비유에 대해 제기하는 또 다른 반대 의견이 있는데

[01:48:14] 자율주행의 경우, 그 시간의 상당 부분은 견고한 기본 인식 시스템을 구축하고

[01:48:21] 표현을 만들고, 분포를 벗어난 상황에도 일반화할 수 있는

[01:48:27] 상식이 있는 모델을 구축하는 문제를 해결하는 데 소요되었다는 것입니다.

[01:48:32] 길에서 누군가가 이런 식으로 손을 흔들고 있다면

[01:48:37] 따로 훈련할 필요가 없어요. 시스템이 그런 상황에

[01:48:40] 어떻게 대응해야 하는지 어느 정도 이해하고 있을 거예요.

[01:48:44] 이런 것들은 오늘날 LLM이나 VLM을 통해 무료로 얻을 수 있는 것들이죠. 더 이상 이런 기본적인 표현 문제들을 해결할 필요가 없어요.

[01:48:49] 그래서 이제 다양한 영역에 AI를 배포하는 것은 현재 모델로 자율주행차를

[01:48:54] 다른 도시에 배포하는 것과 비슷할 거예요. 어렵긴 하지만 10년짜리 작업은 아니죠.

[01:48:59] 그 의견에 100% 동의하는지는 확실하지 않아요. 우리가 얼마나 많은 걸 무료로 얻고 있는지 모르겠어요.

[01:49:03] 우리가 무엇을 얻고 있는지 이해하는 데 여전히 많은 공백이 있어요.

[01:49:07] 분명히 우리는 단일 개체에서 더 일반화 가능한

[01:49:10] 지능을 얻고 있는 반면, 자율주행은 매우 특수한 목적의 작업이에요.

[01:49:14] 어떤 의미에서는 특수 목적 작업을 구축하는 것이 어떤 면에서는 더 어려울 수도 있어요

[01:49:18] 왜냐하면 대규모로 수행하는 더 일반적인 작업에서 자연스럽게 나오는 것이 아니거든요.

[01:49:24] 하지만 그 비유가 여전히 완전히 와닿지 않는 이유는 LLM들이 여전히

[01:49:30] 꽤 오류가 많고 여전히 채워야 할 많은 공백들이 있기 때문이에요.

[01:49:33] 우리가 마법 같은 일반화를

[01:49:35] 즉시 완전히 얻고 있다고는 생각하지 않아요. 제가 다시 돌아가고 싶은 다른 측면은

[01:49:42] 자율주행차는 여전히 완성과는 거리가 멀다는 것이에요. 배포 규모가 매우 제한적이죠.

[01:49:51] Waymo조차도 차량이 매우 적어요. 대략적으로 말하자면

[01:49:54] 경제적이지 않기 때문이에요. 그들은 미래에 존재하는 무언가를 만들었어요.

[01:50:00] 미래를 앞당겨야 했지만, 비경제적으로 만들 수밖에 없었죠.

[01:50:05] 그 차량들과 운영, 유지보수의 한계 비용뿐만 아니라

[01:50:09] 전체 시스템의 자본 투자 비용도 있어요.

[01:50:13] 경제적으로 만드는 것은 여전히 그들에게 힘든 작업이 될 거예요.

[01:50:17] 또한, 운전자가 없는 이런 차들을 보면, 실제로는

[01:50:21] 조금 기만적이라고 생각해요. 왜냐하면 매우 정교한 원격 조작 센터가 있고

[01:50:26] 사람들이 이 차들과 어느 정도 연결되어 있거든요. 전체 규모는 모르지만

[01:50:32] 생각보다 더 많은 인간이 개입되어 있어요. 어디선가 사람들이

[01:50:36] 하늘에서 신호를 보내고 있어요. 그들이 운전에

[01:50:39] 완전히 개입하는지는 모르겠어요. 가끔은 개입하지만

[01:50:42] 분명히 관여하고 있고 사람들이 있어요. 어떤 의미에서는 실제로

[01:50:45] 사람을 제거한 게 아니라, 보이지 않는 곳으로 이동시킨 거예요.

[01:50:48] 말씀하신 대로 환경에서 환경으로 이동하는 데는 여전히 작업이 필요할 것 같아요.

[01:50:52] 자율주행을 실현하기 위해서는 여전히 해결해야 할 과제들이 있습니다.

[01:50:55] 하지만 확실히 어느 정도 임계점을 넘어서 실제처럼 느껴지는 단계에 도달했다는 점에는 동의합니다.

[01:50:59] 물론 정말로 원격 조작이 아닌 경우에 말이죠. 예를 들어 Waymo는

[01:51:03] 도시의 모든 구역을 다닐 수는 없습니다. 제 추측으로는 그런 구역들은

[01:51:07] 신호가 잘 잡히지 않는 곳일 것 같습니다. 어쨌든 저는 그 스택에 대해서는

[01:51:11] 아무것도 모릅니다. 그냥 추측하고 있을 뿐이에요. 당신은 Tesla에서 5년간 자율주행을 이끌었잖아요.

[01:51:17] 죄송하지만 Waymo의 구체적인 내용에 대해서는

[01:51:21] 아무것도 모릅니다. 그런데 저는 Waymo를 정말 좋아하고

[01:51:24] 항상 이용하고 있어요. 다만 사람들이 때때로 어떤 진전에 대해

[01:51:29] 조금 너무 순진하게 생각하는 것 같습니다. 아직도 엄청난 양의 작업이 남아있거든요.

[01:51:33] Tesla는 제가 보기에 훨씬 더 확장 가능한 접근법을 택했고, 팀이 매우 잘하고 있습니다. 저는 어느 정도

[01:51:39] 이것이 어떻게 전개될지에 대한 예측을 공개적으로 한 바 있습니다.

[01:51:42] Waymo는 많은 센서를 패키징할 수 있어서 일찍 시작할 수 있었습니다.

[01:51:45] 하지만 Tesla가 더 확장 가능한 전략을 취하고 있고

[01:51:48] 결국 그런 모습이 될 것이라고 생각합니다. 이것은 여전히 전개되어야 하고 아직 그렇지 않습니다.

[01:51:54] 하지만 자율주행이 10년이 걸렸다고 말하고 싶지는 않습니다. 아직 그렇게 되지 않았거든요.

[01:51:59] 첫째로, 시작점은 10년 전이 아니라 1980년이고, 둘째로 끝점은 아직 여기에 없습니다.

[01:52:05] 끝점은 아직 가깝지 않습니다. 왜냐하면 우리가 자율주행에 대해 얘기할 때,

[01:52:08] 보통 제가 생각하는 것은 규모 있는 자율주행입니다. 사람들이 운전면허를 받을 필요가 없는 그런.

[01:52:13] 이 비유가 다를 수 있는 다른 두 가지 방식에 대해 토론해보고 싶습니다.

[01:52:19] 제가 특히 이것에 대해 궁금한 이유는 AI가 얼마나 빠르게 배치되는지,

[01:52:24] 초기에 얼마나 가치가 있는지에 대한 질문이 지금 당장

[01:52:28] 세상에서 가장 중요한 질문일 수 있기 때문입니다.

[01:52:31] 2030년이 어떤 모습일지 모델링하려고 한다면, 이것이 바로

[01:52:36] 어느 정도 이해해야 할 질문입니다. 또 다른 생각해볼 점은, 자율주행에는

[01:52:42] 지연 시간 요구사항이 있다는 것입니다. 실제 모델이 어떤지는 모르겠지만

[01:52:45] 수천만 개의 매개변수 정도일 것 같습니다. 이는 LLM을 사용한 지식 업무에는

[01:52:51] 반드시 필요한 제약이 아닙니다. 컴퓨터 사용 같은 경우에는 그럴 수도 있겠지만요.

[01:52:56] 하지만 더 중요한 또 다른 큰 문제는 이 자본 지출 질문입니다.

[01:53:02] 물론 모델의 추가 복사본을 서비스하는 데는 추가 비용이 있지만, 세션의 운영비는 꽤 낮고 추론 확장이 어떻게 진행되는지에 따라

[01:53:12] AI 비용을 훈련 실행 자체에 분할상환할 수 있습니다.

[01:53:17] 하지만 확실히 모델의 다른 인스턴스를 서비스하기 위해 완전히 새로운 자동차를 만드는 것만큼은 아닙니다.

[01:53:23] 따라서 더 넓게 배치하는 경제성이 훨씬 더 유리합니다.

[01:53:28] 맞다고 생각합니다. 비트의 영역에 머물러 있다면,

[01:53:31] 비트는 물리적 세계와 관련된 모든 것보다 백만 배는 쉽습니다. 확실히

[01:53:36] 그 점은 인정합니다. 비트는 완전히 변경 가능하고, 매우 빠른 속도로 임의로 재배열할 수 있습니다.

[01:53:42] 산업에서도 훨씬 더 빠른 적응을 기대할 수 있을 것입니다. 첫 번째 질문이 뭐였죠?

[01:53:50] 지연 시간 요구사항과 모델 크기에 대한 시사점?

[01:53:53] 대략 맞다고 생각합니다. 또한 우리가

[01:53:56] 규모 있는 지식 업무에 대해 얘기한다면, 실용적으로 말해서 어느 정도

[01:54:00] 왜냐하면 우리는 엄청난 양의 컴퓨팅 자원을 만들어서 서비스해야 하기 때문입니다.

[01:54:06] 마지막으로 아주 간단히 이야기하고 싶은 측면은 그 밖의 모든 것들입니다.

[01:54:13] 사회는 이에 대해 어떻게 생각할까요? 법적 파급효과는 무엇일까요? 법적으로 어떻게 작동할까요?

[01:54:17] 보험 측면에서는 어떻게 작동할까요? 그런 레이어들과 측면들은 무엇일까요?

[01:54:25] 사람들이 Waymo 위에 콘을 올려놓는 것과 같은 상황은 무엇일까요?

[01:54:28] 그런 것들과 비슷한 일들이 분명히 생길 것입니다. 그래서 자율주행은 참 좋은

[01:54:34] 비유라고 생각합니다. 거기서 빌려올 수 있는 것들이 있죠. 자동차의 콘에 해당하는 것은 무엇일까요?

[01:54:38] 숨어있는 원격 조작 작업자와 그 모든 측면들에 해당하는 것은 무엇일까요?

[01:54:45] 현재의 AI 구축에 대해 어떤 의견이 있으신가요?

[01:54:49] 이것은 1-2년 안에 세계의 사용 가능한 컴퓨팅 양을 10배 늘릴 것이고, 아마도 10년 말까지는

[01:54:56] 100배 이상 늘릴 것입니다. 만약 AI 사용이 일부 사람들이

[01:55:00] 순진하게 예측하는 것보다 낮다면, 그것은 우리가

[01:55:04] 컴퓨팅을 과다 구축하고 있다는 뜻일까요? 아니면 이것은 별개의 문제일까요? 철도에서 일어난 일처럼요.

[01:55:08] 뭐라고요, 죄송합니다. 철도였나요?

[01:55:10] 네, 그랬습니다. 역사적 선례가 있죠.

[01:55:14] 아니면 통신 산업이었나요? 10년 후에야 온 인터넷을 미리 포장해서

[01:55:18] 90년대 후반 통신 산업에 전체적인 거품을 만들어낸 것처럼요.

[01:55:28] 제가 매우 비관적으로 들리고 있다는 것을 이해합니다. 실제로는 낙관적입니다. 이것이

[01:55:33] 작동할 것이라고 생각합니다. 실현 가능하다고 생각합니다. 제가 비관적으로 들리는 이유는

[01:55:36] 트위터 타임라인을 보면, 제게는 말이 안 되는 것들이 너무 많이 보이기 때문입니다.

[01:55:42] 그런 것들이 존재하는 이유는 많습니다. 솔직히 말하면 대부분은 그냥 펀드레이징입니다.

[01:55:47] 그냥 인센티브 구조입니다. 대부분은 펀드레이징일 수 있습니다.

[01:55:50] 많은 부분이 그냥 관심을 끌어서, 인터넷에서 관심을 돈으로 바꾸는

[01:55:55] 그런 것들입니다.

[01:56:00] 그런 일들이 많이 벌어지고 있고, 저는 그것에 반응하고 있는 것뿐입니다. 하지만 여전히 전반적으로 기술에 대해 매우 낙관적입니다.

[01:56:05] 우리는 이 모든 것들을 해결해 나갈 것입니다. 빠른 진보가 있었습니다.

[01:56:09] 과다 구축이 있는지 모르겠습니다. 제가 이해하기로는 구축되고 있는 것들을

[01:56:15] 우리가 흡수할 수 있을 것이라고 생각합니다. 예를 들어, Claude Code나 OpenAI Codex

[01:56:20] 같은 것들은 1년 전에는 존재하지도 않았습니다. 맞나요?

[01:56:24] 이것은 존재하지 않았던 기적적인 기술입니다. 엄청난 수요가 있을 것입니다.

[01:56:29] 이미 ChatGPT 등에서 수요를 보고 있듯이 말입니다. 그래서 과다 구축이 있는지 모르겠습니다.

[01:56:37] 저는 사람들이 계속 잘못 말하고 있는 매우 빠른 타임라인들에 반응하고 있는 것뿐입니다.

[01:56:42] AI 분야에서 15년간 일하면서 매우 평판이 좋은 사람들이

[01:56:46] 이것을 계속 틀리는 것을 수없이 들어왔습니다. 저는 이것이 제대로 보정되기를 원하고, 이 중 일부는

[01:56:53] 지정학적 파급효과와 이런 질문들과 관련된 것들도 있습니다.

[01:56:59] 사람들이 그런 영역에서 실수하는 것을 원하지 않습니다.

[01:57:04] 기술이 무엇이고 무엇이 아닌지에 대한 현실에 기반하기를 원합니다.

[01:57:08] 교육과 Eureka에 대해 이야기해봅시다. 할 수 있는 한 가지는 또 다른 AI

[01:57:15] 연구소를 시작해서 그런 문제들을 해결하려고 시도하는 것입니다. 지금 무엇을 하고 계신지 궁금하고,

[01:57:21] 왜 AI 연구 자체가 아닌가요? 제가 말하고자 하는 바는

[01:57:26] AI 연구소들이 하고 있는 일들에 대해 어느 정도 결정론적인 느낌을 받습니다.

[01:57:33] 저도 그곳에서 도움이 될 수 있겠지만, 제가 독특하게 개선시킬 수 있을지는 확신이 서지 않습니다.

[01:57:42] 제가 개인적으로 가장 두려워하는 것은 이런 것들이 대부분 인류와는 별개로 일어나서,

[01:57:46] 인류가 그것들에 의해 무력해지는 것입니다. 저는 우리가 건설하게 될 다이슨 구체들이나

[01:57:52] AI가 완전 자율적인 방식으로 건설하게 될 것들만 신경 쓰는 게 아니라,

[01:57:55] 인간에게 무슨 일이 일어날지가 중요합니다. 미래에 인간들이 잘 살기를 바랍니다.

[01:58:00] 프론티어 연구소에서의 점진적 개선보다는

[01:58:04] 이런 부분에서 제가 훨씬 더 독특하게 가치를 더할 수 있다고 생각합니다. 제가 가장 두려워하는 것은

[01:58:11] WALL-E나 이디오크라시 같은 영화에서 묘사되는 상황입니다. 인류가 이런 것들의 곁으로 밀려나는 거죠.

[01:58:16] 저는 인간들이 이 미래에서 훨씬, 훨씬 더 나아지기를 원합니다.

[01:58:21] 제게는 교육을 통해서 이것을 달성할 수 있다고 봅니다.

[01:58:26] 그래서 그쪽에서 무엇을 하고 계신가요? 가장 쉽게 설명하자면

[01:58:30] 우리는 스타플릿 아카데미를 만들려고 합니다. 스타트렉 보셨나요?

[01:58:34] 아니요. 스타플릿 아카데미는

[01:58:37] 프론티어 기술, 우주선 건조를 위한 엘리트 기관이고, 생도들을 졸업시켜서

[01:58:43] 이런 우주선들의 조종사 등이 되도록 하는 곳입니다. 그래서 저는

[01:58:47] 기술적 지식을 위한 엘리트 기관이자 매우 최신이고 최고 수준의 학교 같은 것을 상상합니다.

[01:58:56] 당신께 묻고 싶은 질문 중 하나는 기술적이거나 과학적 내용을 어떻게 잘 가르치는지에 대한 것입니다.

[01:59:03] 왜냐하면 당신은 그 분야의 세계적인 대가 중 한 분이니까요.

[01:59:08] 유튜브에 이미 올리신 콘텐츠에 대해 어떻게 생각하시는지도 궁금하고,

[01:59:11] 다른 점이 있다면 유레카에 대해서도 어떻게 생각하시는지 궁금합니다.

[01:59:16] 유레카와 관련해서, 교육에 대해 저에게 매우 흥미로운 한 가지는

[01:59:20] AI가 등장하면서 교육이 정말로 근본적으로 바뀔 것이라고 생각한다는 점입니다.

[01:59:24] 어느 정도 재배선되고 바뀌어야 합니다. 하지만 아직 꽤 초기 단계라고 생각합니다.

[01:59:30] 뻔한 것들을 시도하려는 사람들이 많이 있을 겁니다.

[01:59:33] LLM에 질문을 하고, 지금 프롬프팅으로 할 수 있는

[01:59:38] 모든 기본적인 것들을 하는 거죠. 도움이 되긴 하지만,

[01:59:40] 여전히 좀 조잡한 느낌입니다. 제대로 하고 싶은데,

[01:59:44] 제가 원하는 것에 대한 능력은 아직 없다고 생각합니다. 제가 원하는 것은 실제 튜터 경험입니다.

[01:59:51] 제 머릿속에 있는 대표적인 예는 최근에 한국어를 배웠던 경험입니다. 언어 학습 말이죠.

[01:59:57] 인터넷에서 혼자 한국어를 배우던 시기가 있었습니다.

[02:00:00] 한국에서 다른 사람들과 함께 소규모 수업에서 한국어를 배우던 시기도 있었는데,

[02:00:06] 정말 재미있었어요. 선생님이 계시고

[02:00:08] 10명 정도가 한국어를 배우고 있었습니다. 그러다가 일대일 튜터로 바꿨죠.

[02:00:13] 제게 흥미로웠던 것은, 정말 좋은 튜터가 있었다고 생각하는데, 그 튜터가

[02:00:19] 저를 위해 해준 일과 그 경험이 얼마나 놀라웠는지, 그리고 제가 결국 만들고 싶은 것의

[02:00:25] 기준이 얼마나 높은지 생각해보는 것이었습니다. 아주 짧은 대화만으로도 즉시

[02:00:31] 그녀는 학생으로서의 제가 어디에 있는지, 무엇을 알고 모르는지를 파악했습니다.

[02:00:35] 제 세계 모델을 이해하기 위해 정확히 어떤 종류의 질문이나 것들을 해야 하는지 알고 있었죠.

[02:00:41] 현재 어떤 LLM도 그런 걸 100% 해주지 못합니다. 근처에도 가지 못해요.

[02:00:44] 하지만 실력 있는 튜터라면 그렇게 할 거예요. 제가 어디까지 알고 있는지 파악하고 나면, 정말로 현재 제 능력 수준에서 필요한 모든 것들을 제공해 주었어요.

[02:00:49] 저는 항상 적절한 수준의 도전을 받아야 해요.

[02:00:52] 너무 어렵거나 너무 쉬운 문제에 직면할 수는 없거든요. 튜터는 정말로 딱 맞는 내용을 제공하는 데 뛰어나요.

[02:00:56] 저는 학습에 있어서 제가 유일한 제약이라고 느꼈어요. 항상 완벽한 정보가 제공되었거든요.

[02:01:01] 제가 유일한 제약이에요. 기분이 좋았어요. 왜냐하면 제가 존재하는 유일한 장애물이거든요.

[02:01:07] 지식을 찾을 수 없거나 제대로 설명되지 않은 게 아니라요.

[02:01:11] 그냥 제 암기 능력 같은 것들이 문제일 뿐이에요.

[02:01:14] 이것이 제가 사람들에게 원하는 것입니다.

[02:01:18] 그것을 어떻게 자동화할 수 있을까요?

[02:01:21] 정말 좋은 질문이에요. 현재의 능력으로는 불가능해요.

[02:01:26] 그래서 이런 종류의 AI 튜터를 만들기에는 아직 적절한 시기가 아니라고 생각해요.

[02:01:31] 여전히 유용한 제품이라고 생각하고, 많은 사람들이 만들겠지만, 기준이 너무 높고 능력은 거기에 미치지 못해요.

[02:01:40] 오늘날에도 ChatGPT는 극도로 가치 있는 교육 제품이라고 말하고 싶어요.

[02:01:45] 하지만 저에게는 그 기준이 얼마나 높은지 보는 것이 정말 흥미로웠어요.

[02:01:48] 그 튜터와 함께 있을 때, 저는 거의 '이건 제가 만들 수 없을 것 같다'고 느꼈어요.

[02:01:53] 하지만 지금 만들고 계시잖아요?

[02:01:55] 정말 좋은 튜터를 경험해본 사람이라면 '어떻게 이걸 만들 거예요?'라고 말할 거예요. 저는 그 능력이 생기기를 기다리고 있어요.

[02:02:04] 저는 컴퓨터 비전 분야에서 AI 컨설팅을 했어요. 대부분의 경우, 제가 회사에 가져다준 가치는 AI를 사용하지 말라고 말하는 것이었어요.

[02:02:09] 제가 AI 전문가였는데, 그들이 문제를 설명하면 저는 'AI를 사용하지 마세요'라고 말했어요.

[02:02:13] 이것이 제가 제공한 부가가치였어요. 지금 교육 분야에서도 같은 느낌이에요.

[02:02:17] 제가 마음에 품고 있는 것을 위해서는 아직 때가 아니라고 느껴요.

[02:02:21] 하지만 그 때는 올 거예요. 지금은 좀 더 전통적으로 보이는 것을 만들고 있어요.

[02:02:26] 물리적이고 디지털적인 구성 요소 등을 가진 것을 말이에요.

[02:02:30] 하지만 미래에는 이것이 어떻게 보여야 할지는 분명해요.

[02:02:35] 말씀해 주실 수 있는 범위에서, 올해나 내년에 출시되기를 바라는 것은 무엇인가요?

[02:02:37] 저는 첫 번째 코스를 만들고 있어요. 정말, 정말 좋은 코스를 만들고 싶어요.

[02:02:43] 명백한 최첨단 목적지, 이 경우에는 AI를 배우러 가는 곳 말이에요.

[02:02:48] 그게 제가 익숙한 분야이니까요. 정말 잘하게 되기 위한 정말 좋은 첫 번째 제품이에요.

[02:02:51] 그게 제가 만들고 있는 것입니다. 간략히 언급하신 Nanochat은

[02:02:56] 제가 만들고 있는 LLM101N 클래스의 캡스톤 프로젝트예요.

[02:03:02] 그것이 정말 큰 부분이에요.

[02:03:04] 하지만 이제 중간 단계들을 많이 만들어내야 하고, 소규모 TA 팀을 고용하는 등 전체 코스를 구축해야 해요.

[02:03:11] 한 가지 더 말하고 싶은 것은 사람들이 교육에 대해 생각할 때 많은 경우

[02:03:15] 제가 지식 확산의 소프트한 구성 요소라고 할 만한 것에 대해 더 생각한다는 것입니다.

[02:03:21] 저는 매우 하드하고 기술적인 것을 염두에 두고 있어요. 제 생각에 교육은

[02:03:26] 지식으로 가는 길을 만드는 매우 어려운 기술적 과정입니다.

[02:03:33] 제 생각에 nanochat은 지식으로 가는 길이에요. 매우 간단하기 때문입니다.

[02:03:38] 그것은 극도로 단순화된 풀스택 도구예요. 이 결과물을 누군가에게 주고 그들이 살펴보면, 엄청나게 많은 것을 배우게 됩니다.

[02:03:43] 그것은 제가 '초당 유레카'라고 부르는 것, 즉 초당 이해도를 많이 제공해 줍니다.

[02:03:48] 그것이 제가 원하는 것입니다. 초당 많은 유레카 순간을요. 저에게는 이것이 지식으로의 경사로를 어떻게 구축하는가에 대한 기술적 문제입니다.

[02:03:52] 그래서 저는 Eureka가 최첨단 연구소나 그곳에서 진행되고 있는 일부 작업과 크게 다르지 않다고 생각합니다.

[02:03:58] 저는 사람들이 막히지 않고, 모든 것이 너무 어렵지도 너무 쉽지도 않으며,

[02:04:03] 진전을 위한 적절한 자료를 갖도록 이러한 경사로를 매우 효율적으로 구축하는 방법을 알아내고 싶습니다.

[02:04:07] 단기적으로는 튜터가 당신의 이해도를 탐지할 수 있는 대신, 당신이 스스로를 탐지할 수 있는 충분한 자기 인식을 가지고 있다면 절대 막히지 않을 것이라고 상상하고 계시는군요.

[02:04:14] 조교와 대화하거나 LLM과 대화하고 참조 구현을 살펴보는 것 사이에서 올바른 답을 찾을 수 있습니다.

[02:04:18] 자동화나 AI가 중요한 부분이 아닌 것처럼 들립니다.

[02:04:24] 지금까지 여기서 큰 알파는 수업의 소스 자료에 성문화된 AI를 설명하는 당신의 능력입니다.

[02:04:29] 그것이 근본적으로 이 과정의 본질입니다.

[02:04:33] 항상 업계에 존재하는 역량에 맞춰 조정해야 합니다.

[02:04:38] 많은 사람들이 그냥 ChatGPT에게 물어보는 것을 추구할 것입니다.

[02:04:46] 하지만 지금 당장 예를 들어 ChatGPT에 가서 AI를 가르쳐달라고 하면 불가능합니다.

[02:04:51] 그것은 어떤 쓸모없는 것을 줄 것입니다. AI는 지금 당장 나노챗을 작성할 수 없습니다.

[02:04:55] 하지만 나노챗은 정말 유용한 중간 지점입니다.

[02:04:59] 저는 AI와 협력하여 이 모든 자료를 만들고 있으므로, AI는 여전히 근본적으로 매우 도움이 됩니다.

[02:05:03] 이전에 저는 스탠포드에서 CS231n을 구축했는데, 이는 스탠포드 최초의 딥러닝 수업이었고 매우 인기가 있었습니다.

[02:05:09] 그때 231n을 구축하는 것과 지금 LLM101N을 구축하는 것의 차이는 상당히 뚜렷합니다.

[02:05:13] 저는 현재 존재하는 LLM들에 의해 정말 힘을 얻고 있다고 느끼지만, 제가 매우 주도적으로 참여하고 있습니다.

[02:05:15] 그들이 제가 자료를 만드는 것을 도와주고, 저는 훨씬 빠르게 작업합니다.

[02:05:21] 그들은 지루한 일들을 많이 해주고 있습니다. 저는 훨씬 빠르게 과정을 개발하고 있다고 느낍니다.

[02:05:27] 그리고 LLM이 infused되어 있지만, 아직 창의적으로 콘텐츠를 만들 수 있는 단계는 아닙니다.

[02:05:33] 저는 여전히 그것을 해야 합니다. 까다로운 점은 항상 현재 존재하는 것에 맞춰 자신을 조정하는 것입니다.

[02:05:37] 몇 년 후 Eureka를 통해 무엇이 가능할지 상상할 때,

[02:05:40] 큰 병목현상은 각 분야에서 자신의 이해를 이러한 경사로로 변환할 수 있는 카파시들을 찾는 것인 것 같습니다.

[02:05:45] 시간이 지나면서 변할 것입니다. 지금 당장은 AI와 팀과 함께 손을 잡고 일할 교수진을 채용하여

[02:05:50] 최첨단 과정을 구축하는 것이 될 것입니다.

[02:05:53] 시간이 지나면서 아마도 일부 조교는 AI가 될 수 있을 것입니다.

[02:05:57] 모든 과정 자료를 가져와서, 학생들이 더 기본적인 질문이나 그와 같은 것들을 할 때

[02:06:02] 매우 좋은 자동화된 조교를 제공할 수 있다고 생각합니다.

[02:06:09] 하지만 과정의 전체적인 구조와 그것이 맞는지 확인하는 것에는 교수진이 필요할 것이라고 생각합니다.

[02:06:14] 그래서 저는 이것이 어떻게 발전할지 진행 과정을 보고 있습니다.

[02:06:21] 어쩌면 미래의 어느 시점에는 제가 그다지 유용하지 않고 AI가 저보다 훨씬 잘 대부분의 설계를 하고 있을 것입니다.

[02:06:28] 하지만 여전히 그것이 실현되는 데 시간이 좀 걸릴 것이라고 생각합니다.

[02:06:33] 다른 분야에서 전문성을 가진 사람들이 과정을 기여하는 것을 상상하고 계시는 건가요,

[02:06:36] 아니면 당신이 비전에 매우 핵심적이라고 느끼시는 건가요?

[02:06:40]

[02:06:45]

[02:06:47]

[02:06:50]

[02:06:56]

[02:07:01] 당신이 교육을 어떻게 하고 싶은지에 대한 이해를 바탕으로, 콘텐츠를 직접 설계하시는 건가요?

[02:07:07] Khan Academy에서는 Sal Khan이 모든 비디오를 직접 내레이션하죠.

[02:07:09] 그런 식으로 생각하고 계신가요? 아니요, 저는 교수진을 채용할 예정입니다.

[02:07:12] 제가 전문가가 아닌 영역들이 있기 때문입니다. 학생들에게 최첨단 경험을 제공하는 유일한 방법이죠.

[02:07:18] 교수진을 채용할 것으로 예상하지만, 저는 AI 분야에서는 당분간 계속 머물러 있을 것 같습니다.

[02:07:24] 현재 역량으로는 사람들이 예상하는 것보다 더 전통적인 방식을 염두에 두고 있습니다.

[02:07:29] Starfleet Academy를 구축할 때, 아마도 물리적 기관을 생각하고 있고,

[02:07:33] 그 아래 단계로는 디지털 서비스를 제공할 예정입니다. 하지만 이는 최첨단 경험은 아닙니다.

[02:07:38] 누군가가 물리적으로 풀타임으로 와서 처음부터 끝까지 자료를 함께 다루며

[02:07:44] 이해할 수 있도록 하는 것이 물리적 서비스입니다.

[02:07:48] 디지털 서비스는 인터넷상의 여러 자료들과 LLM 어시스턴트를 포함합니다.

[02:07:53] 한 단계 아래로는 좀 더 기믹적이지만, 최소한 80억 명이 접근할 수 있습니다.

[02:07:57] 기본적으로 오늘날 사용 가능한 도구들을 위해 대학을 처음부터 다시 발명하는 것이고

[02:08:04] 정말로 자료에 참여할 동기와 관심을 가진 사람들을 선별하는 것입니다.

[02:08:11] 교육뿐만 아니라 재교육도 많이 필요할 것입니다.

[02:08:18] 일자리가 꽤 많이 바뀔 것 같아서 그 부분에서 도움을 주고 싶습니다.

[02:08:21] 예를 들어, 오늘날 많은 사람들이 특히 AI 분야에서 기술을 향상시키려고 합니다.

[02:08:27] 이런 면에서 정말 좋은 코스라고 생각합니다.

[02:08:29] 동기 측면에서, AGI 이전에는 동기가 매우 간단합니다. 사람들이 돈을 벌고 싶어하기 때문이죠.

[02:08:34] 이것이 오늘날 업계에서 돈을 버는 방법입니다.

[02:08:41] AGI 이후는 훨씬 더 흥미로울 것입니다. 모든 것이 자동화되고

[02:08:46] 누구도 할 일이 없다면, 왜 학교에 갈까요?

[02:08:49] 저는 종종 AGI 이전의 교육은 유용하다고 말합니다. AGI 이후의 교육은 재미있습니다.

[02:08:57] 오늘날 사람들이 헬스장에 가는 것과 비슷한 방식으로 말이죠.

[02:09:06] 우리는 무거운 물체를 조작하는 데 사람의 물리적 힘이 필요하지 않습니다.

[02:09:10] 그런 일을 하는 기계가 있으니까요. 하지만 여전히 헬스장에 갑니다.

[02:09:12] 왜 헬스장에 갈까요? 재미있고, 건강하고,

[02:09:16] 복근이 있으면 멋있어 보이기 때문입니다. 인류에게는 매우 깊고, 심리적이며, 진화적인 의미에서

[02:09:24] 그런 것을 하는 것이 매력적입니다.

[02:09:30] 교육도 같은 방식으로 전개될 것입니다. 헬스장에 가듯이 학교에 갈 것입니다.

[02:09:36] 지금은 학습이 어렵기 때문에 많은 사람들이 배우지 않습니다.

[02:09:40] 자료에서 좌절하죠. 일부 사람들은 그 장벽을 극복하지만, 대부분의 사람들에게는 어렵습니다.

[02:09:46] 이것은 해결할 수 있는 기술적 문제입니다.

[02:09:50] 제가 한국어를 배울 때 튜터가 해준 일을 하는 것이 기술적 문제입니다.

[02:09:53] 실현 가능하고 구축할 수 있는 것이며, 누군가가 만들어야 합니다.

[02:09:55] 그것은 어떤 것이든 학습하는 것을 사소하고 바람직하게 만들 것이고,

[02:10:00] 사람들은 사소하기 때문에 재미로 할 것입니다.

[02:10:05] 임의의 지식에 대해 그런 튜터가 있다면, 무엇이든 배우는 것이 훨씬 쉬워질 것이고,

[02:10:07] 사람들은 그것을 할 것입니다. 헬스장에 가는 것과 같은 이유로 말이죠.

[02:10:14] AGI 이후에는 이것을 오락이나 자기계발로 사용하는 것과는 다르게 들리네요.

[02:10:21] 하지만 당신이 그린 교육의 비전이 인간이 AI를 통제하는 데 도움이 된다고 하셨는데, 그건 좀 다르게 들리네요. 어떤 사람들에게는 오락이지만 다른 사람들에게는 권한 부여인 건가요?

[02:10:25] 이에 대해 어떻게 생각하시는지 궁금합니다.

[02:10:30] 결국에는 어느 정도 지는 게임이라고 생각해요.

[02:10:32] 장기적으로는 말이죠. 아마 업계 대부분 사람들이 생각하는 것보다 더 긴 장기적 관점에서 보면, 지는 게임입니다.

[02:10:41] 하지만 사람들이 얼마나 멀리 갈 수 있는지, 우리는 그 표면조차 제대로 긁어보지 못했다고 생각해요.

[02:10:44] 그건 단순히 사람들이 너무 쉽거나 너무 어려운 자료에 부딪혀서 그런 거예요.

[02:10:53] 사람들은 훨씬 더 멀리 갈 수 있을 겁니다. 누구나 5개 언어를 구사할 수 있게 될 거예요. 왜냐하면 그게 그렇게 간단하거든요.

[02:10:59] 누구나 학부 기본 커리큘럼은 모두 알게 될 거예요. 이제 이 비전을 이해하니 정말 흥미롭네요.

[02:11:09] 헬스장 문화와 완벽한 유사점이 있어요. 100년 전에는 누구도 근육질이지 않았을 거라고 생각해요.

[02:11:18] 아무도 그냥 자발적으로 2플레이트나 3플레이트를 벤치프레스할 수 없었을 거예요. 하지만 지금은 매우 흔한 일이죠. 헬스장에서 체계적으로 훈련하고 웨이트를 드는 아이디어 때문이에요.

[02:11:29] 또는 마라톤을 뛸 수 있도록 체계적으로 훈련하는 것처럼 말이에요. 이는 대부분의 인간이 자발적으로 갖지 못하는 능력이죠.

[02:11:38] 당신은 다양한 영역에서 학습에 대해서도 비슷한 일이 일어날 거라고 상상하고 있는 거네요. 훨씬 더 강렬하고, 깊이 있고, 빠르게 말이죠.

[02:11:48] 맞습니다. 저는 인간 본성의 시대를 초월한 특성에 어느 정도 암묵적으로 베팅하고 있어요. 이 모든 것들을 하는 것이 바람직할 것이고, 사람들은 수천 년 동안 그래왔듯이 그것을 우러러볼 거라고 생각합니다.

[02:11:58] 이것은 계속해서 사실일 거예요. 역사적으로 그런 증거들이 있어요. 예를 들어 귀족들을 보거나 고대 그리스 같은 것을 보면, 어떤 의미에서 포스트-AGI였던 작은 환경들이 있었을 때마다,

[02:12:07] 사람들은 신체적으로든 인지적으로든 어떤 방식으로 번영하는 데 많은 시간을 보냈어요. 그 전망에 대해서는 괜찮다고 생각해요.

[02:12:22] 만약 이것이 거짓이고 제가 틀렸고 우리가 월-E나 이디오크러시 같은 미래에 도달한다면, 다이슨 구체가 있어도 상관없어요. 이건 끔찍한 결과예요.

[02:12:35] 저는 정말로 인류를 소중히 생각해요. 모든 사람이 어떤 의미에서 초인이 되어야 해요. 그래도 여전히 우리가 할 수 없는 세상이죠...

[02:12:46] 그건 문화 세계와 같아요, 그렇죠? 당신은 근본적으로 기술의 궤적을 변화시키거나 자신의 노동이나 인지만으로 결정에 영향을 미칠 수 없을 거예요.

[02:12:57] AI가 당신의 승인을 구하기 때문에 결정에 영향을 미칠 수는 있을지 모르지만, 제가 뭔가를 발명하거나 새로운 디자인을 생각해내서 미래에 진정으로 영향을 미치는 것은 아니에요.

[02:13:10] 아마도요. 저는 우리가 루프 안에 있으면서 많은 것들을 이해한다면 발전시킬 수 있는 전환기가 있을 거라고 생각해요.

[02:13:19] 장기적으로는, 그것도 아마 사라질 거예요. 스포츠가 될 수도 있어요.

[02:13:28] 지금도 이 방향으로 극단까지 가는 파워리프터들이 있잖아요. 인지적 시대의 파워리프팅은 뭘까요?

[02:13:33] 아마도 지식을 아는 것으로 올림픽을 만들려고 정말 노력하는 사람들일 거예요.

[02:13:39] 완벽한 AI 튜터가 있다면, 아마도 극도로 멀리 갈 수 있을 거예요.

[02:13:43] 저는 오늘날의 천재들도 겨우 표면을 긁고 있을 뿐이라고 생각해요.

[02:13:48] 인간 마음이 할 수 있는 일의 표면만 건드리고 있다고 생각해요. 저는 이런 비전을 좋아해요. 그리고 제가 가장 제품-시장 적합성을 가진 사람이라고 생각하는데

[02:13:55] 제 일이 매주 다른 주제들을 배워야 하는 일이거든요. 정말 기대돼요.

[02:14:02] 저도 비슷해요. 많은 사람들이 학교를 싫어하고 빨리 졸업하고 싶어하는데

[02:14:10] 저는 정말 학교를 좋아했어요. 새로운 것들을 배우는 걸 좋아했죠.

[02:14:15] 학교에 계속 있고 싶었어요.

[02:14:16] 박사과정까지 계속했는데 더 이상 있게 해주지 않아서

[02:14:19] 산업계로 나왔죠. 대략적으로 말하면, 저는 배움 자체를 사랑해요.

[02:14:25] 배움을 위한 배움도 좋아하지만, 그것이 힘을 주고 유용하고 생산적이기 때문에도 좋아해요.

[02:14:29] 당신이 한 말 중에 미묘한 부분이 있는데 명확히 하고 싶어요.

[02:14:32] 지금까지 온라인 강의로 일어난 일들을 보면

[02:14:36] 왜 아직 모든 인간이 모든 것을 알 수 있게 해주지 못했을까요?

[02:14:44] 명확한 진입 경로가 없고 막히기가 너무 쉬워서 동기부여가 정말 힘들거든요.

[02:14:52] 대신 이런 것이 있다면 - 정말 좋은 인간 튜터 같은 것 말이에요 - 동기부여 관점에서 정말 큰 돌파구가 될 거예요.

[02:15:00] 그렇게 생각해요. 학습 자료에서 좌절하는 기분은 정말 나쁘거든요.

[02:15:04] 나쁜 기분이에요. 어떤 것에 시간을 투자했는데 결과가 나오지 않으면 부정적인 보상을 받게 되죠.

[02:15:09] 너무 쉽거나 너무 어려워서 완전히 지루해지는 경우도 마찬가지고요.

[02:15:16] 제대로 하면 학습은 기분 좋은 일이에요. 그걸 달성하는 건 기술적인 문제죠.

[02:15:21] 당분간은 AI와 인간의 협업이 될 것이고, 언젠가는 AI만으로도 가능할 수 있어요.

[02:15:27] 잘 가르치는 것에 대해 몇 가지 질문을 해도 될까요? 다른 분야의 교육자에게 조언을 한다면

[02:15:32] 당신이 만든 것 같은 유튜브 튜토리얼을 만들도록 조언한다면 어떻게 하시겠어요?

[02:15:40] 특히 코딩 같은 것으로

[02:15:43] 기술적 이해도를 테스트할 수 없는 영역에 대해 얘기하면 더 흥미로울 것 같아요.

[02:15:47] 어떤 조언을 하시겠어요? 꽤 광범위한 주제네요. 제가 반의식적으로 사용하는 10-20가지 팁과 요령들이 있어요.

[02:15:54] 하지만 이런 것들 중 많은 부분이 제 물리학 배경에서 나왔어요.

[02:16:03] 저는 정말 물리학 배경을 즐겼어요.

[02:16:06] 모든 사람이 초기 학교 교육에서 물리학을 배워야 한다는 긴 주장이 있는데

[02:16:10] 초기 학교 교육은 나중에 산업에서 쓸 지식이나 기억을 축적하는 것이 아니에요.

[02:16:15] 뇌를 부팅하는 것이죠.

[02:16:18] 물리학이 뇌를 부팅하는 데 가장 좋은 이유는 물리학이

[02:16:22] 뇌에서 하게 만드는 일들이 나중에 매우 가치 있기 때문이에요.

[02:16:26] 모델과 추상화를 구축하고, 시스템의 대부분을 설명하는 1차 근사가 있지만

[02:16:31] 2차, 3차, 4차 항들이 있을 수도 있고 없을 수도 있다는 걸 이해하는 아이디어.

[02:16:34] 매우 노이즈가 많은 시스템을 관찰하고 있지만, 추상화할 수 있는 기본 주파수들이 있다는 아이디어.

[02:16:39] 물리학자가 교실에 들어와서 '구형 소가 있다고 가정해봅시다'라고 말하면

[02:16:43] 모든 사람이 웃지만, 이건 정말 훌륭해요.

[02:16:48] 산업 전반에 걸쳐 매우 일반화할 수 있는 훌륭한 사고방식이에요.

[02:16:53] 소를 구로 근사할 수 있는 방법이 많거든요.

[02:16:58] 예를 들어, '스케일'이라는 정말 좋은 책이 있어요. 물리학자가 생물학에 대해 쓴 책이죠.

[02:17:04] 이 책도 읽어보시길 추천합니다.

[02:17:06] 정말 흥미로운 근사치들과 동물들의 스케일링 법칙을 도출할 수 있어요.

[02:17:11] 동물들의 심장박동 같은 것들을 살펴보면

[02:17:15] 동물의 크기와 일치하는 패턴을 볼 수 있죠. 동물을 하나의 부피로 생각할 수 있습니다.

[02:17:20] 열 방출에 대해서도 이야기할 수 있는데, 열 방출은 표면적에 비례해서 증가하니까

[02:17:25] 제곱에 비례해서 커지죠. 하지만 열 생성은

[02:17:29] 세제곱에 비례해서 증가합니다. 그래서 물리학자들은

[02:17:33] 세상의 문제들을 해결하는 데 필요한 모든 인지적 도구를 가지고 있다고 생각해요.

[02:17:36] 그런 훈련 덕분에 저는 항상 모든 것의

[02:17:39] 1차 항이나 2차 항을 찾으려고 노력합니다. 어떤 시스템이나 사물을 관찰할 때

[02:17:43] 머릿속에 아이디어나 지식의 복잡한 그물망이 얽혀있죠. 저는 찾으려고 해요.

[02:17:48] 무엇이 중요한가? 1차 요소는 무엇인가? 어떻게 단순화할 수 있을까?

[02:17:52] 그것을 보여주고 실제로 작동시킬 수 있는 가장 간단한 것을 어떻게 만들고, 그 다음에 다른 항들을 추가할 수 있을까?

[02:17:58] 제 리포지토리 중에서 이를 잘 보여주는 예시가 있는데 micrograd라고 불러요.

[02:18:03] 아시는지 모르겠지만, micrograd는 100줄의 코드로

[02:18:06] 역전파를 보여줍니다. 신경망을 만들 수 있어요.

[02:18:10] 더하기, 곱하기 같은 간단한 연산들로 말이죠. 신경망의 레고 블록 같은 거예요.

[02:18:14] 계산 그래프를 구축하고 순전파와 역전파를 통해 그래디언트를 얻습니다.

[02:18:19] 이것이 모든 신경망 학습의 핵심이에요.

[02:18:21] micrograd는 이해하기 쉬운 파이썬 코드 100줄로

[02:18:25] 임의의 신경망에서 순전파와 역전파를 할 수 있지만, 효율적이지는 않아요.

[02:18:29] micrograd, 이 100줄의 파이썬 코드가 신경망이

[02:18:32] 어떻게 학습하는지 이해하는 데 필요한 전부입니다. 나머지는 모두 효율성의 문제예요.

[02:18:38] 효율성을 위한 엄청난 양의 작업이 있어요. 텐서가 필요하고, 배치하고

[02:18:41] 스트라이드하고, 커널들이 제대로

[02:18:43] 메모리 이동을 조정하도록 해야 하는 등등. 대략적으로 말하면 모두 효율성의 문제죠.

[02:18:47] 하지만 신경망 훈련의 핵심적인 지적 요소는 micrograd예요. 100줄이면 돼요.

[02:18:50] 쉽게 이해할 수 있어요. 체인 룰을 재귀적으로 적용해서 그래디언트를 구하는 거예요.

[02:18:55] 이를 통해 임의의 미분가능한 함수를 최적화할 수 있습니다.

[02:18:58] 저는 이런 작은 차수의 항들을 찾아서 쟁반에 담아 제공하고 발견하는 걸 좋아해요.

[02:19:06] 교육이 가장 지적으로 흥미로운 일이라고 생각하는 이유는 복잡하게 얽힌

[02:19:11] 이해를 가지고 있을 때, 그것을 모든 것이 이전 단계에만 의존하는

[02:19:16] 경사로를 만드는 방식으로 배치하려고 노력하기 때문입니다. 이런 지식의 해체는

[02:19:21] 인지적 작업으로서 정말 지적으로 흥미로워요. 개인적으로 하는 걸 좋아하고

[02:19:27] 특정한 방식으로 사물들을 배치하는 것에 매력을 느껴요. 아마 그게 도움이 될 거예요.

[02:19:31] 또한 학습 경험을 훨씬 더 동기부여가 되도록 만들어줍니다.

[02:19:35] 트랜스포머에 대한 당신의 튜토리얼은 바이그램으로 시작하죠. 말 그대로 룩업 테이블로

[02:19:42] "지금 이 단어가 있고, 또는 이전 단어가 있고, 다음 단어가 이거다"라는.

[02:19:46] 말 그대로 룩업 테이블이죠. 그게 본질이에요.

[02:19:48] 룩업 테이블부터 시작해서 트랜스포머까지 이어가는 방식이 정말 훌륭합니다.

[02:19:53] 각 구성 요소마다 동기가 있어요. 왜 이걸 추가해야 하는지, 왜 다음 것을 추가해야 하는지 말이죠.

[02:19:57] 어텐션 공식을 그냥 외울 수도 있지만, 모든 구성 요소가 왜 중요한지,

[02:20:01] 어떤 문제를 해결하는지 이해하는 것이 중요합니다. 해결책을 제시하기 전에 문제를 먼저 보여주는 거죠.

[02:20:06] 얼마나 영리한 방법인가요? 학생이

[02:20:08] 그 과정을 따라갈 수 있도록 하는 겁니다. 다른 작은

[02:20:11] 요소들도 있어서 흥미롭고 매력적으로 만들어줍니다. 항상 학생에게 질문을 던지죠.

[02:20:17] 이런 작은 것들이 중요하고, 좋은 교육자들이 하는 일입니다.

[02:20:22] '이걸 어떻게 해결하겠어요?' 여러분이 추측해보기 전에 해결책을 제시하지 않을 거예요. 그건

[02:20:27] 낭비거든요. 조금... 욕하고 싶지는 않지만, 여러분이 스스로 시도해볼 기회를 주기 전에

[02:20:34] 해결책을 제시하는 건 정말 나쁜 짓이에요.

[02:20:38] 스스로 생각해보려고 하면, 어떤 선택지들이 있는지, 목표가 무엇인지 더 잘 이해하게 되고,

[02:20:46] 왜 오직 이 방법만이 그 목표를 달성하는지 알게 됩니다.

[02:20:53] 스스로 시도해볼 기회를 가지고, 제가 해결책을 제시할 때 그 가치를 인정하게 되죠.

[02:20:58] 새로운 사실 하나당 지식의 양을 최대화하는 거예요.

[02:21:02] 왜 해당 분야의 진짜 전문가들이 기본적으로 초보자에게 설명하는 데 서툰 경우가 많다고 생각하시나요?

[02:21:10] 그건 지식과 전문성의 저주죠. 이건 실제 현상이고,

[02:21:16] 저도 피하려고 노력하지만 저 역시 겪고 있는 문제입니다.

[02:21:21] 어떤 것들을 당연하게 여기게 되고, 막 시작하는

[02:21:24] 새로운 사람들의 입장에서 생각하기 어려워져요.

[02:21:28] 이건 널리 퍼진 현상이고 저에게도 일어납니다. 정말 도움이 되는 한 가지 방법이 있어요.

[02:21:32] 예를 들어, 최근에 누군가 생물학 논문을 보여주려고 했는데, 저는 즉시 정말 기초적인 질문들이 많이 생겼어요.

[02:21:38] 그래서 ChatGPT를 사용해서 그 논문을 컨텍스트 창에 넣고 질문했습니다.

[02:21:43] ChatGPT가 간단한 것들을 설명해줬어요. 그다음에 그 대화 내용을

[02:21:49] 논문을 쓰거나 그 연구에 참여한 사람과 공유했습니다.

[02:21:54] 제가 가진 기초적인 질문들을 그들이 볼 수 있다면

[02:22:00] 앞으로 더 잘 설명하는 데 도움이 될 거라고 생각했어요. 제가 만든 자료에 대해서도

[02:22:04] 사람들이 ChatGPT와 나눈 기초적인 대화들을 공유해주면 좋겠어요.

[02:22:07] 그게 제가 다시 초보자의 입장에서 생각하는 데 정말 도움이 되거든요. 놀라울 정도로 잘 작동하는 또 다른 방법이 있어요.

[02:22:16] 누군가 논문이나 블로그 포스트, 발표를 쓸 때, 100% 확실한 건 점심시간에

[02:22:25] 설명하는 방식의 서술이나 전사본이 훨씬 더 이해하기 쉬울 뿐만 아니라

[02:22:33] 실제로 더 정확하고 과학적이기도 해요.

[02:22:39] 사람들은 가능한 한 가장 추상적이고 전문용어가 가득한 방식으로 설명하려는 편향이 있고,

[02:22:44] 핵심 아이디어를 설명하기 전에 네 단락 동안 서론만 늘어놓죠.

[02:22:48] 하지만 사람과 일대일로

[02:22:51] 대화할 때는 뭔가 그냥 핵심을 말하게 만드는 힘이 있어요.

[02:22:57] 그냥 핵심을 말하는 거죠. 그 트윗을 봤는데 정말 좋다고 생각했어요.

[02:23:00] 여러 사람들과 공유했습니다. 이런 일을 정말 많이 봤어요.

[02:23:06] 가장 두드러진 예는 박사과정 시절 연구할 때의 기억입니다.

[02:23:11] 누군가의 논문을 읽고 그것이 무엇을 하는지 이해하려고 노력하죠.

[02:23:15] 그러다가 학회에서 맥주를 마시면서 그들을 만나게 되고,

[02:23:18] '이 논문이 뭘 하는 거예요? 논문이 뭐에 관한 건가요?'라고 물어보면, 그들은 그 논문의 본질을

[02:23:23] 완벽하게 포착하고 아이디어를 완전히 전달하는 세 문장을 말해줍니다.

[02:23:26] 그러면 논문을 읽을 필요도 없어요. 맥주나 뭔가와 함께 테이블에 앉아 있을 때만

[02:23:30] 그들이 '아, 그 논문은 그냥

[02:23:33] 이 아이디어를 가져다가, 저 아이디어를 가져다가 이 실험을 해보고 저걸 시도해보는 거예요'라고 말하죠.

[02:23:37] 대화체로 완벽하게 설명하는 방법이 있어요.

[02:23:40] 그게 왜 초록이 아닌 거죠? 맞아요. 이건

[02:23:47] 아이디어를 설명하려는 사람이 어떻게 더 잘 구성해야 하는지에 대한 관점에서 나온 거예요.

[02:23:51] 학생으로서 다른 학생들에게 어떤 조언을 하시겠어요? 만약 아이디어를 설명해주는

[02:23:57] 카파시 같은 사람이 없다면 말이에요. 누군가의 논문을 읽거나

[02:24:00] 책을 읽을 때, 전문가가 아닌 분야에서 관심 있는 자료를

[02:24:07] 학습하기 위해 어떤 전략을 사용하시나요? 솔직히 말해서 독특한 팁이나 요령이 있다고는 생각하지 않아요.

[02:24:13] 고통스러운 과정이에요. 항상 꽤 도움이 된 한 가지는 - 이에 대해 짧은 트윗을 한 적이 있는데 - 필요할 때 학습하는 것이 꽤 좋다는 거예요. 깊이 있게 학습하는 것 말이에요.

[02:24:26] 깊이 있는 학습과 필요에 따른 학습을 조금 번갈아가며 해야 한다고 생각해요 - 보상을 받을 수 있는

[02:24:31] 특정 프로젝트를 달성하려고 할 때 - 그리고 폭넓게 학습하는 것도 있죠.

[02:24:35] '아, 뭔가 101을 해보자, 여기 필요할 수도 있는 모든 것들이 있어'라는 식으로요.

[02:24:38] 학교의 많은 부분이 폭넓은 학습을 합니다. '믿어요, 나중에 필요할 거예요'

[02:24:42] 그런 식으로 말이죠. 알겠어요, 믿을게요.

[02:24:45] 필요하다고 하니까 배우겠어요. 하지만 저는 뭔가를 해서 보상을 받을 수 있고

[02:24:50] 필요에 따라 학습하는 그런 종류의 학습을 좋아해요.

[02:24:53] 제가 극도로 도움이 된다고 발견한 다른 것도 있어요.

[02:24:59] 이건 교육이 조금 더 이타적인 측면인데, 사람들에게 설명하는 것이

[02:25:04] 뭔가를 더 깊이 학습하는 아름다운 방법이에요. 이런 일이 저에게 항상 일어나요.

[02:25:09] 다른 사람들에게도 일어날 거라고 생각해요. 제가 뭔가를 정말 이해하지 못하면

[02:25:13] 설명할 수 없다는 걸 깨달았거든요. 시도해보면서

[02:25:17] '아, 이걸 이해 못하고 있네'라고 생각하게 되죠. 그걸 받아들이는 게 정말 짜증나요.

[02:25:21] 다시 돌아가서 정말로 이해했는지 확인할 수 있어요. 이해의 공백을 메워주죠.

[02:25:25] 그런 공백들을 받아들이고 해결하도록 강제해요.

[02:25:28] 저는 다시 설명하는 걸 좋아하고, 사람들도 더 많이 해야 한다고 생각해요.

[02:25:33] 그렇게 하면 지식을 다루고 설명할 때 자신이

[02:25:36] 무슨 말을 하고 있는지 확실히 알고 있는지 확인하게 되죠.

[02:25:40] 마무리하기에 훌륭한 말씀이네요. 안드레이, 정말 좋았습니다. 감사합니다.