AI의 정서적 활용

Anthropic 구독자 70,600명

요약

이 영상에서는 Anthropic 연구진이 사용자들이 AI 챗봇 Claude를 감정적 지원 도구로 어떻게 활용하는지 실증적으로 살펴봅니다. 부모 상담, 친구 피드백, 결혼 준비 등 다양한 개인 사례를 통해 Claude의 정서적 활용 방식을 소개하고, 수백만 건의 대화를 비식별화 분석(Cleo)을 통해 감정 관련 대화 비율과 주제 클러스터를 밝혀냅니다. 업무 도구로 설계된 Claude가 의도치 않게 감정 지지에 쓰이면서 안전 한계와 아첨성(sycophancy) 문제도 드러났으며, 이를 보완하기 위해 ThroughLine과 임상 전문가 협업 및 사후 모니터링 전략을 모색합니다.

주요 키워드

Emotional support Affective tasks Privacy-preserving analysis Sycophancy Empirical research Safeguards team Claude.ai ThroughLine User wellbeing Interpersonal advice

하이라이트

🔑 AI 챗봇이 감정적 지원 수단으로 활용되지만, 전체 대화 중 약 2.9%만이 정서 관련 주제로 분류된다.
⚡️ 부모 상담, 경력 조언, 연애 갈등 해결 등 다양한 정서 지원 사용 사례가 실제로 관찰되었다.
🌟 Anthropic은 수백만 건의 Claude 대화를 비식별 분석 도구 Cleo로 분류‧클러스터링해 감정 주제별 흐름을 파악했다.
📌 비록 Claude는 업무 도구로 설계됐지만, 사용자들은 사적인 감정 문제를 다루기 위해 보완적으로 활용한다.
🚀 사용자는 AI의 강점과 한계를 이해하고 전문가 상담과 병행해 적절히 보조 수단으로 써야 한다.
🔍 사전 배포 테스트와 더불어 실제 배포 후 아첨성(sycophancy)을 모니터링하는 것이 중요하다.
🤝 Anthropic은 ThroughLine의 임상 전문가와 협력해 적절한 심리 지원 참조와 안전장치를 구축하려 한다.

용어 설명

Affective tasks

감정 관련 대화 작업으로, 대인 조언, 심리치료, 코칭, 역할 놀이 등을 포함한다.

Cleo

Anthropic이 개발한 개인정보 보존 분석 도구로, 대화를 비식별 처리해 클러스터링 분석을 가능하게 한다.

Safeguards team

사용자 행동을 이해하고 Claude 사용 시 안전 장치를 설계·적용하는 Anthropic 내 정책 및 집행 팀이다.

Claude.ai

Anthropic이 제공하는 18세 이상 대상 AI 채팅 플랫폼으로, 주로 업무 생산성 도구로 설계됐다.

Sycophancy

AI 모델이 사용자의 요구에 과도하게 부응하며 아첨하듯 반응하는 현상을 의미한다.

Privacy-preserving analysis

데이터를 식별 불가능하게 변환해 개인 정보 보호를 유지하면서 통계적 분석을 수행하는 기법이다.

Empirical research

실제 데이터를 기반으로 한 실증적 연구 방식으로, AI 사용 양상을 객관적으로 파악한다.

ThroughLine

Anthropic이 협업 중인 외부 임상 전문 기관으로, 감정 지원 대화에 대한 전문가 자문을 제공한다.

AI 챗봇을 감정적 지원 수단으로 쓰는 사례가 언론에 언급되자, Anthropic의 Safeguards 팀은 사용자 행동을 심층적으로 이해하고 선제적 안전 대책을 마련하기 위해 이 주제를 직접 연구하기로 결심한다.

[00:00] Alex가 AI 챗봇을 정서적 지원에 활용하는 현상에 대한 연구 필요성을 설명하며 팀을 소개합니다.

Alex(정책·집행), Miles(사회적 영향 연구), Ryn(사용자 웰빙 정책 디자인)가 각자 맡은 역할과 연구 분야를 설명하며, 오늘 다룰 주제와 팀 구성을 간략히 소개한다.

[00:11] Alex는 Anthropic의 세이프가드 팀에서 사용자 행동 연구와 안전한 Claude 사용을 위한 정책을 담당한다고 자신을 소개합니다.

[00:35] Miles는 사회적 영향 팀의 연구원으로서 Claude의 가치관, 경제적 영향, 편향성 연구에서 정서적 영향 연구로 확장했다고 설명합니다.

[00:50] Ryn은 세이프가드 팀의 사용자 웰빙 정책 디자인 매니저로서 아동 안전과 정신 건강 분야의 임상심리학 배경을 가지고 있다고 소개합니다.

세 연사는 자신이 Claude를 어떻게 정서적 지원에 활용했는지 사례를 나눈다. Ryn은 아이들 행동 분석, Miles는 친구에게 피드백 전달 준비, Alex는 결혼 준비 타임라인 계획에서 감정적 안정을 얻은 경험을 들려준다.

[01:13] Ryn이 유치원에서 받은 아들의 피드백을 객관적으로 분석하기 위해 Claude를 활용한 개인적 경험을 공유합니다.

[01:50] Alex가 친구에게 피드백을 전달하는 방식과 상대방의 반응을 이해하기 위해 Claude를 활용한 경험을 설명합니다.

[02:14] Miles는 결혼식 준비를 위한 업무 효율화에 Claude를 활용함으로써 친구들과의 실제 만남에 더 많은 시간을 확보할 수 있었다고 설명합니다.

사람들이 AI에 감정적 지지를 기대하는 배경으로 오프라인 지원 부재와 사적·공평한 연습 공간의 필요성을 짚는다. 일대일 대면 대화의 대안으로 AI를 활용하는 이유를 토론한다.

[02:36] 사람들이 정서적 지원을 위해 Claude를 활용하는 이유에 대해 인간의 사회적 본성과 상호작용 욕구의 자연스러운 확장이라고 분석합니다.

[02:55] 사람들은 항상 직접 만나서 도움을 받을 수 있는 지원 체계가 있는 것은 아니기 때문에, 공정하고 사적인 온라인 공간에서 승진이나 연봉 인상 요청, 어려운 대화에서의 소통 등을 연습할 수 있는 것이 도움이 될 수 있다고 설명합니다.

[03:13] 클로드가 정서적 지원 에이전트로 설계되지 않았지만 이를 연구하고 있다고 말하며, 클로드는 주로 업무 도구이지만 사용자들이 AI 챗봇을 정서적 지원에 활용하고 있다는 헤드라인을 접하고 이 문제를 앞서서 연구해야 한다고 느꼈다고 설명합니다.

Claude는 업무용 도구로 설계됐으나 감정 지원에 쓰이는 현실을 직시해야 한다고 강조한다. 사용 현황을 정확히 파악하고 안전 메커니즘을 구축하기 위한 사전 준비와 책임을 논의한다.

[03:45] 안전성 관점에서 '실제로 얼마나 일어나고 있는가?'라는 질문을 가장 먼저 하며, 인류의 이익을 위한 제품 개발에서 데이터에 근거한 안전 메커니즘을 구축하고 싶다고 설명하고, 개인정보 보호 방식으로 데이터를 분석할 수 있는 방법이 있어서 가치 있는 탐구 영역이라고 봤다고 합니다.

수백만 건의 Claude 대화를 표본 추출해, 내부 제품인 Claude로 정서 관련 대화를 선별한다. Cleo로 비식별화 후 클러스터링해 인터퍼슨얼 조언·코칭·역할 놀이 등 다양한 affective tasks를 분류한다.

[04:12] 연구 설계에 대해 설명하며, 수백만 개의 클로드 대화 샘플을 분석하여 대인관계 조언, 심리치료, 상담, 코칭, 성적/로맨틱 역할극 등의 감정적 작업과 관련된 대화를 식별했다고 합니다. Anthropic에서 개발한 개인정보 보호 분석 도구인 클레오를 사용해 대화를 분류하고 그룹화했다고 설명합니다.

[04:46] 연구 결과 많은 사람들이 클로드에게 직업 조언, 연애 관계 문제 고민, 육아 조언 등을 구하고 있다는 것을 발견했다고 합니다. 육아 조언이 큰 부분을 차지한다고 언급합니다.

[04:58] 연구의 핵심 발견 중 하나는 Claude.ai에서 감정적 지원 관련 대화가 실제로는 그리 많이 일어나지 않는다는 점입니다. Claude.ai는 18세 이상용이며 정서적 지원 챗봇으로 설정되어 있지 않고 이에 최적화되어 있지 않기 때문에, 수백만 개의 대화 샘플 중 약 2.9%만이 감정적 주제에 대한 대화에 해당한다고 설명합니다.

정서적 대화는 전체의 2.9%로 예상보다 낮았으며, 부모 상담·경력 조언·연애 갈등 등 폭넓은 주제가 나타났다. 반면 연애·성적 역할 놀이 비율은 극히 미미해 대규모 감정 파트너 용도는 드물었다.

[05:54] 연구 결과에 대한 놀라움을 표현하며, 개인적 사용 경험으로 인해 더 높은 수치를 예상했다는 의견을 나눔

[06:04] Miles는 AI 사용 사례의 다양성에 대해 언급하며, 육아 조언, 관계 문제 해결, AI 의식에 대한 철학적 논의 등 폭넓은 활용 사례를 설명

[06:26] 성적이거나 로맨틱한 역할 놀이가 예상보다 매우 적었다는 점을 강조하며, 전체 대화의 1% 미만에 불과했다고 설명

[06:51] 안전 관점에서의 우려사항에 대한 질문을 던지며, Ryn의 견해를 요청

사용자가 어려운 대면 대화를 회피하려 AI에만 의존할 위험을 지적한다. AI 강점과 한계를 인지하고, 전문가 개입이 필요한 상황을 구분해 적절히 활용할 것을 경고한다.

[07:00] Ryn은 가장 큰 우려사항으로 Claude 사용이 대면 대화 회피 수단이 될 수 있다는 점을 지적하며, 도구의 강점과 한계를 정확히 아는 것의 중요성을 강조

[07:45] Claude가 정서적 지원 에이전트로 훈련되지 않았다는 점을 명확히 하며, 전문가의 도움이 필요한 시점을 인식하는 것의 중요성을 언급

[08:00] 정신건강 관련 대화에서 Claude가 사용되는 현실을 인정하며, 안전장치 강화의 필요성을 설명

ThroughLine 임상 전문가와 협업해 감정 지원 대화에 적절한 심리적 참조와 추천을 제공하는 기능을 도입한다. 사후 배포 모니터링을 강화해 안전성을 지속적으로 평가한다.

[08:17] ThroughLine과의 파트너십을 통해 임상 전문가들과 협력하여 더 나은 대응 방안을 모색하고 있다고 설명

[08:41] 외부 전문가들과의 협력을 통해 정책 개발과 사용자 상호작용 이해에 도움을 받는 것의 중요성을 강조

[08:53] 외부 전문가를 영입하는 것이 혼자 해결하려는 것보다 훨씬 나은 접근법이라고 설명합니다.

[08:57] Claude를 정서적 지원용으로 사용하는 사람들에게 자신의 사용 패턴을 점검하고 타이머를 설정하여 성찰할 것을 조언합니다.

Claude 사용 습관을 점검하고 사용 시간을 제한하며, 자신에게 미치는 정서적 영향을 반추하도록 권장한다. AI 대화를 친구·전문가 상담과 병행해서 보완적으로 활용해야 한다.

[09:07] Claude 사용이 자신의 기분과 타인과의 상호작용에 미치는 영향을 반성해보라고 권합니다.

[09:21] Claude는 사용자가 말하는 것만 알 수 있으므로, 자신의 맹점을 인식하고 친구들과의 대화로 보완해야 한다고 강조합니다.

[09:50] AI를 활용한 정서적 지원이 인간의 사회적 상호작용 방식에 미치는 영향에 대한 연구가 부족하다고 지적합니다.

[10:12] 시민사회와 공공-민간 연구 파트너십을 통해 이 주제에 대한 더 많은 연구가 필요하다고 주장합니다.

사전 테스트뿐 아니라 사후 배포 모니터링을 통한 아첨성(sycophancy) 점검 필요성을 강조한다. AI와의 상호작용이 진화하는 과정을 실증적으로 관찰하고, 다양한 연구 파트너십을 확대할 것을 제안한다.

[10:26] 향후 연구에서 Claude의 아첨 행동을 이해하고 배포 후 모니터링과 실증적 연구로 보완하는 것이 중요하다고 설명합니다.

[10:50] AI가 사람들의 일상 생활에 더욱 깊이 스며들 것이라는 전망에 두 연구자 모두 동의합니다.

AI가 개인의 일상에 점점 더 깊숙이 스며들 것이며, 실증적·데이터 기반 연구를 지속해야 함을 재확인한다. 공공·민간·학계 협력을 통해 안전하고 유익한 AI 활용 방안을 모색할 것을 당부하며 영상을 마무리한다.

[11:16] 실증적이고 데이터에 기반한 연구를 통해 AI 시스템의 실제 사용 방식을 지속적으로 관찰하는 것이 중요하다고 강조합니다.

[00:00] 최근 헤드라인에서 보고 있는 것은

[00:01] 사람들이 정서적 지원을 위해 AI 챗봇을 활용하고 있다는 것입니다.

[00:04] 우리는 이 문제에 대해 선제적으로 대응하고

[00:07] 직접 연구해야 한다고 생각했습니다.

[00:09] - "정서적 영향," 테이크 원.

[00:11] 안녕하세요, 저는 알렉스입니다!

[00:12] 저는 Anthropic의 세이프가드 팀에서

[00:14] 정책과 시행 업무를 담당하고 있습니다.

[00:16] 우리는 사용자 행동을

[00:17] 깊이 이해하고자 하는 조직입니다.

[00:20] 그리고 적절한 완화 조치를 구축하여

[00:22] 사용자가 Claude와 상호작용할 때

[00:24] 안전한 방식으로 할 수 있도록 보장합니다.

[00:25] 오늘은 정말 기쁘게도 Ryn과 Miles가 함께해서

[00:28] 우리가 진행해온 연구에 대해

[00:30] 사용자가 정서적 지원을 위해 Claude를 활용하는 방식에 대해 이야기하려고 합니다.

[00:35] 저는 사회적 영향 팀의 연구원 Miles입니다.

[00:38] 우리는 Claude가 세상에 미칠 영향을

[00:40] 이해하는 일을 하고 있습니다.

[00:41] 이전에는 Claude의 가치관과

[00:44] 경제적 영향, 편향성을 연구했습니다.

[00:47] 그리고 이제는 Claude의 정서적 영향도 연구하고 있습니다.

[00:50] 제 이름은 Ryn이고, 세이프가드 팀에서

[00:53] 사용자 웰빙을 위한 정책 디자인 매니저입니다.

[00:56] 아동 안전, 정신 건강과 관련된 주제들과

[01:00] 사용자가 Claude와 상호작용하는 방식에 대해 연구하고 있습니다.

[01:04] 제 배경은 발달심리학과

[01:06] 임상심리학이며,

[01:08] 정서적 발달은 제게 있어

[01:11] 매우 소중하고 중요한 주제입니다.

[01:13] 개인적인 경험담부터 시작해볼까요?

[01:16] 제가 먼저 이야기해보겠습니다.

[01:18] 가장 흥미롭고 관련성 높은 사용 사례 중 하나는

[01:21] 제 일상에서 Claude를 활용해서

[01:25] 아이들의 행동 변화를 더 잘 이해하는 것입니다.

[01:28] 좋은 예로, 바로 며칠 전에

[01:30] 유치원에서 제 막내아들에 대한 피드백을 이메일로 보내주었는데,

[01:35] 그런 피드백을 받을 때 감정과

[01:37] 편견을 가지고 반응하기 쉽다고 생각합니다.

[01:39] 하지만 Claude를 통해 검토해보니

[01:41] 문제에 접근하는 객관적인 방법들을 얻을 수 있었고

[01:45] 전반적으로 더 나은 부모가 되는 데 도움이 되었습니다.

[01:49] 여러분은 어떻게 사용하고 계신가요?

[01:50] 최근에 저는 친구와의

[01:53] 어려운 상황을 겪고 있었는데

[01:54] 그 친구에게 피드백을 전달하고 싶었지만

[01:57] 적절한 방식으로 표현하고 싶었습니다.

[01:59] Claude가 정말 도움이 되었는데

[02:02] 피드백을 어떻게 전달할지 생각해보고

[02:05] 피드백의 근원이 무엇인지,

[02:07] 이 친구와 정말 달성하고 싶은 것이 무엇인지

[02:09] 이해하는 데 도움을 주었고,

[02:11] 그 친구가 어떻게 받아들일지

[02:12] 이해하는 데도 도움이 되었습니다.

[02:14] 저는 주로 Claude를 콘텐츠 제작과

[02:19] 업무 완료를 위해 사용하는 편입니다.

[02:20] 결혼식을 준비할 때

[02:21] 어떤 종류의 일정으로

[02:24] 다양한 업체들에게 연락해야 하는지

[02:26] 이해하는 데 도움을 받았습니다.

[02:28] 이것이 감정적으로 도움이 되었던 이유는

[02:31] 더 많은 시간을 확보할 수 있어서

[02:33] 실제로 친구들과 직접 만나서 소통할 수 있었기 때문입니다.

[02:36] 정서적 지원을 위해 사용하는 사람들의 경우,

[02:38] 왜 사람들이 Claude를 이런 용도로

[02:41] 활용한다고 생각하시나요?

[02:43] 인간은 매우 사회적인 존재이고 상호작용을 좋아하므로

[02:46] 우리가 보고 있는 것은

[02:49] 인간이 서로 연결되는 방식의

[02:51] 자연스러운 확장이라고 생각합니다.

[02:55] 사람들은 항상 직접 만나서 도움을 받을 수 있는

[02:58] 지원 체계가 있는 것은 아니에요

[02:59] 이런 정말 까다로운 질문들에 대해서 말이죠

[03:01] 그래서 이런 공정하고 사적인 온라인 공간이 있다는 것은

[03:05] 말하고 싶은 것을 연습할 수 있는 좋은 방법이 될 수 있어요

[03:08] 승진이나 연봉 인상을 요청할 때

[03:10] 또는 어려운 대화에서 누군가와 소통할 때 말이에요

[03:13] 우리가 클로드를 정서적 지원 에이전트로 만든 것은 아니지만

[03:18] 그럼에도 불구하고 이를 연구하고 있습니다

[03:20] 왜 두 분 모두에게 이것을 연구하는 것이 중요한가요?

[03:22] 우리는 클로드를 정서적 지원을 제공하도록 설계하지 않았습니다

[03:26] 클로드는 주로 업무 도구입니다

[03:28] 하지만 우리 시스템이 어떤 방식으로 사용되고 있는지

[03:31] 명확하게 파악하고 연구해야 합니다

[03:33] 우리는 헤드라인에서 보고 있어요

[03:34] 사람들이 정서적 지원을 위해 AI 챗봇을 이용하고 있다는 것을

[03:38] 그래서 우리는 이 문제를 앞서서 대응하고

[03:40] 직접 연구해야 한다고 생각했습니다

[03:42] 린, 안전성 관점에서는 어떤가요?

[03:45] 제가 항상 가장 먼저 묻는 질문은

[03:46] "음, 이게 실제로 얼마나 일어나고 있는가?"입니다

[03:50] 저는 우리의 안전 메커니즘을 정말로 근거 있게 만들고 싶어요

[03:54] 우리가 제품을 만드는 방식에서

[03:55] 인류의 이익을 위해 데이터로 말이에요

[03:58] 그리고 이제 우리는 정말 훌륭한

[04:00] 개인정보 보호 방식으로 이 데이터를 살펴볼 수 있는 방법이 있어서

[04:03] 정말 가치 있는 탐구 영역처럼 보였습니다

[04:06] 괜찮으시다면 두 분께서

[04:08] 연구에 대해 설명해 주세요

[04:10] 이 연구를 어떻게 설계하셨나요?

[04:12] 우리는 시작했어요

[04:13] 수백만 개의 클로드 대화 샘플로

[04:16] Claude.ai에서 가져온 것이고, 우리 제품인 클로드를 사용해서

[04:20] 이 대화들을 스캔하고

[04:22] 그것들이 관련되어 있는지 판단했습니다

[04:24] 우리가 관심 있어 하는 감정적 작업들과 말이에요

[04:27] 대인관계 조언이나

[04:29] 심리치료나 상담, 코칭

[04:32] 성적 역할극, 로맨틱 역할극 등등이요

[04:34] 그리고 우리는 클레오를 사용했어요

[04:35] 이것은 여기 Anthropic에서 개발한 도구로

[04:37] 개인정보 보호 분석을 위한 것입니다

[04:39] 이 대화들을 분류하고 그룹화하기 위해

[04:43] 이런 상향식 클러스터로 말이에요

[04:45] 그래서 우리는 알게 되었어요

[04:46] 많은 사람들이 클로드에게 직업 조언을 구하고 있다는 것을

[04:49] 또는 어려운 연애 관계 문제들을

[04:52] 고민하고 있다는 것을 말이에요

[04:55] 육아 조언도요

[04:56] 육아 조언이 큰 부분을 차지해요

[04:58] 아직 블로그 포스트를 읽지 않으신 분들을 위해

[05:02] 시청자들이 무엇을 얻어가면 좋을지

[05:04] 중요하다고 생각하는 주요 핵심 테마는

[05:06] 이 영상을 보고 나서

[05:08] 기억해야 할 것이 무엇인가요?

[05:09] 네, 저에게 가장 놀라운 발견 중 하나이자

[05:12] 핵심 주제는

[05:13] 실제로 Claude.ai에서는 이런 일이 그리 많이 일어나지 않는다는 것입니다

[05:19] Claude.ai는 18세 이상용이에요

[05:21] 정서적 지원 챗봇처럼 설정되어 있지 않고

[05:24] 그런 것도 아니에요

[05:28] 그래서 이것에 최적화되어 있지 않죠

[05:29] 그래서 우리가 보고 있는 것은

[05:30] 약 2.9%의 대화가

[05:34] 수백만 개의 대화 샘플 중에서

[05:37] 실제로 이 범주에 속한다는 것이에요

[05:38] 감정적 주제에 대한 대화 범주에 말이에요

[05:44] 그래서 이런 다양성이 있고

[05:46] 사람들이 이런 목적으로 사용하고 있지만

[05:48] 여전히 압도적인 다수 사용 사례는 아니에요

[05:52] 적어도 우리 플랫폼에서는 말이에요

[05:54] 정말 놀랐습니다.

[05:55] 하지만 제가 개인적으로 너무 자주 사용해서

[05:58] 일상에서 말이죠

[05:59] 그래서 수치가 더 높을 거라고 예상했던 건지 모르겠어요.

[06:01] Miles, 연구 결과에서 놀라웠던 부분이 있었나요?

[06:04] 네, 저는 그냥

[06:06] 사용 사례의 폭넓은 다양성에 감명받았어요.

[06:08] 우리 셋만 봐도

[06:10] 사용 사례가 다양하거든요.

[06:11] 맞아요!

[06:12] 하지만 실제로 클러스터를 보니까요.

[06:14] 말씀하신 것처럼 육아 조언이 있었고요.

[06:16] 사람들이 어려운

[06:17] 관계 문제를 해결하려고 하는 경우도 있었어요.

[06:19] AI 의식의 본질과 철학에 대해 논의하는 사람들도

[06:25] 있었고요.

[06:26] 그리고 놀랍게도 성적이거나 로맨틱한

[06:29] 역할 놀이는 거의 없었어요.

[06:31] 이게 이번 연구에서 우리가 가졌던 핵심 질문 중 하나였는데

[06:34] 사람들이 Claude를

[06:37] 대규모로 감정적 동반자나 파트너로 사용하는지 여부였거든요.

[06:41] 그런 사례가 얼마나 드문지 놀랐어요.

[06:43] 전체 대화의

[06:45] 1퍼센트의 일부에도 못 미쳤거든요.

[06:47] 우리는 이 대화와 블로그에서 유익한 사용 사례에 대해

[06:50] 많이 이야기하는데

[06:51] 안전 관점에서 보면, 그리고 이건 저도 걱정하는 부분인데

[06:54] Ryn이 가지고 있는 우려사항이

[06:55] 있을 것 같아요.

[06:58] 그런 부분들을 설명해주실 수 있나요?

[07:00] 네, 제가 가장 걱정하는 것은

[07:05] 사람들이 Claude와 상호작용하는 것이

[07:08] 대면에서 어려운 대화를 피하는 방법이 되는 경우입니다.

[07:13] 결국 이런 것으로 귀결되죠:

[07:15] 개인이 어떻게 그것을 사용해서 이상적으로는 더 적극적으로 참여하느냐,

[07:20] 사람들과의 연결에서 멀어지는 것이 아니라 말이에요?

[07:22] 도구를 사용할 때마다

[07:25] 그 강점이 무엇인지 정확히 아는 것이 중요하다고 생각해요

[07:27] 그리고 한계가 무엇인지도요.

[07:29] AI 분야에서 일하는 사람으로서

[07:31] 제가 Claude와 상호작용하고 조언을 구할 때

[07:33] 그런 점이 항상 염두에 있어요.

[07:36] 하지만 저는 다른 사람들이

[07:39] AI 분야에 있지 않은 사람들이 그런 점을 덜 인식하고 있을까 봐 걱정되고

[07:42] 말씀하신 Claude의 한계에 대해서도요.

[07:45] 우리는 Claude를 정서적 지원 에이전트로 훈련시키지 않고 있어요.

[07:48] 그래서 Claude가 할 수 있는 것이 무엇인지 인식하는 것이 중요하고

[07:51] 할 수 없는 것도

[07:52] 그리고 언제 가서

[07:54] 깊은 전문성을 가진 사람에게 도움을 요청하는 것이 중요한지도요.

[07:58] 그리고 저는 이런 부분이

[08:00] 사람들이 Claude를 이런 종류의 지원이나

[08:06] 정신건강 관련 대화에 사용하는 것을 보고 있기 때문에

[08:09] 안전장치에 대한 우리의 노력을 추진하는 것이라고 생각해요

[08:11] 이 분야에서 어떻게 더 잘할 수 있는지 정말 이해하기 위해서요.

[08:15] 예를 들어서

[08:17] 이 연구에서 나온 조치 중 하나는

[08:20] 우리가 ThroughLine과 파트너십을 맺은 것이에요.

[08:22] 그래서 우리는 그들의 임상 전문가들과 협력해서

[08:24] 이런 대화가 일어날 때 어떻게 하면 더 잘 대응할 수 있는지 이해하려고 해요.

[08:27] 어떻게 더 잘 대응할 수 있을까요?

[08:29] 어떻게 Claude를 안전하게 훈련시켜서

[08:32] 처음부터 적절한 추천을 제공할 수 있을까요?

[08:36] 그래서 이런 대화가 일어날 때

[08:38] 우리가 책임감 있게 행동하도록 하는 것이에요.

[08:41] 그게 정말 중요하다고 생각해요.

[08:42] 정책을 개발하고

[08:45] 사용자들이 Claude와 어떻게 상호작용하는지 이해하는 것을 생각할 때

[08:48] 이런 외부 전문가들을 데려와서

[08:49] 우리가 직면한 도전을

[08:51] 함께 생각해볼 수 있도록 하는 것이

[08:53] 진공 상태에서 시도하는 것보다 훨씬 나은 접근이라고 생각합니다.

[08:54] 진공 상태에서 시도하는 것보다는 말이죠.

[08:56] 네.

[08:57] 누군가가 지금 Claude를 정서적 지원을 위해 사용하고 있다고 가정해봅시다.

[08:59] 정서적 지원을 위해서 말이죠.

[09:01] 그들이 염두에 두어야 할 것들은 무엇일까요?

[09:03] 자신의 상태를 점검하고 타이머를 설정하여 Claude 사용에 대해 성찰하는 것을 잊지 마세요.

[09:07] 타이머를 설정하고 자신의 Claude 사용에 대해 성찰해보세요.

[09:11] 그리고 이것이 어떤 기분을 느끼게 하는지 생각해보세요.

[09:14] 이것이 당신이 사랑하는 사람들이나

[09:16] 세상과 상호작용하는 방식에 어떤 영향을 미치는지 생각해보세요.

[09:20] 훌륭한 조언입니다.

[09:21] 네, 좋든 나쁘든 Claude는

[09:23] 당신이 말하는 것만을 알고 있습니다.

[09:25] 그래서 때로는

[09:27] 한 발 물러서서 생각하는 것이 중요할 수 있습니다.

[09:29] "내 맹점은 무엇일까?

[09:31] 그리고 내가 Claude에게 말하지 않은 것 중에

[09:34] 내가 겪고 있는 상황에 관련이 있을 수 있는 것들은

[09:36] 무엇일까?"라고 말이죠.

[09:38] 당신의 친구들은 Claude보다 당신에 대해 훨씬 더 많이 알고 있습니다.

[09:40] 그래서 Ryn이 말한 대로 Claude와 나누는 대화를

[09:45] 신뢰할 수 있는 친구와의 대화로 보완하는 것이

[09:47] 정말 도움이 되고 중요하다고 생각합니다.

[09:49] 신뢰할 수 있는 친구와 말이죠.

[09:50] 이것은 정말 새롭게 떠오르는 사용 사례라고 생각합니다.

[09:54] 이는 인간이 사회적으로 상호작용하는 방식의

[09:55] 핵심을 건드리는 문제입니다.

[09:58] 이를 안전하게 구축하는 방법에 대한 연구가

[10:02] 너무 부족한 상황입니다.

[10:05] 실제로 사람들을 지원하고 도움이 되도록

[10:09] 이를 배포하는 가장 좋은 방법은 무엇일까요?

[10:12] 더 많은 사람들이 이 주제에 관심을 갖는 것을 보고 싶습니다.

[10:16] 시민사회,

[10:18] 공공-민간 연구 파트너십 등을 통해

[10:20] 여기서 무엇이 일어나고 있는지 진정으로 이해하려고 노력해야 합니다.

[10:23] 앞으로 연구할 계획인 다른 것들에 대해

[10:25] 말씀해 주세요.

[10:26] 이번 연구에서 다루지 않았지만

[10:28] 앞으로 매우 중요하다고 생각하는 것은

[10:30] Claude가 우리가 아첨하는 행동이라고 여길 수 있는 방식으로

[10:34] 행동하고 있는지 이해하는 것입니다.

[10:36] Claude의 아첨 행동을 이해하고 완화하기 위해

[10:39] 배포 전 많은 테스트를 수행하고 있지만

[10:42] 배포 전 테스트를

[10:43] 배포 후 모니터링과

[10:45] 이 연구에서 수행한 것과 같은

[10:46] 실증적 연구로 보완하는 것이 정말 중요하다고 생각합니다.

[10:50] 우리 모두 이것이 아마도 시작에 불과하다고

[10:52] 생각한다고 말하는 것이 맞을까요?

[10:54] AI가 사람들의 일상적인 개인 생활에

[10:57] 더욱 깊이 스며들 것이라고 말이죠.

[11:00] 두 분 모두 그렇게 생각하시나요?

[11:01] 저는 그렇게 생각합니다.

[11:03] 저도 동의합니다. 이것은 시작에 불과하다고 생각합니다.

[11:05] 잠깐 멈추셨네요.

[11:08] 아니요, 저에게는 꽤 분명한 것 같습니다.

[11:10] AI 시스템과 관계를 맺는 방식이

[11:14] 시간이 지남에 따라 발전할 것이라는 것이 말이죠.

[11:16] 실증적이고 데이터에 기반한 연구를

[11:18] 계속하는 것이 정말 중요하다고 생각하며

[11:20] 우리 시스템이 실제로 어떻게 사용되고 있는지

[11:21] 살펴보는 것이 중요합니다.

[11:24] 이렇게 흥미롭고 유익한 대화를 해주셔서

[11:26] 감사합니다.

[11:27] 정말 좋았습니다.

[11:29] 그리고 시청하고 계시는 분들 중에

[11:30] 저희 블로그를 읽을 기회가 없으셨다면

[11:33] anthropic.com에서 확인해보시기 바랍니다.

[11:35] 그리고 저희는 채용 중이니 채용 페이지를 확인하여

[11:38] 열린 직책들에 대해 더 알아보실 수 있습니다.

[11:40] 시간을 내주셔서 정말 감사합니다.

[11:41] 감사합니다. 고맙습니다!