[00:00]
구글이 Gemini API의 새로운 파일 검색 기능으로 RAG를 완전히 바꿔놨습니다.
[00:04]
단일 API 호출로 완전 관리형 검색 증강 생성 시스템을 제공합니다.
[00:07]
완전 관리형 검색 증강
[00:09]
생성 시스템을 단일 API로
[00:12]
호출할 수 있습니다. 이제 복잡한
[00:14]
RAG 시스템 구축을 걱정할 필요가 없습니다. 필요한 건
[00:16]
몇 줄의 코드뿐입니다.
[00:18]
파일을 업로드하고
[00:21]
Gemini API 호출에서 검색 도구로 사용하면 됩니다.
[00:23]
실제로 이를 기반으로 전체 시스템을 구축했습니다.
[00:26]
파일을 업로드하고 지식 베이스 생성을 클릭하기만 하면
[00:29]
지식 베이스를 생성하고
[00:31]
완전한 인용과 함께 문서와 채팅을 시작할 수 있습니다.
[00:33]
모든 것이 간단한 API 호출 뒤에 숨어 있습니다.
[00:36]
이 시스템은
[00:38]
데이터베이스용 Firebase와 사용자 인증용 Clerk을 제공합니다.
[00:41]
사용자 인증.
[00:43]
비디오 후반부에서
[00:45]
이것에 접근하여 자신의 프로젝트에 사용하는 방법을 보여드리겠습니다.
[00:47]
완전 관리형
[00:50]
솔루션입니다. 해야 할 일은
[00:51]
문서를 업로드하는 것뿐이고 API가
[00:54]
나머지를 처리합니다. 하지만 가장 좋은 점은
[00:56]
가격입니다. 선택한
[01:00]
임베딩 모델에 따라
[01:01]
임베딩에 대해서만 비용을 지불합니다. 스토리지는
[01:04]
완전히 무료이며 이는 일반적으로
[01:06]
관리형 검색 증강 생성 시스템에서
[01:09]
꽤 비싼 부분입니다. 그리고
[01:11]
쿼리 시간 임베딩도 무료입니다.
[01:14]
LLM 컨텍스트에 있는 토큰에 대해서만 비용을 지불하면 됩니다.
[01:17]
그래서 여러분이 직접 시도해볼 수 있도록
[01:20]
이 전체 솔루션을 구축했습니다.
[01:21]
먼저 코드를 살펴보고
[01:24]
실제 예제를 보여드리겠습니다.
[01:25]
작동하는
[01:27]
예제. 제가 구축한 애플리케이션 링크는
[01:30]
영상 설명에 있습니다.
[01:31]
이는 새로운
[01:34]
Gemini API의 일부입니다. 최신 버전의
[01:37]
Gemini SDK를 설치해야 합니다.
[01:40]
파일을 제공하는 두 가지 방법이 있습니다.
[01:43]
파일 검색 저장소를 생성하고
[01:46]
검색 저장소 이름만 제공하면 됩니다.
[01:48]
이는 기본적으로 지식 베이스나
[01:50]
벡터 인덱스입니다. 그러면
[01:53]
업로드하려는 문서 목록을 제공해야 합니다.
[01:56]
업로드하려는
[01:58]
아름다운 점은
[02:00]
파일을 포함할 수 있다는 것입니다.
[02:02]
연속적으로 파일을 포함할 수 있습니다. 인덱스를 생성한 후
[02:04]
파일을 추가하거나
[02:07]
제거할 수 있으며, 이는 정말
[02:09]
멋집니다. 그리고
[02:11]
파일이 업로드되었는지 확인해야 합니다. 이것이
[02:14]
벡터 저장소가 됩니다.
[02:17]
Gemini 모델에 API 호출을 할 때
[02:19]
해당 파일 저장소를 도구로 제공하고
[02:23]
생성 중에
[02:28]
Gemini 모델이 이를 벡터 인덱스로 사용하여
[02:31]
응답 생성을 위한 컨텍스트를 검색합니다.
[02:34]
따라서 이는 기본적으로
[02:37]
전체 RAG 설정이지만 그들이
[02:40]
이를 간단한 API 호출로 래핑하여
[02:44]
매우 쉽게 만들어줬습니다. 이제
[02:46]
설정할 수 있는 최소한의 구성을 제공합니다.
[02:48]
할 수 있는 유일한 것은
[02:50]
청크 크기를 정의하는 것입니다. 재귀적 청킹을 수행합니다.
[02:55]
기본적으로 200토큰 청크에
[02:58]
20토큰 오버랩이 있습니다. 하지만 전체
[03:00]
시스템 작동 방식은 다음과 같습니다.
[03:03]
문서를
[03:05]
파일 스토리지에 업로드합니다. 임베딩을 계산할 것입니다.
[03:07]
여기서 실제로
[03:10]
임베딩 계산에 대해 비용을 지불해야 합니다.
[03:12]
하지만 가격은
[03:14]
Google 임베딩 모델의 가격 정책이 정말 훌륭합니다.
[03:17]
그 후 데이터베이스에 저장됩니다.
[03:20]
이제 검색 단계에서는
[03:22]
먼저 Gemini 모델을 호출할 때
[03:25]
모델이 외부 지식이 필요한지
[03:27]
또는 도구를 사용해야 하는지
[03:29]
스스로 판단합니다.
[03:31]
더 에이전틱한 방식이죠.
[03:33]
도구 사용을 결정하면
[03:36]
임베딩을 쿼리합니다.
[03:38]
여기서 중요한 점은
[03:41]
쿼리 시점의 임베딩 비용은 지불하지 않습니다.
[03:45]
검색된 컨텍스트에 대해서만
[03:47]
Gemini 모델의 컨텍스트로 전송되는
[03:50]
최종 응답을 위한 비용만 지불하면 됩니다.
[03:53]
비용 측면에서도 정말 좋은 거래입니다.
[03:56]
단점이라면 모든 것이 추상화되어
[03:58]
개별 컴포넌트를 제어할
[04:00]
유연성이 부족하다는 점입니다.
[04:02]
하지만 RAG에 대해
[04:05]
더 자세히 알고 싶거나
[04:07]
RAG 시스템의 작동 원리를 배우고 싶다면
[04:10]
11월 19일에 IBM과 함께 무료 웨비나를 진행합니다.
[04:15]
자세한 내용은 영상 설명란에 있습니다.
[04:17]
기본 원리부터 시작해서
[04:19]
검색 증강 생성 시스템을
[04:22]
어떻게 구축하는지 사고 방법을 알려드리고
[04:24]
무료 웨비나에서
[04:26]
꽤 복잡한 시스템들을
[04:28]
함께 구축해볼 예정입니다.
[04:32]
Watson X에서 300,000개의 토큰도 제공받을 수 있습니다.
[04:35]
자세한 내용은 영상 설명란을 확인해주세요.
[04:37]
다음으로는 새로운
[04:39]
File Search API를 실제로 사용할 수 있는
[04:42]
플랫폼을 어떻게 구축했는지 보여드리겠습니다.
[04:44]
두 가지 주요 구성 요소가 있습니다.
[04:46]
첫 번째는 지식 베이스 생성입니다.
[04:48]
지식 베이스 구성을 사용자 정의할 수 있는
[04:51]
기능을 제공하며
[04:53]
특정 지식 베이스를 선택하고
[04:55]
채팅을 시작할 수 있습니다.
[04:58]
전체적으로 보면
[05:00]
간단한 개요는 다음과 같습니다.
[05:04]
현재 Vercel에서 호스팅되는
[05:06]
사용자 인터페이스가 있으며
[05:09]
가입 후 바로 사용할 수 있습니다.
[05:11]
인증은 Clerk를 통해 처리됩니다.
[05:14]
데이터베이스와 사용자 데이터 관리는
[05:17]
Firebase Firestore를 통해 이루어지고
[05:19]
RAG 구현은 Gemini API를 사용합니다.
[05:22]
Clerk와 Firebase는
[05:24]
서로 보완적입니다.
[05:26]
Firebase를 사용자 인증에
[05:28]
사용할 수도 있지만
[05:31]
Clerk는 더 많은 기능을 제공합니다.
[05:35]
그 중 하나는 조직 수준의
[05:37]
인덱싱과 지식 베이스를
[05:39]
생성할 수 있는 다중 테넌트 시스템을
[05:41]
구축하고 사용자에게
[05:43]
권한을 부여하는 기능으로
[05:45]
정말 유용한 기능입니다.
[05:47]
그래서 이번 영상을 후원해준 것에
[05:49]
정말 기쁩니다.
[05:51]
영상 후반부에서
[05:52]
관련 예시를 보여드리겠습니다.
[05:55]
이 시스템을 사용해보고 싶다면
[05:57]
영상 설명란의 링크를 확인하세요.
[06:00]
Gmail 계정으로 로그인만 하면 됩니다.
[06:02]
여기서 사용자 정의 지식 베이스를
[06:05]
생성하거나 기존 지식 베이스와
[06:07]
채팅을 시작할 수 있습니다.
[06:09]
자체 API 키를 가져와야 합니다.
[06:12]
먼저 새 지식 베이스 생성으로
[06:13]
이동해봅시다. 문서를 업로드해보고
[06:16]
본인의 API 키를 제공하세요. AI Studio로 가서
[06:18]
API 키를 가져오고, 결제 계정에 연결되어 있는지 확인하세요
[06:21]
기본적으로
[06:22]
Gemini 임베딩 001을 사용하기 때문에
[06:24]
유료 계정이 필요하지만
[06:27]
이 임베딩 모델의 가격은 정말 좋습니다
[06:30]
계속을 클릭하겠습니다
[06:32]
이제 이 세션에 대해 API 키를 기록합니다
[06:34]
따라서 실제로
[06:36]
문서를 업로드해야 합니다
[06:37]
이것은 작은 버그인데
[06:39]
이 영상을 출시할 때 수정할 예정입니다
[06:42]
이제 이것을 클릭해보겠습니다
[06:44]
모든 것을 임베딩할 것입니다
[06:47]
그리고 여러 다른 인덱스가 있다면
[06:50]
모든 인덱스가
[06:52]
본인의 API 키에 연결되어 있기 때문에
[06:54]
표시됩니다
[06:57]
저는 여러분의 파일 검색 인덱스나
[07:00]
지식 베이스에 접근할 수 없습니다
[07:04]
다음으로 생성한 특정 인덱스를 클릭하고
[07:06]
질문을 할 수 있습니다
[07:09]
예를 들어, DeepSeek 모델의 총 훈련 비용은
[07:12]
얼마였습니까?
[07:17]
이제 전사에 만족합니다
[07:18]
또한 다양한 Gemini 모델을
[07:20]
선택할 수 있는 기능도 있습니다
[07:23]
지금은 Gemini 2.5 Flash를 사용하겠습니다
[07:25]
이제 요청을 보낼 것입니다
[07:27]
도구 호출을 실행하고
[07:30]
또한 사용한 실제 청크나 페이지도 제공합니다
[07:34]
페이지 번호와
[07:36]
청크의 실제 텍스트가 있습니다
[07:39]
어떤 경우에는
[07:42]
일부 청크에서 페이지 번호를 볼 수 없을 것입니다
[07:45]
이는 청크가 페이지 중간에 있는 경우
[07:48]
발생하는데
[07:49]
Gemini API는 페이지 중간에 있는
[07:52]
텍스트를 추적하지 않기 때문입니다
[07:55]
하지만 실제로 정확한 답변을 받을 수 있는데
[07:58]
이는 정말 깔끔하고
[08:00]
속도도 정말 빠릅니다
[08:03]
사용하는 티어에 따라
[08:06]
프로젝트 파일의 총 크기에 대한 제한이 다릅니다
[08:10]
예를 들어, 무료 티어에서는
[08:12]
1GB를 제공받습니다
[08:15]
유료 티어인 1단계에서는
[08:17]
최대 10GB까지 가능합니다. 2단계는 100GB, 3단계는 1TB입니다
[08:23]
스토리지 비용은 지불하지 않는다는 점을 명심하세요
[08:26]
이것도 정말 놀라운 점입니다
[08:28]
실제로 여기 있는 또 다른 기능을 보여드리겠습니다
[08:30]
DeepSeek 논문과
[08:32]
몇 개의 인보이스를 업로드하겠습니다
[08:34]
고급 설정으로 가면
[08:35]
의미론적 검색을 활성화할 수 있습니다
[08:37]
이는 임베딩 기반 검색이고
[08:41]
키워드 기반 검색도 있습니다
[08:42]
이는 BM25와 같은 것이거나
[08:45]
하이브리드 접근법을 사용할 수 있습니다
[08:48]
또한 여러 다른 임베딩을
[08:50]
선택할 수 있는 기능도 있고
[08:53]
원한다면 자신만의 청크 크기도
[08:55]
정의할 수 있습니다
[08:58]
이제 이것을 다시 만들어보겠습니다
[09:00]
이것이 새로운 인덱스이고
[09:02]
인보이스를 클릭해서
[09:05]
총 인보이스 금액이
[09:07]
얼마인지 말해달라고 질문할 수 있습니다
[09:10]
이걸 보내보겠습니다
[09:12]
두 개의 다른 인보이스가 있습니다
[09:14]
하나는 3,000달러, 다른 하나는 9,000달러입니다
[09:17]
이것들이 정확하다고 말할 수 있습니다
[09:20]
로그아웃했다가 다시 로그인해도
[09:22]
여전히 차트에 접근할 수 있습니다
[09:25]
하지만 API 키를 다시 제공해야 하고
[09:26]
이전의 모든 지식 베이스가
[09:30]
이 목록에 다시 나타날 겁니다.
[09:32]
그 이유는 로그아웃하면
[09:34]
제가 당신의 API 키에 접근할 수 없고
[09:37]
모든 검색 벡터 저장소가
[09:40]
실제로 당신의 API 키에 연결되어 있기 때문입니다.
[09:42]
한 가지 더 멋진 기능을 보여드리겠습니다.
[09:45]
이것은 특히
[09:47]
기업과 조직에 유용할 것입니다.
[09:49]
바로 클러크가 지원하는 멀티테넌트 아키텍처입니다.
[09:54]
예를 들어 여기 제 개인 계정이 있지만
[09:58]
조직을 만들 수도 있습니다.
[10:00]
이것의 장점은
[10:02]
이 조직에 사람들을 초대할 수 있을 뿐만 아니라
[10:05]
그들에게 서로 다른 권한도 부여할 수 있다는 것입니다.
[10:08]
예를 들어,
[10:10]
여러 개의 다른 지식 베이스나
[10:12]
인덱스가 있다면
[10:14]
그중 일부에만 접근을 허용할 수 있습니다.
[10:18]
이를 구축하기 위해서는
[10:20]
클러크 계정을 만들 때
[10:22]
이 프롬프트를 복사해서
[10:24]
커서 같은 도구로 가져가면
[10:28]
커서가 이 정보를 활용해서
[10:30]
멀티테넌트 SaaS 애플리케이션을 만들어줄 겁니다.
[10:34]
예를 들어, 이 프롬프트를 사용해서
[10:37]
조직을 만들어보겠습니다.
[10:39]
이제 사람들을 초대할 수 있습니다.
[10:41]
예를 들어, 초대장을 보내겠습니다.
[10:44]
이제 개인 계정과
[10:45]
이 조직 계정 사이를 전환할 수 있습니다.
[10:48]
여기서 03이라는 인덱스를 만들었습니다.
[10:50]
이것은 조직 수준입니다.
[10:53]
그리고 다른 계정으로 로그인했습니다.
[10:56]
실제로 초대장이 이미 있는 것을 볼 수 있습니다.
[10:58]
그러면 가입하겠습니다.
[11:00]
이제 이 조직 내에서
[11:02]
제 03 인덱스를 볼 수 있습니다.
[11:05]
여기 백엔드에서 이 조직에 두 명이 있는 것을 볼 수 있습니다.
[11:09]
이것은 특히 기업과 조직에
[11:10]
매우 강력한 기능입니다.
[11:13]
가장 좋은 점은 무료로 시작할 수 있다는 것입니다.
[11:15]
호스팅된 애플리케이션의 경우에도
[11:18]
지금 저는 무료 계정을 사용하고 있는데
[11:19]
월 활성 사용자 최대 10,000명까지
[11:21]
제공하는데 꽤 괜찮습니다.
[11:24]
클러크를 확인해보세요. 자세한 내용은
[11:28]
영상 설명에 있을 겁니다.
[11:31]
이제 이 파일 검색 API에 대한
[11:33]
몇 가지 참고사항입니다.
[11:35]
특히 비교적 간단한
[11:39]
RAG 시스템을 구축한다면
[11:40]
정말 훌륭합니다.
[11:42]
강력한 모델을 사용하고 순위 매기기도 해줍니다.
[11:46]
하지만 더 에이전틱한 솔루션을 구축하려면
[11:50]
이것을 에이전트에게 도구로 전달해야 하는데
[11:52]
지금 여기서도 도구로 사용되고 있으므로
[11:54]
가능합니다.
[11:57]
더 복잡한 시스템의 경우
[11:59]
아마도 더 많은 커스터마이제이션이 필요할 겁니다.
[12:03]
메타데이터를 포함할 수 있는 기능도 제공합니다.
[12:05]
제가 개인적으로 좋아하는
[12:08]
정말 멋진 기능 중 하나는
[12:09]
점진적으로 파일을 추가할 수 있다는 것입니다.
[12:13]
예를 들어, 파일을 선택해서
[12:14]
여기에 메타데이터를 포함할 수 있습니다.
[12:17]
간단한 금액이라고 해보고
[12:19]
이것의 경우 금액을 9,000이라고 가정해봅시다.
[12:22]
개별 파일에도 메타데이터를 추가할 수 있습니다.
[12:25]
그리고 파일 업로드를 클릭하면
[12:28]
기존 지식 베이스에 추가됩니다.
[12:31]
지식 베이스에서 파일을
[12:33]
점진적으로 추가하거나 삭제하는
[12:35]
기능은 본 적이 없었습니다.
[12:37]
정말 멋진 기능입니다.
[12:39]
예를 들어, 이것을 제거하면
[12:42]
지식 베이스에서 삭제되고
[12:46]
그 데이터만 남게 됩니다.
[12:47]
딥시크 관련 정보는 사라졌습니다.
[12:50]
하지만 여전히 특정 경우에는
[12:51]
검색 생성뿐만 아니라
[12:54]
검증 부분에서도 더 많은 제어가 필요합니다.
[12:56]
그런 경우에는 확실히 더 커스터마이즈된
[12:59]
솔루션을 구축하고 싶을 겁니다.
[13:02]
하지만 일반적으로
[13:05]
이것으로 시작해서 어디까지 갈 수 있는지
[13:07]
확인해보는 것을 적극 추천합니다.
[13:09]
제 파일 검색 구현을 확인해보시고
[13:12]
유용하다고 생각하시면 알려주세요.
[13:14]
관심이 있다면 계속 개발해서
[13:18]
더 에이전틱하게 만들겠습니다.
[13:21]
누가 알겠어요, 솔루션으로도
[13:23]
제공할지도 모르겠습니다.
[13:25]
이 영상이 유용했기를 바랍니다.
[13:27]
시청해주셔서 감사하고
[13:29]
항상 그렇듯 다음 영상에서 뵙겠습니다.
[13:33]