n8n 튜토리얼: n8n에서 MCP 서버로 모든 것을 구축하는 방법! (초보자부터 전문가까지)

채널 아이콘
Productive Dude 구독자 112,000명

요약

이 영상은 n8n 플랫폼 내에서 MCP 서버를 구축하여 여러 도구를 통합하고 자동화하는 방법을 단계별로 설명합니다. 초보자도 따라 할 수 있도록 NADN 환경 설정, 프로젝트 및 버전 관리, 그리고 Firecrawl을 활용한 웹 스크래핑 도구 연동 과정을 상세하게 다룹니다. 또한, HTTP 요청 구성, 인증 및 API 키 설정, AI 에이전트와의 채팅 인터페이스 구축 등 실무에 필요한 기술들을 예제와 함께 시연합니다. 마지막으로, 추가 학습 및 네트워킹을 위한 커뮤니티 참여를 독려하며 마무리됩니다.

주요 키워드

n8n MCP 서버 NADN Firecrawl 웹 스크래핑 HTTP 요청 인증 AI 에이전트 OpenAI 커뮤니티

하이라이트

  • 🔑 MCP 서버의 기본 개념과 클라이언트, 서버 측 분리 원리를 명확하게 설명합니다.
  • 🚀 NADN(유사 n8n) 환경에서 올바른 버전으로 전환하고, 프로젝트를 생성하는 과정을 단계별로 안내합니다.
  • 🌟 HTTP 요청 도구를 이용해 Firecrawl 웹 스크래핑 API를 연동하는 방법과, 인증 헤더 및 JSON 포맷 설정 방법을 시연합니다.
  • 📌 OpenAI API와 연동하여 AI 에이전트를 구성하고, 메모리와 세션을 관리하는 방법을 자세히 설명합니다.
  • ⚡️ 실제 웹 스크래핑 테스트를 통해, MCP 서버가 웹사이트의 정보를 올바르게 추출하는 과정을 보여줍니다.
  • 🤝 커뮤니티 참여를 통해 AI 및 자동화 기술에 관한 지속적인 학습과 네트워킹의 중요성을 강조합니다.

용어 설명

MCP 서버

여러 도구나 기능들을 하나의 서비스로 통합해 AI 에이전트가 요청 시 적절한 도구를 호출할 수 있도록 하는 서버 구조를 의미합니다.

NADN

n8n과 유사한 워크플로우 자동화 플랫폼으로, 영상에서는 MCP 서버와 클라이언트 에이전트 구성을 위한 환경 설정에 활용됩니다.

HTTP 요청

클라이언트와 서버 간에 데이터를 주고받기 위한 통신 프로토콜로, 웹 API와의 연동 시 자주 사용됩니다.

Firecrawl

웹 스크래핑 도구로, 사용자가 지정한 웹페이지의 데이터를 추출해 다양한 포맷(예, 마크다운, HTML)으로 제공하는 API 서비스입니다.

AI 에이전트

사용자의 명령을 이해하고, 여러 MCP 서버 도구와 상호작용하며 작업을 수행하는 인공지능 인터페이스입니다.

API 키

애플리케이션 간의 안전한 인증을 위해 사용되는 고유 식별자로, 서비스 접근 권한을 제어합니다.

[00:00:00] 소개 및 MCP 서버 개요

영상의 시작에서는 MCP 서버의 개념과 클라이언트 및 서버 구성 요소에 대해 간략히 소개합니다. 전반적인 목표와 영상의 흐름을 안내합니다.

n8n에서 MCP 서버를 구축하는 방법과 웹 스크래핑 MCP 서버를 AI 에이전트와 연결하는 방법을 소개합니다.
MCP 서버의 클라이언트 사이드와 서버 사이드 구조를 다이어그램을 통해 설명합니다.
AI 에이전트가 도구에 접근할 때 MCP 서버를 사용하면 더 체계적이고 효율적으로 관리할 수 있습니다.
에이전트와 사용자 간의 대화 중 도구가 필요할 때 MCP 서버가 호출되어 다양한 작업을 수행하고 결과를 반환합니다.
MCP 서버는 작업 결과를 클라이언트 사이드로 전달하고, AI 에이전트는 이를 바탕으로 적절한 응답을 제공합니다.
AI 에이전트와 클라이언트 측의 역할 구분에 대해 설명합니다. AI 에이전트는 대화를 담당하고, 도구가 필요할 때 MCP 서버를 호출하여 정보를 얻어옵니다.
[00:03:00] NADN 환경 설정 및 프로젝트 생성

NADN 플랫폼에서 올바른 버전(예, 1.88 이상)으로 전환하는 방법과 프로젝트 생성, MCP 서버 명명, 태그 추가 등의 기본 설정 과정을 설명합니다.

MCP 서버와 AI 에이전트 구축을 위해 먼저 올바른 n8n 버전(1.88 이상)을 설정하는 방법을 설명합니다.
MCP 서버 생성을 위한 워크플로우를 시작하고, 효율적인 작업공간 구성을 위해 'MCP server firecrawl'이라는 이름으로 프로젝트를 생성합니다.
[00:05:00] Firecrawl 연동 및 HTTP 요청 도구 구성

Firecrawl 웹 스크래핑 도구를 MCP 서버에 연동하기 위해 HTTP 요청 노드를 설정합니다. 인증 헤더, JSON 포맷 및 API 엔드포인트 구성 등의 세부 과정이 포함됩니다.

MCP 서버를 체계적으로 관리하기 위해 태그 기능을 활용하는 방법을 설명합니다. MCP 서버 태그를 생성하고 관리하면 여러 서버를 효율적으로 운영할 수 있습니다.
MCP 서버 트리거를 추가하는 과정을 설명합니다. 웹훅 기반으로 작동하며, 필요에 따라 인증을 추가하여 보안을 강화할 수 있습니다.
HTTP 요청을 통해 다양한 인터넷 도구들과 연결할 수 있는 MCP 서버의 강력한 기능을 소개합니다.
웹 스크래핑 도구인 Firecrawl을 소개하고, 이 도구가 데이터를 원하는 형식(HTML, 마크다운 등)으로 포맷팅해주는 장점을 설명합니다.
Firecrawl은 500개의 무료 크레딧을 제공하며, 도구를 최대한 활용하기 전까지는 비용이 들지 않습니다.
웹사이트마다 스크래핑 허용 정책이 다르며, Firecrawl은 IP 차단 위험으로부터 보호해주지만 윤리적인 사용이 중요합니다.
스크래핑 테스트를 위해 books.toscrape.com을 사용하며, 이 사이트는 책 정보, 가격, 평점 등을 포함한 테스트용 데이터를 제공합니다.
Firecrawl을 n8n과 MCP 서버에 연결하여 어디서든 사용할 수 있게 설정할 수 있습니다.
Firecrawl은 개별 페이지 스크래핑과 전체 사이트 크롤링 기능을 제공하지만, 크롤링은 많은 크레딧을 소모하므로 테스트 시에는 단순 스크래핑을 권장합니다.
Firecrawl의 다양한 기능들(맵, 크롤, 스크랩)에 대해 설명하며, 특히 LLM을 활용한 정보 추출 기능의 장점을 소개합니다.
Firecrawl의 추출 기능이 어떻게 웹사이트에서 필요한 정보를 정확히 찾아주는지 설명하고, 이를 MCP 서버의 도구로 설정하는 방법을 소개합니다.
Firecrawl 문서를 통해 주요 기능들(scrape, crawl, map, extract)의 설정 방법을 설명하며, 비개발자도 쉽게 따라할 수 있음을 강조합니다.
AI Foundations 커뮤니티를 소개하며, AI 열정가들과 사업가들이 함께 학습하고 성장하는 플랫폼임을 설명합니다.
AI Foundations의 실시간 Q&A, 앱 배포 지원, 보안 및 결제 시스템 등 실무적인 교육 내용과 지원 서비스를 소개합니다.
N8N 마스터리 코스 소개: 초보자부터 전문가까지 완벽한 학습 경로를 제공하는 comprehensive 코스를 소개합니다.
커뮤니티 기능 설명: 회원들이 포스팅, 지원 요청, AI 정보 공유, 성공 사례 공유 등 다양한 활동을 할 수 있는 플랫폼입니다.
AI와 진정성 있는 상호작용의 조화: AI가 미래의 중요한 부분이 될 것이지만, 인간적인 요소를 유지하는 것의 중요성을 강조합니다.
AI Foundations 가입 안내: 1500명 제한과 가격 인상 예정으로 빠른 가입을 추천하며, 연간 구독 시 할인 혜택을 제공합니다.
학습 방법론 공유: 올바른 사람들과의 교류, 적절한 정보 접근, 그리고 기회 포착의 중요성을 강조하며 커뮤니티 참여를 권장합니다.
도구 설정 가이드: URL 스크래핑 도구 설명을 복사하여 N8N의 MCP 서버 트리거에 적용하는 과정을 설명합니다.
HTTP 요청 도구를 사용하여 Firecrawl에 연결하는 방법을 설명하고, 도구의 설명과 이름을 'scrape'로 설정하여 기능을 명확히 합니다.
Firecrawl의 문서를 참조하여 CURL 명령어를 확인하고, n8n에서 HTTP 요청 설정 방법을 설명합니다.
HTTP 요청에 필요한 헤더 설정 방법을 설명하며, content-type과 authorization 헤더의 중요성과 설정 방법을 자세히 다룹니다.
API 키의 보안 중요성을 강조하고, 크레딧 보호를 위해 API 키를 안전하게 관리해야 함을 설명합니다.
n8n에서 Firecrawl 인증 설정하기: 헤더 인증 방식 추가 및 API 키 설정 방법 설명
n8n의 인증 탭에서 generic credential 타입을 선택하고 헤더 인증 설정 과정 소개
Firecrawl MCP 서버 자격 증명 생성: bearer 토큰 설정 및 API 키 추가 방법 상세 설명
Firecrawl 대시보드에서 API 키 복사 및 n8n에 적용하는 과정 시연
헤더 인증 설정 완료 및 보안성 있는 자격 증명 관리 방법 정리
MCP 서버와 자동화 구축이 앞으로 습득할 중요한 스킬이 될 것이며, 이는 매우 강력한 도구가 될 것이라고 설명합니다.
시청자들에게 영상을 클릭하게 된 동기와 MCP 서버에 대한 기대사항을 댓글로 남겨달라고 요청합니다.
fire crawl 문서로 돌아가 URL과 formats 섹션을 살펴보며, JSON 구조에 대해 설명합니다.
마크다운과 HTML 형식으로 데이터를 받을 수 있는 장점을 설명하고, n8n에서 JSON을 사용하는 방법을 보여줍니다.
JSON 사용이 복잡할 수 있지만, 이해와 스킬 향상을 위해 중요하다는 점을 강조합니다.
HTTP 요청 도구에서 플레이스홀더를 설정하는 방법을 설명합니다. URL과 format 파라미터를 설정하고, 마크다운 형식만 사용하기로 결정합니다.
플레이스홀더 정의 과정을 보여주며, URL 플레이스홀더의 이름과 설명을 추가하고 문자열 타입으로 설정합니다.
JSON에서 URL 플레이스홀더를 설정하고 HTTP 요청 도구를 완성합니다. n8n에서 작업할 때 자주 저장하는 것이 중요함을 강조합니다.
작업 중 자동 저장이 되지 않으므로 수동으로 자주 저장해야 함을 강조합니다.
MCP 서버 구축 전에 기능이 제대로 작동하는지 테스트하기 위해 워크플로우를 활성화하고 프로덕션 URL을 설정합니다.
클라이언트 측 작업을 시작하며, 에이전트와 MCP 서버 간의 통신을 테스트하기 위한 준비를 합니다.
[00:29:00] AI 에이전트와 채팅 인터페이스 구성

NADN 내에서 AI 에이전트를 추가하여 채팅 트리거와 OpenAI API를 연동하는 방법을 다룹니다. 세션 ID와 메모리 관리 등을 통해 대화의 맥락을 유지하는 과정을 설명합니다.

n8n에서 에이전트와 통신하는 다양한 방법(텔레그램, 슬랙, 팀즈 등)을 소개하고, 테스트를 위해 n8n 채팅 트리거를 선택합니다.
AI 에이전트 설정을 시작하며, 첫 번째 요구사항으로 대규모 언어 모델(채팅 모델)을 선택해야 함을 설명합니다.
OpenAI 챗 모델을 선택하고 설정하는 방법을 설명합니다. 모델 선택 전에 먼저 인증 정보를 설정해야 합니다.
OpenAI 플랫폼에서 계정 생성 및 로그인 과정을 설명합니다. ChatGPT 계정과는 별개로 개발자 포털 계정이 필요합니다.
OpenAI 플랫폼에서 결제 설정 방법을 설명합니다. 응답당 몇 센트의 합리적인 비용으로 시작할 수 있으며, 사용량 제한과 모니터링이 가능합니다.
API 키 생성 과정을 설명합니다. 'MCP scraping agent test'라는 이름으로 새로운 시크릿 키를 생성하고 프로젝트를 선택합니다.
OpenAI 챗 모델 설정을 위해 API 키를 등록하고 MCP agent scraping test라는 이름으로 저장합니다.
API 키와 이름 설정은 단순히 식별을 위한 것이며, 이름 매칭은 중요하지 않습니다.
OpenAI 모델 중 GPT-3.5-turbo를 선택하는데, 이는 환각 현상이 적고 성능이 우수하기 때문입니다.
AI 에이전트 생성의 다음 단계로 대화 기억을 위한 심플 메모리를 설정합니다.
세션 ID를 통해 대화를 추적하며, 텔레그램이나 슬랙 연동 시에는 플랫폼별 고유 세션 ID를 사용합니다.
채팅 도구 연결에 어려움이 있다면 AI Foundations 커뮤니티의 전용 섹션을 통해 도움을 받을 수 있습니다.
AI Foundations의 코스에서는 텔레그램, 슬랙, 왓츠앱, 오픈 웹 UI 등 다양한 커뮤니케이션 도구들의 연결 방법을 텍스트와 음성 데모를 통해 보여줍니다.
이 튜토리얼에서는 connected chat 트리거 노드를 사용하며, 컨텍스트 윈도우 길이 설정을 통해 AI가 이전 대화를 얼마나 기억할지 조정할 수 있습니다.
MCP 서버와 클라이언트 도구를 추가하는 과정을 설명하며, 스크래핑 도구를 포함한 다양한 도구들을 선택적으로 구성할 수 있습니다.
AI 에이전트의 기능을 테스트하기 위해 캔버스로 돌아가 MCP 서버의 응답을 확인하기로 했습니다.
books.toscrape.com 웹사이트에서 최고 평점 도서를 스크랩하는 테스트를 진행했습니다.
AI 에이전트가 챗 모델을 통해 MCP 서버와 성공적으로 통신하여 응답을 받았습니다.
테스트 결과, 해당 웹사이트가 웹 스크래핑 연습용 데모 사이트임을 확인했고, 실행 기록을 통해 상세 정보를 검토했습니다.
[00:41:00] MCP 서버 기능 테스트 및 데이터 추출

구축한 MCP 서버가 웹 스크래핑, URL 매핑 및 데이터 추출 기능을 제대로 수행하는지 실시간으로 테스트합니다. 실제 도메인(books.toscrape.com)을 기반으로 데모를 진행합니다.

두 번째 테스트로 특정 도서 정보를 요청했고, 'A Light in the Attic'이라는 구체적인 도서 정보를 성공적으로 받아왔습니다.
스크래핑 도구가 정상 작동함을 확인한 후, MCP 서버에 추가 도구를 통합하기로 결정했습니다.
Firecrawl의 추가 도구 설정을 시작합니다. 기존 도구를 복제하여 새로운 도구를 추가하는 과정을 설명합니다.
크롤 기능 설정을 위해 Firecrawl 문서를 참조하여 엔드포인트 설명과 URL을 수정합니다.
크롤링 옵션 설정 방법을 설명합니다. 스크랩 옵션, 페이지 제한, URL 설정 등 다양한 매개변수를 구성합니다.
기본 설정값을 지정하고, 시스템 부하를 고려하여 크롤링 제한을 5페이지로 설정합니다.
추출과 크롤 도구는 복잡성과 비용 문제로 제외하고, 스크랩과 맵 도구만 구현하기로 결정합니다.
AI 에이전트 내에서 채팅 인터페이스를 통해 파이어크롤 웹사이트의 URL을 매핑하고 문서를 탐색하는 방법을 시연합니다.
extract 기능에 대한 페이지를 스크랩하고 API 요청 방법에 대한 정보를 수집하여 상세한 설명과 예시를 제공받습니다.
N8N에서 MCP 서버와 클라이언트 사이드 구축에 대한 가이드를 마무리하고, AI Foundations 커뮤니티 참여를 권장합니다.
[00:47:00] 최종 정리 및 커뮤니티 초대

전체 과정을 요약하며, 추가 학습과 네트워킹을 위한 AI Foundations 커뮤니티 참여를 독려합니다. 다음 튜토리얼 예고와 함께 마무리됩니다.

타임라인 정보가 없습니다.

[음악]
오늘은 n8n에서 MCP 서버를
초보자부터 전문가 수준까지 다루는 방법을 알려드리겠습니다
웹 스크래핑 MCP 서버를 만드는 방법과
이를 AI 에이전트와 연결하는 방법을 보여드릴 것입니다
초보자이거나
다른 종류의 MCP 서버나
에이전트를 사용하고 싶으신 분들도
이 영상이 도움이 될 것입니다
모든 도구나 MCP 서버를 만들 때
필요한 기본적인 내용들을
이해하는데 도움이 될 것입니다
이 영상이 끝나면
n8n에서 MCP 서버를
마스터하는데 필요한
모든 것을 이해하게 될 것입니다
MCP 서버에는 두 가지 측면이 있는데
오늘 영상에서 두 가지 모두
만드는 방법을 보여드리겠습니다
먼저 이 다이어그램으로
시각적으로 설명해드리겠습니다
MCP 서버를 다룰 때 가장 먼저
이해해야 할 것은
클라이언트 사이드와
서버 사이드가 있다는 것입니다
처음에는 조금 헷갈릴 수 있습니다
저도 처음에는 헷갈렸지만
자세히 설명해드리겠습니다
모든 단계를 차근차근 보여드릴 테니
너무 걱정하지 마세요
이제 AI 에이전트가
도구에 접근해야 할 때
일반적으로는 에이전트 아래에
많은 도구들을 정의해야 했습니다
하지만 그것은 지저분하고
비효율적이었죠
대신에 이제는
이 도구들을 MCP 서버로 묶을 수 있습니다
이렇게 하면 훨씬 더 체계적이고
에이전트가 더 나은 응답을
제공할 수 있게 됩니다
MCP 서버에서 일어나는 과정을 보면
에이전트에 무언가를 요청했을 때
도구에 접근해야 하는 경우
예를 들어 캘린더에 이벤트를
예약하거나
웹페이지를 스크래핑하려 할 때
이를 위한
MCP 서버를 만들 수 있습니다
그러면 AI 에이전트가
이 MCP 서버를 호출할지 결정하게 됩니다
이렇게 전체 프로세스가 시작되는 거죠
에이전트와 대화를 주고받다가
메시지를 보내고 받는 과정에서
도구가 필요하다고 판단되면
MCP 서버를 호출하게 됩니다
웹사이트를 스크래핑하거나
Supabase 데이터베이스를 수정하거나
캘린더에 이벤트를
예약하는 등의 작업을 수행합니다
이러한 다양한 작업들을 처리한 후
응답을 돌려받게 됩니다
이것은 AI 에이전트의 도구들을
체계적으로 구성하는 방법이며
MCP 서버는 그 응답을
클라이언트 사이드로 다시 보냅니다
그러면 AI 에이전트는
요청한 작업이 완료되었다는
적절한 정보와 확인을
응답할 수 있게 됩니다
이렇게 클라이언트는
필요한 정보를 받아
작업이 완료되었다는 것을
확인할 수 있습니다
클라이언트는
클라이언트 측과 AI 에이전트는 대화하는 부분을 담당하고
도움이 필요하거나
도구에 접근해야 할 때
MCP 서버를 호출하게 됩니다
그러면 MCP 서버가 작동하여
정보를 가져오고
응답을 다시 보내줍니다
먼저 이것을 구축한 다음
그 다음에는
실제 클라이언트 측 또는
서버와 통신할 수 있는 AI 에이전트를
만들어보겠습니다. MCP 서버와
서버와 상호작용할 수 있는
클라이언트 측 에이전트를 구축하기 전에
먼저 해야 할 일이 있습니다
올바른 버전의
n8n을 사용하고 있는지 확인해야 합니다
이를 확인하기 위해 n8n 계정에
로그인하고
관리자 패널로 이동합니다
관리자 패널에서
이 작은 설정 기어 아이콘이 보일 것입니다
올바른 위치로 가기 위해
이것을 클릭해야 합니다
설정 기어를 클릭하면
여기 n8n 버전이라고 표시된 곳에서
드롭다운을 클릭하여
버전 1.88로
변경해야 합니다
현재는 최신 베타로 표시되어 있고 1.88 버전입니다
이것이 제가 접근할 수 있는 최신 버전이에요
드롭다운을 클릭하고
1.88 버전이나
그 이상 버전을 선택할 수 있습니다
그리고 나서
'변경사항 저장' 버튼을 꼭 눌러야 합니다
이전에 이 작업을 하지 않았다면
1.88 이상 버전으로 변경하고
변경사항을 저장해야 합니다
저장하고 나면
제 경우에는 현재 온라인으로 표시되지만
'업데이트 진행 중'이라고 표시될 것입니다
업데이트가 진행 중임을 나타내는
노란색 원이 표시될 것입니다
변경사항을 저장한 후에
잠시 동안 노란색 원이 보이지만
걱정하지 마세요
영원히 지속되지는 않습니다
업데이트가 진행 중일 뿐입니다
업데이트가 완료되면
메뉴에서 대시보드로
돌아갈 수 있습니다
'열기'를 클릭하고
다음으로 '워크플로우 생성'을
클릭합니다
MCP 서버를 만들 때
n8n 작업공간을
효과적으로 구성하고 싶습니다
상단의 이름 부분에서
정확한 용도를 나타내는
이름을 지정할 수 있습니다
저는 'MCP server'라고 하겠습니다
이번에는 웹사이트를 스크랩할 수 있는
서버를 구축할 예정입니다
AI 에이전트와 대화하면
AI 에이전트가 이 스크래핑 기능에
접근할 수 있게 됩니다
실시간으로 인터넷에서 정보를 가져와서
그 결과를 저에게 전달할 수 있죠
이 가이드에서 사용할 도구가
firecrawl이기 때문에 'MCP server firecrawl'이라고
이름을 지정하겠습니다
이제 보시다시피 프로젝트 이름이
변경되었습니다
여기서 볼 수 있듯이
좀 더 체계적으로 구성하고 싶다면
태그 추가를 클릭할 수 있습니다
태그 추가를 클릭하고 이것을 MCP 서버로 이름 지을 수 있으며
태그 생성을 클릭하면 됩니다
생성하는 모든 MCP 서버에
이 MCP 서버 태그를 추가하는 것을 추천합니다
이렇게 하면 탄탄한 MCP 서버 기반을 구축하고 나면
n8n 내에서
선택할 수 있는 많은 서버를 보유하게 됩니다
이를 통해 실제로 커스텀 개발이 가능하고
하나씩 작업할 수 있습니다
모든 에이전트에 들어가서
도구가 변경되고 업데이트될 때마다
수정할 필요 없이
기능을 추가하거나 변경할 수 있습니다
이제 MCP 서버 태그를 만들었고
다음으로 할 일은
여기 있는 플러스 버튼을 클릭하는 것입니다
클릭하고 나면
검색창에 MCP를 입력하면
MCP 서버 트리거가 표시됩니다
바로 이것을
클릭하면 됩니다. n8n 도구를
MCP 서버 엔드포인트로 노출시킵니다
클릭하면 아주 기본적인 것을 볼 수 있는데
이것은 일반적인 웹훅으로
n8n에서 웹훅을 사용해 본 적이 있다면
익숙할 것입니다
매우 간단합니다. 또한
인증을 추가할 수도 있어서
아무나 호출할 수 없도록 할 수 있습니다
기본적으로 이 URL이 유출되거나
다른 사람이 접근하게 되면
MCP 서버를 호출할 수 있게 됩니다
따라서 실행 횟수를 절약하고 싶다면
다른 사람이 MCP 서버를 쿼리하는 것을 원하지 않는다면
여기에 인증을 추가할 수 있습니다
하지만 이 영상에서는
완전히 개방된 상태로 두고
이 URL을 직접 사용할 것입니다
이것을 설정하고 나면
캔버스로 돌아가서
이 MCP 서버에
몇 가지 도구를 추가하기만 하면 됩니다
이것이 정말 강력해지는 부분은
HTTP 요청을 사용할 수 있다는 점입니다
HTTP 요청을 통해
인터넷의 다양한 도구들과
연결할 수 있습니다
오늘은 앞서 말씀드린 대로
파이어크롤 도구를 사용할 것입니다
이 도구를 사용하는 방법에 대한
문서를 찾아보고
MCP 서버 아래에
나만의 커스텀 도구를 만들 수 있습니다
firecrawl.dev로 이동하면
제가 사용할 웹사이트입니다
오늘 예제에서
사용할 도구이고, 이제 파이어크롤을
스크래핑에 사용하는 이유를 설명하겠습니다
다른 도구나 Apify 액터를 사용할 수도 있고
GET 요청같은 HTTP 요청을 사용할 수도 있습니다
하지만 파이어크롤의 장점은
모든 데이터를
원하는 형식으로 포맷팅해준다는 것입니다
페이지를 구성하는
원시 HTML 코드 구조를 원하거나
깔끔하게 포맷된
마크다운으로 받고 싶다면
그렇게 처리할 수 있습니다
파이어크롤의
정말 좋은 점은
시작할 때 500개의 무료 크레딧을 제공받습니다.
이 도구를 최대한 활용하기 전까지는
비용을 지불할 필요가 전혀 없습니다.
그래서 여러분들은
저와 함께 따라하실 수 있습니다.
모든 웹사이트마다 조금씩 다른데요.
스크래핑을 허용하는 곳도 있고
그렇지 않은 곳도 있습니다.
각 웹사이트의 이용약관을 확인하셔야 합니다.
솔직히 말씀드리면, 많은 사람들이
이런 규칙들을 위반하곤 합니다.
Firecrawl은 여러분과 스크래핑하려는
웹사이트 사이에 일종의 장벽을 만들어줍니다.
그래서 여러분의 개인 IP가
차단될 걱정을 하지 않아도 됩니다.
하지만 윤리적인 관점에서
스크래핑하려는 대상이
스크래핑을 허용하는지 확인해야 합니다.
MCP 서버를 이런 용도로 사용하고 싶으시다면 말이죠.
제가 사용할 사이트는
기본적으로 스크래핑을 허용하는
사이트인데요,
바로
toscrape.com, 구체적으로는
books.toscrape.com입니다.
이곳은 책들의 데이터베이스로
다양한 스크래핑 도구를 테스트해볼 수 있고
도구들이 어떻게 작동하는지
잘 이해할 수 있습니다.
가상의 책들과 그에 대한
평점, 제목, 가격 정보를 제공하고
카테고리도 제공하여
스크래핑 연습을 하고
이를 제대로 익힐 수 있습니다.
도구가 어떻게 작동하는지 파악할 수 있죠.
이것이 제가 사용할 웹사이트입니다.
Firecrawl을 테스트하기 위해
이 웹사이트를 사용할 수 있습니다.
이 웹사이트를 스크래핑하려면
그냥 입력하면 됩니다.
주소를
books.toscrape.com을 입력하고
'500 무료 크레딧으로 시작하기'를 클릭하면
시스템이 자동으로
URL을 찾아서 스크래핑을 하고
결과를 보여줄 것입니다.
아래로 스크롤하면
깔끔한 마크다운 형식으로
데이터가 정리되어 있는 것을 볼 수 있고
책들과 그들의
가격,
그리고 웹사이트의 모든 콘텐츠를
보여줍니다. 스크래핑은
경쟁사 가격 모니터링에 유용할 수 있고
리드 생성에도 유용할 수 있으며
다양한 용도로 활용할 수 있습니다.
이것은 Firecrawl이 어떻게 작동하는지
보여주는 예시일 뿐입니다.
이제 이것을 n8n에 연결하고
MCP 서버에 연결해서
인터넷 어디서든 이 도구를
사용할 수 있게 만들어보겠습니다.
Firecrawl의 또 다른 멋진 기능은
스크래프를 사용해 개별 페이지를 스크래핑하고
크롤 도구로 URL을 크롤링하여
하위 페이지에 접근할 수 있다는 것입니다.
이를 통해 URL 아래의 모든 것에 대해
더 포괄적인 이해를 할 수 있고
모든 것을 볼 수 있게 됩니다.
모든 페이지의 모든 내용을
제공할 것입니다.
모든 페이지의 다양한
콘텐츠를 제공합니다. 이는 꽤 큰 작업이라
테스트할 때는 단순 스크래핑만
해보시길 추천드립니다.
크롤링은 많은 크레딧을 소모할 수 있기 때문입니다.
많은 크레딧이 소비될 수 있습니다. 그리고 맵은
웹사이트의 사이트맵을 제공하며
URL들의 구조를 보여주고
전체 웹사이트가 포함하고 있는
모든 내용의 컨텍스트를 제공합니다. 여기에
Firecrawl의 특별한 기능이 있는데
이것은 LLM, 즉 대규모 언어 모델을 사용하여
AI를 통해 웹사이트에서 필요한
정확한 정보만을 추출합니다.
만약 코딩 작업을 하고 있고
LLM이 특정 기능에 대해
최신 문서를 이해해야 한다면
이 추출 기능을 사용할 수 있습니다.
그러면 웹사이트에서
필요한 정보를
정확히 찾아줄 것입니다.
이는 기본적으로 텍스트 응답을 받아들이므로
제가 찾고자 하는 내용을
정확히 지정할 수 있습니다.
추출 기능을 사용할 때
이제 우리가 할 것은
Firecrawl이 제공하는 이 모든 기능들을
도구로 설정하는 것입니다.
그러면 MCP 서버가 이러한 도구들에 대해
필요한 내용을 결정하고
어떤 도구를 사용할지 선택할 수 있습니다.
자, 이제 Firecrawl 문서로 가서
이 도구들을 어떻게 설정하는지
정확히 알아보겠습니다.
문서로 가보면
아래쪽에 기능들이 있는 것을 보실 수 있습니다.
scrape, crawl, map, extract가 있죠.
이 각각의 도구들을 n8n에서 만들려면
설정에 필요한 다양한 사양들을
읽어봐야 하지만
꽤 간단합니다.
제가 설명해드리겠습니다.
사실 저는
개발자나 프로그래머가 아닙니다.
1-2년 전에 이 분야를 시작했지만
다른 사람들보다 훨씬 앞서 나갈 수 있었던 것은
약간의 시간을 더 투자해서
이 분야에 깊이 몰입하고
정말 이해하려고 노력했기 때문입니다.
여러분도 이 과정을 따라오시면
충분히 가능하실 거라고 생각합니다.
이제 여기서
만약 정말 심도있게 배우고 싶으시다면
AI Foundations 가입을 추천드립니다.
이곳은 제 형제와 제가 시작한 커뮤니티로
기본적으로 AI 열정가들과
사업가들, 그리고 AI의 잠재력을
진정으로 이해하는 사람들이
함께 모여 서로 배우고 소통할 수 있는 공간입니다.
우리는 함께 학습하고 대화하며
통화도 할 수 있습니다.
우리는 세 가지 C를 중요하게 여깁니다.
커뮤니티(Community), 강의(Courses),
그리고 교실(Classroom)이 있고
캘린더와 통화 일정이 있습니다.
이러한 통화는 계속 확장되는
의제를 가지고 있습니다. 오늘만 해도
저와 제 형제와 함께
실시간 Q&A를 진행했습니다. n8n 워크플로우 설정을 도와주고
다른 일반적인 AI 관련 질문들도 답변해주며
심지어 애플리케이션 배포도 도와드립니다.
앱 배포 섹션으로 가보시면
최근에는 바이브 코딩에 대해 다루면서
비개발자가 어떻게
보안이나 결제 시스템과 같은 까다로운 주제들을
다룰 수 있는지에 대해
이야기를 나누고 있습니다.
피하고 싶지만 반드시 다뤄야 하는
모든 것들에 대해 다룹니다. 그리고
교실이나 강의 섹션으로 가시면
보시면 알 수 있듯이
우리는 N8N 마스터리 코스를 제공하고 있습니다.
이 코스에서 N8N의 A부터 Z까지 모든 것을
배울 수 있으며,
초보자에서 전문가 수준까지 성장할 수 있습니다.
커뮤니티 탭으로 가보시면
글도 작성할 수 있고
포스팅도 가능하며, 도움도 요청할 수 있습니다.
AI 관련 일반적인 정보나 뉴스도 공유할 수 있고
여러분의 성공 사례도 공유할 수 있습니다.
이것이 정말 흥미진진한 이유는
성공 사례 카테고리에서
사람들이 N8N과 자동화
또는 AI를 통해 첫 고객을 확보하는 것을
볼 수 있기 때문입니다.
직장에서 승진하거나,
심지어 애플과 같은 회사에 취업하는 사례도 있습니다.
우리는 non-AI 영역도 가지고 있는데,
우리가 AI에 중점을 두고 있지만
또 다른 AI, 즉 진정성 있는 상호작용
(Authentic Interaction)도 중요하게 생각하기 때문입니다.
우리는 미래에 AI가
우리 업무의 큰 부분을 차지할 것이라 믿습니다.
소비자와 생산자로서의 삶에서도
AI가 중요한 역할을 할 것입니다.
하지만 진정으로 중요한 것은
진정성 있는 인간적 상호작용을 유지하는 것입니다.
이것이 바로 우리 커뮤니티의 핵심입니다.
만약 여러분이 우리와 함께하고
참여하는 것에 진지하게 관심이 있다면,
이 과정이 매우 즐거울 것이고
인간적인 요소를 유지하면서도
시대의 흐름을 앞서갈 수 있을 것입니다.
AI Foundations에 가입하고 싶으시다면
가능한 한 빨리 결정하시는 것이 좋습니다.
왜냐하면 회원이 1500명이 되면
가격을 인상할 예정이고,
곧 그 수에 도달할 것이기 때문입니다.
지금 바로 설명란이나
상단에 고정된 댓글의 링크를 통해
AI Foundations에 가입하실 수 있습니다.
연간 구독을 선택하시면
할인된 가격으로 이용하실 수 있어서
매월 결제하는 것보다 유리합니다.
한 번 설정하면 더 이상 신경 쓸 필요가 없습니다.
AI에 투자하시면
우리가 축하해드리고
가족처럼 환영해드릴 것입니다.
이제 다시 가이드로 돌아가겠지만,
이 정보를 공유하지 않으면
여러분에게 도움이 되지 않을 것 같아서 말씀드렸습니다.
제가 이 모든 것을 어떻게 배웠는지,
바로 올바른 사람들과 교류하고
적절한 정보를 접하며
필요한 시기에 적절한 기회를 잡았기 때문입니다.
올바른 곳에서 기회를 찾으면
행운도 더 가까이 올 수 있습니다.
만약 API에 대해 배우고 있거나
이러한 것들 때문에 스트레스를 받고 계시다면
커뮤니티에 가입하세요.
우리가 올바른 방향으로 안내해드리겠습니다.
자, 이제 제가 할 일은
URL을 스크랩하고
내용을 가져오는 데 사용되는
이 설명을 복사하는 것입니다.
우리는 이것을 도구의 설명으로 사용할 것입니다.
이제 이것을 복사하고
N8N으로 돌아가서
MCP 서버 트리거가 있는 곳으로 가겠습니다.
그리고 여기 도구를 클릭하겠습니다.
이제 이것을 복사하고
N8N으로 돌아가서
MCP 서버 트리거에서
도구 버튼을 클릭하겠습니다.
자, 이제 Firecrawl에 연결하기 위해
사용할 도구는 HTTP입니다. HTTP를
여기에 입력하고 HTTP 요청 도구를 클릭하면
도구가 열리고, 스크레이핑에 대한 설명을
붙여넣을 것입니다.
URL을 스크레이핑하고 내용을 가져오는 데 사용됩니다.
이 설명은 정말 중요합니다.
MCP 서버에서 도구를 설정할 때
이 설명이 매우 중요한데,
도구를 설정할 때
에이전트가 이 도구를 어떻게
실제로 사용하고 어떤 용도인지 알려주기 때문입니다.
따라서 저는 이 HTTP 요청의 이름을
'scrape'로 변경하여 도구의 기능을 명확히 할 것입니다.
이제 나머지 설정을 위해
Firecrawl로 돌아가보겠습니다.
나머지 구성을 확인하기 위해
아래로 내려가서 사용법을 보면
CURL을 클릭할 수 있습니다.
보통은 이걸 복사할 수 있지만,
안타깝게도 n8n에서는 HTTP 요청을
도구로 사용할 때는 이것을 가져올 방법이 없습니다.
일반 노드로 사용할 때는
curl 가져오기가 가능하고
그냥 복사해서 붙여넣기만 하면
자동으로 생성해주지만,
이번 경우에는
몇 가지를 직접 복사해야 합니다.
하지만 꽤 간단합니다. POST 메서드가 있고
이것이 우리가 사용할
HTTP 요청의 타입입니다.
그리고 여기 URL 엔드포인트가 있습니다.
v1 스크레이프 엔드포인트를 복사하고
n8n으로 돌아가서
POST 메서드라는 것을 기억하면서
여기 메서드를
POST로 변경하고
URL을 붙여넣겠습니다.
그리고 다시
Firecrawl 문서로 돌아가서
다른 필요한 것들을 확인해보겠습니다.
여기 h는 헤더를 의미합니다.
추가해야 할 헤더가 두 개 있습니다.
content-type application/json을 추가하고
authorization bearer와 API 키를 추가해야 합니다.
이렇게 하면 우리 계정에
Firecrawl로 접근할 수 있습니다.
먼저 content-type부터
복사하고
application/json이라는 것을
기억해둡니다.
MCP 서버로 돌아와서
헤더 보내기를 클릭하고
여기 이름에
content-type을 붙여넣습니다.
그리고 제공된 값으로
아래 필드를 사용할 것입니다.
문서에 나온 대로 입력하겠습니다.
application/json을
정확히 원하는 대로 입력해야 합니다.
첫 번째 헤더 매개변수를 설정했으니
다시 돌아가서
다른 것이 무엇이었는지 확인하겠습니다.
authorization이었던 것 같은데,
맞습니다. Firecrawl로 돌아가보면
authorization bearer와 API 키가 필요합니다.
여기에 API 키를 넣을 건데,
이것은 API를 사용할 때
일반적으로 따라야 할
관행입니다.
이것은 비밀번호와 같은 것이라
아무 곳에나 노출되면 안 됩니다.
그렇지 않으면 다른 사람들이
여러분의 크레딧을 사용할 수 있게 됩니다.
Firecrawl이나 다른 어떤 애플리케이션을 사용하든
인증을 설정할 때 헤더를 추가하면서
n8n이 제공하는 헤더를 그대로 사용할 수 있지만
저는 그렇게 하는 것을 추천하지 않습니다
보안성이 떨어지고
향후 자격 증명을 재사용하기가
어려워질 수 있기 때문입니다
그래서 이제 보여드리겠습니다
n8n에서 헤더 인증을 올바르게 설정하는 방법을
먼저 이 인증 정보를 복사하고
bearer 다음에 스페이스를 넣고
API 키를 입력하는 것을 기억하세요
이제 n8n으로 돌아가보겠습니다
여기서 할 일은
새로 추가된
인증 탭을 클릭하는 것입니다
generic credential 타입을 선택하고
새로 나타난 드롭다운을 클릭하면
헤더 인증을 선택할 수 있습니다
이것이 헤더 인증입니다. 우리가 필요한 것이 바로 이것이죠
헤더 인증을 선택하고 나면
이제 방금 나타난 드롭다운을 클릭하고
새 자격 증명을 만들어보겠습니다
드롭다운을 보시면
제가 가진 모든 자격 증명이 표시됩니다
새 자격 증명을 만들어볼 텐데
create new credential을 클릭하고
이제 Firecrawl에 접근하기 위한
자격 증명을 설정하겠습니다
먼저 이름을 변경해서
용도를 알 수 있게 하겠습니다
'fire crawl MCP server'라고 하겠습니다
이름은 기억하기 쉽게
원하는 대로 지으시면 됩니다
name 필드에는 아까 복사한
authorization을 붙여넣거나 직접 입력하세요
value 필드에는
bearer를 입력하고 스페이스바를
한 번 눌러주세요
bearer는 모두 대문자로 입력하고
그 다음 Firecrawl에서
API 키를 가져오겠습니다
이걸 접근하려면
Firecrawl로 돌아가서
프론트엔드의 playground로 가보겠습니다
계정을 만들고 나면
대시보드로 들어갈 수 있고
여기서 좋은 점은
API 키가 바로 여기 있다는 거죠
'copy API key'를 클릭하고
n8n으로 돌아와서
bearer 뒤의 공백 다음에 붙여넣기 하면 됩니다
붙여넣기하고 저장하면
이제 Firecrawl MCP 서버 자격 증명이
설정되었습니다. 이걸 닫고
저장하지 않겠다고 하면
이제 헤더 인증에서 Firecrawl MCP
서버를 선택할 수 있고
인증이 필요할 때마다
내 자격 증명에서 사용할 수 있습니다
안전하고 보안성 있게 저장되어 있죠
이것이 헤더 인증을 추가하는 좋은 방법입니다
여기서처럼 헤더 파라미터로
authorization을 입력하고
bearer 스페이스 API 키 값을 넣을 수도 있지만
이 경우에는 헤더 인증 방식을 사용하는 것이 좋습니다
이제 다시
Firecrawl 문서로 돌아가서
HTTP 요청에 추가로 필요한 것이 있는지
확인해보겠습니다
이런 작업들은 금방 익숙해질 겁니다
지금은 많아 보일 수 있지만
이것은 앞으로 습득하게 될
스킬이고 다양한 자동화와
MCP 서버를 만들 수 있게 될 것이며
이는 매우 강력한 도구가 될 것입니다
그러니 계속 따라와 주시기 바랍니다
여러분이 여기까지 와준 것이 자랑스럽습니다
지금까지 영상을 시청하신 분들께
부탁드리고 싶은 것이 있습니다
댓글 섹션에 가셔서
무엇이 여러분을 이 영상으로 이끌었는지
그리고 왜 아직도 시청하고 계신지
MCP 서버에 대해 어떤 점이
여러분을 설레게 하는지 알려주세요
저는 정말로 궁금합니다
무엇이 여러분을 이 영상으로 이끌었고
여기까지 오게 했는지 말이죠
여러분은 소수에 속합니다
여기까지 온 사람은 얼마 되지 않거든요
이런 내용을 깊이 파고들어
이해하려는 사람은 소수니까요
자, 이제 fire crawl 문서로 돌아가서
댓글을 남기신 후에
아래로 조금 스크롤해보면
URL과 formats 섹션이 있습니다
이것은 D 태그 뒤에 넣어야 할 내용입니다
우리가 본문에 넣어야 할 내용이죠
D 플래그 다음에 URL과
formats가 필요합니다
좋은 점은 여기 있는
JSON을 그대로 복사할 수 있다는 겁니다
여기 보이는 이 구조는
코드가 이해할 수 있는 형식입니다
우리가 전달하려는 내용을
코드가 이해할 수 있게 만든 거죠
URL을 전달해서
어떤 URL을 스크랩할지 알려주고
어떤 형식으로 받을지도 지정합니다
우리는 마크다운 형식으로 받을 건데
이는 거의
일반 텍스트에 가까운 형식입니다
사람과 대규모 언어 모델이 이해하기 쉽죠
그리고 HTML도 요청했습니다
둘 다 요청했으니 둘 다 받을 수 있죠
이렇게 원하는 형식을 선택할 수 있어서 좋습니다
두 형식 모두 받을 수 있으니까요
이게 좋은 점입니다
원하는 형식을 선택할 수 있으니까요
일단 이 템플릿을 복사하고
여기
n8n으로 돌아가겠습니다
그리고
send body를 클릭하고
아래에서 specify body를 클릭합니다
그리고 'using JSON below'를 클릭합니다
필드를 사용할 수도 있는데
수동으로 입력할 수도 있고
URL을 입력하고 아래 필드를 사용해서
원하는 URL을 지정할 수 있습니다
또는 이 경우에는
모델을 사용해서 URL을 채우게 할 수도 있죠
모델이 URL을 채우도록 할 수 있습니다
하지만 지금은 JSON을 사용해서
어떻게 작동하는지 보여드리겠습니다
사실 이게 더 복잡한 방법이지만
이렇게 하면
더 잘 이해할 수 있고
전반적으로 JSON 사용법을 아는 것이
더 좋은 스킬이 될 것 같습니다
워크플로우를 복사하고
템플릿을 사용할 수는 있지만
작동 원리를 이해하지 못하면
n8n을 사용하는 게 즐겁지 않을 거예요
그러니 'using JSON below'를 클릭하고
따라와 주세요
보시면 아시겠지만
모델이 채워야 할 데이터에 대한 플레이스홀더를 사용하라는 알림이 표시됩니다.
그 방법도 곧 보여드리겠습니다.
이 JSON을 붙여넣으면
URL과 format이 있을 것입니다.
URL을 입력하고
형식을 지정할 겁니다.
자, 먼저
중괄호를 뒤로 정렬하여
이렇게 맞춰보겠습니다. 확대해서 보면
잘 보이실 텐데
URL이 있는 것을 확인할 수 있습니다.
여기가 URL을 위한 플레이스홀더를 넣을 곳이고
format도 플레이스홀더로 만들 수 있습니다.
하지만 마크다운만 사용하고 싶다면
플레이스홀더를 사용하지 않아도 됩니다.
HTML과 쉼표를 지우고
마크다운만 남겨두겠습니다.
쉼표도 함께 지워줍니다.
마크다운만 사용하는 이유는
LLM에 과도한 부담을 주지 않기 위해서입니다.
URL의 일반 텍스트만 가져오려고 합니다.
마크다운은 에이전트의 컨텍스트를 가져올 때
좋은 방법입니다.
에이전트에게 컨텍스트를 제공할 때 유용하죠.
그래서 마크다운으로 두겠습니다.
URL에는 플레이스홀더를 사용할 건데
이 도구의 좋은 점은
HTTP 요청의 마지막 부분에서
해야 할 마지막 설정이
바로 이것입니다.
플레이스홀더를 정의해야 합니다.
이것들이 모델이 실제로
도구 요청을 커스터마이즈하기 위해
채워넣을 항목들입니다.
여기 정의 추가를 클릭하면
URL이라는 플레이스홀더 이름을 입력할 수 있고
설명도 추가할 수 있습니다.
'스크래핑하려는 페이지의 URL을 입력하는 곳입니다'라고
작성하겠습니다.
완벽합니다. 이게 다예요.
타입은 문자열로 지정하면 됩니다.
문자열은 단순한 텍스트 라인이에요.
문자열을 전달해야 한다는 걸 알게 됩니다.
number를 선택하면 숫자를 전달해야 하고
Boolean을 선택하면
1이나 0, 또는 true나 false를 전달해야 합니다.
JSON도 선택할 수 있는데
실제 JSON을 메시지로 전달하고 싶을 때 사용합니다.
저는 string으로 하겠습니다.
이제 거의 다 준비되었습니다.
이제 해야 할 일은
URL이 이름이니까
URL 부분을 지우고
중괄호를 넣고
JSON에 URL이라고 입력하면 됩니다.
이제 플레이스홀더 정의가 설정되어 있어서
이 부분을 채워야 한다는 걸
알 수 있습니다. 좋습니다.
이제 스크래핑을 위한 HTTP 요청이
거의 준비되었습니다. 캔버스로 돌아가보면
이제 스크래핑 도구가
하나 있는 것을 볼 수 있습니다.
정의되어 있고 이름도 있습니다.
모든 게 준비되었죠.
n8n에서 작업할 때
중요한 것 한 가지는
자주 저장하는 것입니다.
사실 저는 변경할 때마다 저장하는
첫 번째 규칙을 어겼네요.
위에 있는 주황색 저장 버튼을
클릭해서 수동으로 저장할 수 있습니다.
자동 저장이 되지 않기 때문에
자동 저장이 되지 않으니 수시로
작업하면서 자주 저장하세요
자, 이제 개인적으로
이게 제대로 작동하는지 확인하고 싶습니다
MCP 서버를 모든 도구와 함께
전부 구축해놓고 나서
작동하지 않는다는 걸 알게 되는 상황은
피하고 싶거든요
그래서 먼저 테스트를 해볼 건데요
테스트를 위해서는
먼저 이 워크플로우를
활성화하고
'확인' 버튼을 누른 다음 MCP 서버 트리거로 들어갈 겁니다
프로덕션 URL로 전환하고
MCP URL을 클릭해서
프로덕션 URL을 복사할 건데요
이 URL이 바로 MCP 서버를
호출하는 데 사용할 주소입니다
URL을 복사한 후에는 캔버스로 돌아가는데
다시 클릭하지 않도록 주의하세요
클릭하면 테스트 URL로 바뀌거든요
프로덕션으로 전환했으면 캔버스로 돌아가서
이제 프로덕션 모드에서
작업할 수 있습니다
다음으로는 클라이언트 측 작업을 할 건데
지금은 테스트 목적으로만 하는 거예요
도구가 완전히 완성된 건 아니지만
우리 에이전트가 이미 구축해 놓은
MCP 서버의 이 도구와
제대로 통신할 수 있는지 확인하고 싶습니다
다시 개요 페이지로 돌아가서
새 워크플로우를 만들고
이름을 'scraping agent'로
지정하겠습니다
n8n에서 에이전트와 대화하는
방법은 여러 가지가 있는데요
텔레그램, 슬랙, 마이크로소프트 팀즈
왓츠앱도 사용할 수 있고
다양한 방법이 있습니다
심지어 직접
커스텀 도구를 만들어서
대화할 수도 있고
Lovable이나 Cursor를 사용해서 코드를 작성할 수도 있죠
하지만 간단하게 테스트하기 위해
오늘은 다른 방법을 써볼 건데요
'첫 단계 추가'를 클릭하고
'chat'을 입력해서
n8n 채팅 트리거를 사용하겠습니다
이렇게 하면 n8n에서 바로
채팅을 하고 테스트해볼 수 있어요
원한다면 나중에도
계속 이걸 사용할 수 있고
다른 도구로 바꿀 필요는 없습니다
채팅 쪽에서는 말이죠
채팅 트리거를 클릭하고
캔버스로 돌아가면 됩니다
이제 채팅 트리거가 있으니
다음으로 AI 에이전트를
추가해야 합니다. 이것도 간단한데요
채팅 트리거가 있으면
플러스를 누르고
AI 에이전트를 입력해서 선택하면 됩니다
여기서 AI 에이전트를
설정하고 지시사항을 입력할 수 있어요
캔버스로 돌아가보면
AI 에이전트를 실행하는 데
몇 가지 요구사항이 있다는 걸 알 수 있습니다
첫 번째는 채팅 모델인데
이건 우리가 사용할
대규모 언어 모델입니다
이 에이전트를 위한 것이죠
여기 플러스를 클릭하면
OpenAI를 선택하면 여러가지 옵션이 나타나는데요
OpenAI 챗 모델을 볼 수 있습니다
이를 통해 모든 OpenAI 챗 모델에
ChatGPT와 같은 모델들에 연결할 수 있죠
OpenAI 챗 모델을 클릭하면
모델을 선택할 수 있는데, 먼저 인증 정보를
설정해야 합니다
이를 위해서는 드롭다운 메뉴를 클릭하고
새 인증 정보 생성을 선택하세요
그리고 platform.openai.com으로
이동하시면 됩니다
보시다시피 저는 지금
platform.openai.com에 있습니다
여기서 로그인하거나 계정이 없다면
가입을 먼저 해야 합니다
주의할 점은 이 계정이
ChatGPT 계정과는 별개라는 것입니다
이미 ChatGPT 계정이 있더라도
유료든 무료든 상관없이
개발자 포털에 따로 가입해야
API에 접근할 수 있습니다
이것도 개발자 포털에
가입해야 사용할 수 있습니다
복잡해 보일 수 있지만
한 번만 설정하면 됩니다
자전거 타기처럼 익숙해질 거예요
저는 이미 가입이 되어 있어서
로그인만 하면 되는데요
이미 계정이 있으니
로그인을 클릭하고
저는 구글 계정으로
계속하기를 선택하겠습니다
로그인하면 프로필 사진이 보이고
설정 아이콘도 보입니다
이제 설정 아이콘을
클릭하시면 됩니다
클릭하시면
사이드 패널이
새로 열립니다
여기서 먼저 찾아야 할 것은
결제 영역입니다
결제에서 카드 정보와
모든 결제 정보를
설정하게 됩니다
이것은 서비스 운영을 위한 것인데요
참고로 말씀드리면
OpenAI는 꽤 합리적인 가격의 모델들이 있어서
시작하는데 많은 비용이
들지 않을 겁니다
5-10달러 정도면 시작할 수 있고
응답당 몇 센트 정도의
비용만 발생합니다
비용 걱정은 하지 않으셔도 되고
한도도 설정할 수 있으며
사용량도 모니터링할 수 있습니다
특히 개인 용도로만 사용한다면
크게 부담되지 않을 겁니다
하지만 결제 설정은
반드시 필요하니
결제 정보를 등록해주세요
결제 정보를 설정한 후에는
API 키 메뉴로 이동합니다
API 키를 클릭하고
새로운 시크릿 키를 생성할 건데
이름을 'MCP scraping agent'
test로 지정하겠습니다
프로젝트도 선택해야 하는데
보통은 기본 프로젝트를
사용하시면 됩니다
저는 데모 프로젝트를 사용할 거고
시크릿 키 생성을 클릭합니다
생성된 키를 복사하고
n8n으로 돌아가서
인증 정보를 입력하겠습니다
OpenAI 챗 모델의 자격 증명을 위해
API 키를 붙여넣기 하겠습니다
그리고 이름을 변경하겠습니다
MCP agent scraping test로 변경하고
저장하도록 하겠습니다
참고로 이름은 크게 중요하지 않습니다
단지 찾기 쉽게 하기 위한 것입니다
OpenAI의 API 키도 마찬가지로
이름을 일치시킬 필요는 없습니다
API 키만 있으면 됩니다
완료되면 저장하시고
API 키가 준비되면
저장 후에 자격 증명 연결에서
방금 추가한
키를 선택하면
됩니다
그러면 프론트엔드에서 사용 가능한
모든 OpenAI 모델에 접근할 수 있습니다
스크롤을 내려보면
MCP 서버에서 제가 가장 선호하는 모델은
GPT-3.5-turbo입니다. 03 Mini를 입력하면
나타날 겁니다. 보이지 않는다면
03을 입력해보세요
대시를 추가해야 했네요
저는 GPT-3.5-turbo-0125를 사용하겠습니다
이 모델이 결과 도출이 더 좋고
AI 분야에서 말하는
환각 현상이 덜합니다
환각이란 AI가 정보를 출력할 때
마치 올바른 것처럼 행동하지만
실제로는 쓸모없는 정보나
잘못된 정보를 제공하는 것입니다
GPT-3.5-turbo는 이런 현상을 잘 피합니다
100% 완벽하진 않지만
GPT-4보다 훨씬 낫습니다
GPT-4를 사용하면서 겪은
끔찍한 사례들을 봤거든요
그래서 GPT-3.5-turbo를 추천합니다
가격도 합리적이고
품질도 정말 뛰어납니다
모델을 선택했으면
캔버스로 돌아갈 수 있고
이제 OpenAI 챗 모델이 준비됐습니다
AI 에이전트를 만드는 다음 단계는
대화 내용을 기억하게 하는 것입니다
여기서는 메모리 아래에 있는
플러스를 클릭하고
심플 메모리를
선택하겠습니다
심플 메모리의 좋은 점은
세션 ID만 있으면 된다는 것입니다
세션 ID는 대화를 추적하는 방법으로
대화를 구별하는 고유한 숫자 조합입니다
현재 진행 중인
대화를 나타내죠
텔레그램이나 슬랙 같은 플랫폼에
연결할 때는 실제로
슬랙이나 텔레그램에서의
채팅을 나타내는 정의된
세션 ID를 제공하게 됩니다
하지만 지금은 채팅 트리거
노드만 사용하기 때문에 자동으로
채팅 트리거에서 가져올 수 있습니다
여기서 연결된 채팅 트리거 노드를
선택하면 자동으로 채팅 내용을
기억하게 됩니다
다른 채팅 도구 연결에
어려움을 겪고 계시다면
우리 커뮤니티 가입을 추천드립니다
실제로 이것만을 위한
섹션이 있기 때문입니다
AI Foundations에서
교실로 들어가서 N8N 마스터리 코스를 보시면
코스로 가시면
커뮤니케이션 미디엄을 통해 텍스트와
텔레그램 연결 방법을 보여드립니다.
텍스트와 음성 데모도 함께 제공합니다.
또한 슬랙, 왓츠앱, 오픈 웹 UI도 있어서
로컬 환경을 선호하는 분들은
자신의 기기에서 직접 사용할 수 있습니다.
다시 말씀드리지만,
아래 설명란의 링크나
상단 고정 댓글을 통해
커뮤니티에 참여하실 수 있습니다.
이 튜토리얼에서는 connected chat 트리거 노드만
사용하도록 하겠습니다.
다음으로 컨텍스트 윈도우 길이를 보겠습니다.
이는 AI가 기억할 수 있는
이전 상호작용이나 메시지의 수를
나타냅니다. 이 에이전트의 경우
이전 대화 내용 중 5개의
메시지를 기억할 수 있습니다.
이 값을 높이고 싶다면
10으로 설정할 수도 있습니다.
이렇게 하면 더 긴 대화 기록을
기억할 수 있게 됩니다.
이것은 필요에 따라
조정하고 실험해볼 수 있는 부분입니다.
에이전트가 대화를 기억하지 못하거나
내용을 잊어버리는 문제가 있다면
이 두 가지 기본 설정,
세션 ID와
컨텍스트 윈도우 길이를 확인해보세요.
이제 캔버스로 돌아가보면
메모리와 모델이 있습니다.
다음은 재미있는 부분입니다.
MCP 서버를 추가하고
도구를 추가할 것입니다.
여기서 플러스 버튼을 클릭하고 MCP를 입력하면
MCP 클라이언트 도구가 보일 것입니다.
이것을 클릭하면
우리가 만든 MCP 서버를 참조하게 됩니다.
이전에 웹훅을 복사했지만
저장하지 않았었는데,
다행히도
다시 가져올 수 있습니다.
또한 인증을 설정했다면
인증 정보도 연결할 수 있고
어떤 도구를 사용할지도 선택할 수 있습니다.
우리는 이미 스크래핑 도구를 하나 가지고 있습니다.
이제 다른 워크플로우에 있는
URL을 가져와서
여기에 붙여넣기만 하면 됩니다.
진행 상황을 저장하기 위해
캔버스로 돌아가서 저장하겠습니다.
그리고 오버뷰로 가서
파이어크롤용 MCP 서버를
클릭하겠습니다.
MCP 서버 트리거로 들어가서
프로덕션 URL로 전환하고
클릭해서 복사하겠습니다.
그런 다음 캔버스로 돌아가서
오버뷰로 다시 이동합니다.
그리고 스크래핑 에이전트로
돌아가겠습니다.
MCP 클라이언트 도구를 클릭하고
여기에 URL을 붙여넣겠습니다.
이제 이 도구에 접근할 수 있게 되었습니다.
원한다면 '선택된 도구'로 가서
스크래핑 도구만 포함하도록
선택할 수도 있고,
'제외할 항목'을 선택해서 원하지 않는 도구를
제외할 수도 있습니다.
하지만 이 경우에는
모든 도구를 선택하겠습니다.
현재는 도구가 하나밖에 없어서 문제없습니다.
이제 캔버스로 돌아가서
이 AI 에이전트가 실제로 작동하는지
테스트해볼 수 있습니다. 실제 작동하는 것을 보고
MCP 서버가 제대로 응답하는지 확인할 수 있죠
먼저 저장을 클릭하고
채팅창을 열어보겠습니다
그리고 제가 입력할 내용은
books.toscrape.com 웹사이트를 스크랩해서
최고 평점을 받은 책들이 무엇인지
알려달라고 요청하겠습니다
이것은 테스트용이고, 이 웹사이트는
윤리적으로 스크랩이 가능한
테스트 사이트입니다
전체 URL을 정확히 인식할 수 있도록
https:// 도 함께 입력하겠습니다
이제 전체 URL이 준비되었고
이제 메시지를 보내보겠습니다
AI 에이전트가 작업을 시작했네요
여기서
챗 모델에 접근하고 메모리를 확인했습니다
이제 MCP 서버 도구를 사용하려고 하네요
좋습니다. 녹색 체크마크가 떴네요. 좋은 신호입니다
이제 어떤 응답이 오는지 보겠습니다
MCP 클라이언트로부터
컨텍스트 정보가 돌아와야 합니다
좋습니다. 응답이 왔네요
Books to Scrape 웹사이트는
웹 스크래핑 연습용
데모 사이트입니다
많은 책이 있지만
별도의 최고 평점 카테고리는 없다고 하네요
이제 개요 화면으로 돌아가서
MCP 서버가 어떤 정보를 받았고
그 정보로 무엇을 했는지 확인하기 위해
MCP 서버로 들어가보겠습니다
여기서
실행 기록을 확인할 수 있고
성공적으로 실행된 내역을 볼 수 있습니다
여기 첫 번째가 가장 최근 실행입니다
전달된 정보를 보고 싶다면
전달된 정보를 보려면
스크랩을 클릭하면 되고, 네
성공적으로 반환된 것을 확인할 수 있습니다
여기에 마크다운으로 표시되어 있네요
메뉴 구조와 함께
이 웹사이트에 대한 정보를
받아왔습니다. 이제 스크래핑 에이전트로 돌아가서
다른 질문을 해보겠습니다
다시 채팅을 열고
채팅창을 열어서
books.toscrape.com에서 찾을 수 있는
책 하나를 이름을 말해달라고 하겠습니다
이번에는 구체적인 정보를
가져올 수 있는지 보겠습니다
아까는 최고 평점 책들을 물어봤지만
이번에는 에이전트가
실제로 올바른 정보를
가져오는지 확인하고 싶습니다
도구를 사용하고 있고, 이제 모델이
응답을 받았네요. 웹사이트에서 볼 수 있는
책들 중 하나는
'A Light in the Attic'이라고 하네요
이제 웹사이트로 가서
실제로 있는지 확인해보겠습니다
자, 이제 북스크랩 사이트에 왔고
보시다시피 첫 번째 책을 찾아서
저에게 보여줬네요
완벽합니다. 이제 이 도구가
스크래핑에 잘 작동하는 것을 확인했으니
다시 돌아가서 다른 도구들도
MCP 서버에 추가할 수 있습니다
개요로 돌아가서 MCP 서버를
클릭하고
파이어크롤에서 새로운 도구들을
추가할 수 있습니다. 지금은 스크랩만 있지만
이제 firecrawl이 제공하는 다른 도구들을 추가해보겠습니다
이 과정을 단순화하기 위해
기존에 있는 것을 복제하겠습니다
연결하기 위해 도구를 끌어다 놓으면
편집할 수 있습니다
이제 연결되었으니
클릭해서
들어가보겠습니다. 여기서는
설명, 이름, URL 그리고
필요하다면 이 JSON도 변경할 것입니다
다시
Firecrawl로 돌아가서 크롤 기능으로 전환하겠습니다
여기서 엔드포인트 설명을
복사하고 N8N으로 돌아가서
설명을 붙여넣겠습니다
그리고 이름도 바꾸겠습니다
크롤로
변경하고 이름 바꾸기를 클릭합니다
문서에서 아래로 스크롤하면
사용법에서 다른 URL 엔드포인트를
확인할 수 있습니다. 이것을 복사해서
여기 있는 URL을 교체하겠습니다
인증 정보는 그대로 유지됩니다
이것이 복사하기의 장점입니다
이미 준비가 되어 있죠
application/json 헤더를 보내고 있고
그리고 여기 아래에서는
본문을 조금
수정해야 합니다. 그리고
플레이스홀더 정의도
수정이 필요할 수 있습니다. d 플래그 아래를 보면
추가할 수 있는
다양한 옵션들이 있습니다
스크랩할 때의 옵션을 추가하거나
스크랩할 페이지 수 제한을 설정할 수 있고
URL도 추가할 수 있습니다
이 정보를 모두 복사해서
JSON으로 돌아가
붙여넣겠습니다
끝부분을 조정하고
백스페이스로 끝부분을 맞추겠습니다
URL은 이미 있으니
플레이스홀더를 넣을 수 있습니다
URL 플레이스홀더가
여기 이미 존재하고 있습니다
스크랩하려는 페이지의
URL을 입력하는 곳이라고 설명합니다
이 경우에는
크롤하려는 기본 페이지의 URL을
입력하는
곳이라고 설명하겠습니다
이 예제에서는
제한을 5로 설정하여
시스템에 부담을 주지 않고
과도한 스크랩을 방지합니다
원하신다면
제한을 조정할 수 있지만, 처음에는
낮게 시작하는 것을 추천합니다
형식은 마크다운이나 HTML 중 선택할 수 있는데
테스트를 위해
HTML을 선택하겠습니다
이제 준비가 됐습니다
다른 플레이스홀더를
추가하고 싶다면
정의 추가를 클릭하면 됩니다만
이 정도면 충분해 보입니다
캔버스로 돌아가서
Firecrawl이 제공하는 다른 도구들에도
이 과정을 반복하겠습니다. 추출과 크롤 도구를
만들어봤는데
이것들은 좀 더 복잡하고
실행 비용도 훨씬 더 많이 듭니다
그래서 이것들은 삭제하고
이 가이드에서는
스크랩과 맵 도구만 사용하도록 하겠습니다
이제 테스트를 진행해보도록 하겠습니다.
모든 것이 제대로 작동하는지 확인해보겠습니다.
지금 제가 AI 에이전트 안에 있는데요.
채팅을 숨기고 다시 열기를 누르면
실제로 특정 웹사이트의 URL을
매핑하도록 요청할 수 있습니다.
예를 들어, 파이어크롤 웹사이트의
문서를 이해하고 싶다면
먼저 이 웹사이트의 URL을
매핑해달라고 요청할 수 있습니다.
이렇게 보내면
파이어크롤 문서의 사이트맵을
제공받을 수 있습니다.
docs.firecrawl.dev에서 가져온
정보입니다.
좋습니다. 이제 모든 URL을
추출했고
필요한 모든 컨텍스트를 가지고 있어서
올바른 페이지를 스크랩할 수 있게
되었습니다.
이제 'extract'에 대한 페이지를
스크랩하고
extract 요청을 보내는 방법을 알려달라고 하겠습니다.
이 정보를 바탕으로 설명해달라고 요청하겠습니다.
이제 여기 컨텍스트가 있고 모든 URL이 있어서
살펴보면서
'extract'에 대한
페이지를 찾을 것입니다.
계속 스크롤을 내리다 보면
이런 식으로 extract에 대한
다른 페이지도 찾을 수 있죠.
모든 정보를 스크랩하고
그 정보를 수집해서
확실한 답변을 제공할 것입니다.
이 도구의 extract 기능을
어떻게 사용하는지에 대해서요.
문서의 정보를 바탕으로
extract 요청을 보내려면
파이어크롤 API 엔드포인트에
POST 요청을 보내면 된다고 하네요.
스크랩한 정보를 바탕으로
모든 것을 설명해주고 있습니다.
심지어 curl 명령어도 제공하고
응답 예시까지 보여주네요.
필요한 모든 정보를 제공받았습니다.
지금까지 N8N에서
MCP 서버와 클라이언트 사이드를 만드는
완벽한 가이드였습니다.
이 가이드가 도움이 되었길 바랍니다.
AI Foundations 커뮤니티에
아래 링크를 통해 참여하시면
AI와 자동화에 열정적인 분들과 함께
이런 것들을 매일 만들 수 있습니다.
다음 튜토리얼에서
여러분을 다시 만나길 기대합니다.
이런 상세한 콘텐츠가 마음에 드신다면
좋아요 버튼을 눌러주세요.
그리고 구독과 함께
알림 설정을 해두시면
새로운 교육 영상이 업로드될 때
알림을 받으실 수 있습니다.
다음 N8N 업데이트에서
다시 만나뵙겠습니다.