n8n 튜토리얼: n8n을 사용하여 모든 웹사이트 스크랩하기! (초보자부터 전문가까지)

Productive Dude 구독자 112,000명

요약

이 영상은 코딩 경험 없이도 n8n과 Firecrawl을 사용하여 웹사이트의 데이터를 쉽게 스크랩하는 방법을 상세하게 설명합니다. HTTP 요청 노드 설정, API 인증 및 자격 증명 구성 등 기초부터 차근차근 다루며, 스크랩한 데이터를 OpenAI를 통해 요약 및 구조화하는 과정을 소개합니다. 또한, Google Sheets와 동적 폼 입력을 활용하여 수집된 데이터를 저장하고, RSS 피드를 이용해 자동으로 LinkedIn 포스트를 생성하는 확장형 워크플로우까지 다룹니다. 마지막으로, 관련 커뮤니티 참여를 통해 추가 지원과 다양한 활용 사례를 공유하도록 권유합니다.

주요 키워드

n8n Firecrawl 웹 스크래핑 HTTP 요청 API 인증 OpenAI Google Sheets RSS 피드 자동화 AI 커뮤니티

하이라이트

🔑 n8n을 이용해 코딩 없이도 웹 스크래핑이 가능함을 강조합니다.
🚀 Firecrawl 도구를 통해 웹사이트의 HTML 데이터를 Markdown 형식으로 추출하는 방법을 소개합니다.
🌟 HTTP 요청 노드와 API 자격 증명 설정을 통해 안전하게 데이터를 요청하는 기술을 설명합니다.
🤖 OpenAI와의 통합을 통해 스크래핑한 데이터를 요약, 구조화하여 AI 기반 콘텐츠를 생성하는 과정을 다룹니다.
📊 Google Sheets와의 연동으로 스크랩 데이터를 효과적으로 저장 및 관리하는 방법을 보여줍니다.
📝 동적 폼 입력 설정으로 사용자가 원하는 URL을 손쉽게 수집할 수 있는 자동화 솔루션을 제시합니다.
📰 RSS 피드 연동을 통해 실시간 뉴스나 업데이트된 콘텐츠를 자동으로 스크랩하는 기능을 설명합니다.
🔄 다양한 워크플로우 복제 및 응용으로 마케팅, 리드 생성 등 여러 분야에 적용 가능한 사례를 제시합니다.
🌐 커뮤니티 참여를 통해 AI 및 자동화 도구에 관한 최신 트렌드와 추가 교육 콘텐츠를 제공받을 수 있음을 강조합니다.

용어 설명

n8n

오픈 소스 워크플로 자동화 플랫폼으로, 코딩 없이도 다양한 작업을 자동화할 수 있습니다.

Firecrawl

웹 스크래핑 및 데이터 추출 도구로, 웹사이트의 구조화된 데이터를 Markdown 형식 등으로 변환해줍니다.

HTTP 노드

n8n에서 외부 API와 통신할 때 사용하는 구성요소로, 웹 요청을 전송하고 응답 데이터를 처리합니다.

OpenAI

인공지능 언어 모델과 ChatGPT 등 다양한 AI 서비스를 제공하는 플랫폼으로, 텍스트 요약 및 생성에 활용됩니다.

RSS 피드

웹사이트의 최신 업데이트나 기사들을 자동으로 받아볼 수 있도록 하는 표준 포맷입니다.

자격 증명(credential)

API 접근이나 데이터 요청 시 사용하는 인증 키와 정보로, 보안을 위해 필요합니다.

[00:00:00] 소개 및 개요

n8n과 Firecrawl을 이용해 웹 스크래핑을 시작하는 이유와 기본 개념을 소개합니다. 영상의 흐름과 목적을 간단하게 설명합니다.

[00:00] N8N을 사용한 웹 스크래핑 가이드를 소개하며, 코딩 경험이 없는 초보자도 쉽게 따라할 수 있다고 설명합니다.

[00:26] 일반적인 N8N 워크플로우는 노션, 에어테이블, 구글 드라이브 등 개인 데이터에 접근하고 AI 에이전트를 강화하는 데 사용됩니다.

[00:54] 때로는 일반적인 솔루션만으로는 부족할 때가 있어 스크래핑이 필요하며, 이는 부동산 정보, 가격 정보 등 다양한 데이터를 수집하는 데 유용합니다.

[01:27] 스크래핑에는 웹사이트별 규칙과 제한사항이 있으며, 전통적인 방식은 개발 경험이 필요하다는 제약이 있습니다.

[01:46] 스크래핑의 주요 목표는 인간처럼 행동하여 데이터를 수집하고, 이를 자동화나 AI 에이전트에 활용하는 것입니다.

[00:02:00] n8n 설정 및 Firecrawl 연동

n8n 워크플로우에서 HTTP 요청 노드 설정과 Firecrawl을 통한 스크래핑 요청 구성 방법을 보여줍니다. API 키 입력 및 자격 증명 관리에 대해 설명합니다.

[02:21] Firecrawl 도구를 사용하면 웹사이트 데이터를 LLM이 바로 사용할 수 있는 형태로 변환할 수 있습니다.

[02:42] n8n에서 코딩 없이 스크래핑 워크플로우를 설정하는 방법과 Firecrawl 연동 방법을 소개합니다.

[02:53] 기존의 Selenium이나 Puppeteer 같은 복잡한 개발 도구 대신, 더 쉽고 효율적인 스크래핑 방법을 설명합니다.

[03:15] 이 방법을 통해 개발자 고용 비용을 줄이고, 경쟁사보다 빠르게 데이터를 수집할 수 있습니다.

[03:43] 스크래핑 마스터클래스를 시작하기 전, 시청자들의 스크래핑 관심 계기를 묻습니다.

[04:00] n8n 가입 방법과 14일 무료 체험 안내, 첫 워크플로우 생성 과정을 설명합니다.

[04:30] n8n에서 수동 트리거 설정과 HTTP 노드 연결 방법을 단계별로 안내합니다.

[05:12] 스크래핑 과정을 단계별로 설명하며, 새로운 기능들에 대해 걱정하지 말라고 안내합니다.

[05:26] Firecrawl 도구 소개와 접속 방법을 설명하며, firecrawl.dev 웹사이트로 이동하는 방법을 안내합니다.

[05:55] Firecrawl의 무료 플랜에 대해 설명하며, 500 크레딧으로 충분한 스크래핑 작업이 가능함을 강조합니다.

[06:21] 플레이그라운드 기능 소개와 문서 섹션으로 이동하여 HTTP 요청 설정 방법을 설명합니다.

[07:09] cURL 명령어를 n8n으로 가져와서 HTTP 요청을 구성하는 과정을 상세히 설명합니다.

[07:44] 스크래핑 요청시 반환되는 raw HTML은 웹사이트의 기본 구조를 정의하는 언어입니다. 초보자에게는 복잡해 보일 수 있지만, 마크다운으로 변환하면 AI 모델이 처리하기 좋은 순수 텍스트를 얻을 수 있습니다.

[08:16] Firecrawl 계정 연결을 위해 API 키가 필요합니다. N8N에서 인증 정보를 안전하게 저장하는 방법을 설명합니다.

[08:44] N8N에서 Generic Credential Type을 사용하여 Header Auth 설정 방법을 단계별로 안내합니다.

[09:18] Firecrawl API 키를 안전하게 관리하고 N8N에 설정하는 구체적인 과정을 보여줍니다.

[10:00] 인증 설정을 완료하고 이름을 'firecrawl tutorial'로 지정하여 저장합니다.

[10:19] 스크랩하고자 하는 URL을 지정하고, 동적 필드를 통해 자동화할 수 있음을 설명합니다. 예제에서는 firecrawl.dev 문서를 마크다운 형식으로 스크랩하기로 결정했습니다.

[10:54] HTTP 요청 헤더에 content-type을 application/json으로 설정하여 데이터 교환 방식을 정의합니다.

[00:11:00] OpenAI 통합 및 데이터 요약

스크랩한 데이터를 OpenAI와 연동하여 요약 및 구조화하는 프로세스를 시연합니다. 프롬프트 설정과 JSON 출력 형식 지정 방법을 다룹니다.

[11:12] 워크플로우 테스트를 실행하여 Firecrawl로 HTTP 요청을 보내고 웹사이트 데이터를 스크랩하는 과정을 시작합니다.

[11:39] 스크래핑이 완료되고 HTTP 요청의 출력을 확인합니다. 입력과 출력 데이터의 구조를 설명하고 있습니다.

[12:18] 스크랩된 데이터가 마크다운 형식으로 반환되었으며, 이는 HTML보다 깔끔한 구조로 웹사이트의 콘텐츠를 보여줍니다. 로고, 이미지, 제목 등의 요소들이 포함되어 있습니다.

[12:57] 웹사이트 스크래핑 결과를 확인하며, Firecrawl 문서의 최신 데이터가 실시간으로 동기화되어 표시되는 것을 설명합니다.

[13:23] 스크래핑한 데이터를 AI 도구와 연동하여 정보를 요약하고, 구글 시트에 저장하는 방법을 소개합니다. URL 입력시 회사명, 웹사이트 요약, 이메일 등 원하는 정보를 자동으로 추출할 수 있습니다.

[14:09] OpenAI 통합 방법을 설명하며, Chat GPT를 n8n 자동화 도구에서 활용하는 방법과 반복 실행 가능한 프롬프트 설정 방법을 소개합니다.

[14:45] OpenAI 메시지 모델 노드의 기능을 설명하고, 계산기와 같은 추가 도구를 AI에 제공하여 더 정확한 결과를 얻을 수 있는 방법을 설명합니다.

[15:40] OpenAI API 연결을 위한 자격 증명 설정 방법을 설명하고, n8n에서 OpenAI 노드를 구성하는 방법을 보여줍니다.

[16:10] OpenAI 플랫폼 가입 및 로그인 절차를 설명하고, API 키를 생성하기 위한 기본 설정 단계를 안내합니다.

[16:38] OpenAI API 사용 비용과 관련하여 ChatGPT 구독과의 차이점을 설명하고, 실제 API 사용 비용이 매우 저렴함을 강조합니다.

[17:23] API 키 생성 절차를 상세히 설명하고, n8n에서 OpenAI 자격 증명을 설정하는 방법을 단계별로 안내합니다.

[18:20] OpenAI의 새로운 GPT-4.1 모델 소개와 테스트 계획을 설명합니다. 이 모델은 영상 녹화 전날인 15일에 출시되었습니다.

[18:35] AI 도구 사용자들에게 친숙한 프롬프트 입력 인터페이스를 소개하고, HTTP 요청에서 마크다운 데이터를 동적으로 가져오는 방법을 설명합니다.

[19:04] 테스트 실행 과정과 OpenAI의 작동 방식을 설명하고, Firecrawl Docs 홈페이지에 대한 요약 결과를 보여줍니다.

[19:38] 자동화 워크플로우의 전체 과정을 설명하며, HTTP 요청부터 OpenAI 호출까지의 단계를 보여줍니다.

[20:00] Google Sheets 통합 방법을 소개하고, 데이터를 스프레드시트에 저장하는 방법을 설명합니다.

[20:35] ChatGPT를 통한 구조화된 데이터 출력의 필요성을 설명하고, 웹사이트 제목, 이메일, 가격 등 특정 필드 추출 가능성을 소개합니다.

[21:06] ChatGPT를 활용한 구조화된 출력 설정에 대해 설명합니다. 기본적으로 user 역할을 사용하는 프롬프트를 system 역할로 변경하여 더 명확한 지침을 제공할 수 있습니다.

[21:30] 시스템 지침으로 웹사이트 데이터를 구조화된 형식으로 출력하도록 설정하고, 이를 통해 에이전트가 정확히 어떤 작업을 수행해야 하는지 명시합니다.

[22:04] 출력 형식에 대한 상세 정의를 시작합니다. summary(250자 이내 설명), title(콘텐츠 제목), emails(쉼표로 구분된 이메일 목록) 등의 항목을 정의합니다.

[23:09] 최종 출력 형식을 JSON으로 지정하고, XML 태그를 사용하여 입력 데이터 구조를 정의합니다. 중괄호와 따옴표를 사용하여 JSON 구조를 생성하는 방법을 설명합니다.

[24:06] JSON 구조에서 제목, 요약, 이메일 필드를 설정하는 방법을 설명합니다. 각 필드는 콜론과 따옴표를 사용하여 구성되며, 마지막 항목을 제외한 모든 항목 뒤에는 쉼표를 추가합니다.

[24:44] JSON 구조의 마지막 항목에는 쉼표를 넣지 않는 규칙을 설명하고, 이를 일반적인 문장 작성의 규칙과 비교하여 설명합니다.

[25:20] 스크랩된 웹사이트 데이터를 포함하는 사용자 메시지를 추가하고, 태그를 사용하여 콘텐츠의 시작과 끝을 표시하는 방법을 설명합니다.

[26:11] 완성된 구조를 테스트하고 제목, 요약, 이메일이 정상적으로 출력되는 것을 확인한 후, 이를 구글 시트와 연동하는 방법으로 넘어갑니다.

[26:48] 구글 시트 설정을 위해 캔버스로 돌아가서 불필요한 계산기 도구를 제거했습니다.

[27:03] 새로운 구글 스프레드시트를 만들고 '스크랩된 데이터'라는 이름을 지정했습니다.

[27:14] 스프레드시트에 URL, 스크랩된 데이터, 제목, 요약, 이메일 등의 헤더를 추가했습니다.

[28:06] n8n에서 구글 시트와 연동하기 위해 OAuth2 인증을 설정하고 자격 증명을 생성했습니다.

[28:51] 구글 시트와 n8n을 성공적으로 연결하고, 설정한 헤더들이 모두 로드되었습니다.

[00:29:00] Google Sheets 연동 및 폼 구성

스크랩 데이터가 Google Sheets에 저장되도록 워크플로우를 구성하는 방법과, 동적 폼을 통해 사용자 입력을 받아 자동화하는 과정을 설명합니다.

[29:21] HTTP 요청 노드에서 스크랩된 데이터를 스프레드시트로 이동하는 과정을 설명합니다. 마크다운과 URL 데이터를 드래그 앤 드롭으로 연결합니다.

[29:53] OpenAI 노드를 열어 구조화된 출력(제목, 요약, 이메일)을 설정하고 테스트를 진행합니다.

[30:23] 구글 스프레드시트에서 데이터를 정리하고 열 크기를 조정하여 스크랩된 정보를 보기 좋게 구성합니다.

[31:10] AI Foundations 커뮤니티 소개와 장점을 설명합니다. 실제 성공 사례와 다양한 학습 리소스를 제공하는 플랫폼임을 강조합니다.

[31:59] AI 학습을 위한 커뮤니티의 기초 과정들을 소개하며, 이는 AI 분야 취업이나 사업 성장에 필요한 실용적인 기술들을 담고 있습니다.

[32:18] N8N으로 에이전트 마스터하기 과정을 포함한 다양한 교육 과정이 준비되어 있으며, 기초부터 심화까지 체계적인 학습이 가능합니다.

[32:43] AI 마스터마인드 콜을 통해 다양한 수준의 멤버들과 지식을 공유하고 네트워킹할 수 있는 기회를 제공합니다.

[33:01] 커뮤니티 가입은 1500명 제한이 있으며, 그 이후엔 가격이 인상될 예정이라 빠른 참여를 권장합니다.

[33:41] N8N 자동화 시스템의 개선 방안으로 입력 양식 추가와 완전 자동화 방법을 소개합니다.

[34:24] N8N 폼을 생성하고 설정하는 방법을 설명합니다. 폼의 제목을 '스크래핑 폼'으로 설정하고, URL 입력 필드를 추가하며 필수 항목으로 지정합니다.

[35:30] 완성된 폼은 URL 입력만으로 자동화를 시작할 수 있으며, 결과는 구글 시트나 이메일로 전달될 수 있습니다. 이 솔루션은 비즈니스용으로 패키지화하여 판매할 수 있습니다.

[36:20] HTTP 요청 노드에서 URL 설정을 수정하고, 폼에서 입력받은 URL을 자동화 워크플로우에 연결하는 과정을 보여줍니다.

[37:00] 최종적으로 수정된 워크플로우를 테스트하며, books.scrape.com으로 실제 스크래핑 작업이 실행되는 것을 확인합니다.

[37:16] 사이트 스크래핑을 시작하고 OpenAI를 거쳐 Google 스프레드시트로 데이터를 전달하는 과정이 진행됩니다.

[37:30] Books to Scrape 사이트의 스크래핑 결과가 스프레드시트에 표시되며, 제목, 요약, 사이트 데이터 등이 정리되어 나타납니다.

[38:00] 이 자동화 시스템은 URL 입력만으로 AI 처리된 데이터를 스프레드시트에 기록하고, 선택적으로 이메일 알림도 설정할 수 있습니다.

[38:34] 현재 워크플로우를 더 발전시켜 뉴스 기사 자동 스크래핑 등 다양한 자동화 작업으로 확장할 수 있습니다.

[39:24] rss.app을 활용하여 새로운 기사나 콘텐츠를 자동으로 추적하고 스크래핑하는 시스템을 구축할 수 있습니다.

[39:59] Yahoo 뉴스피드를 설정하여 일반 뉴스를 가져오는 방법을 설명합니다.

[00:40:00] RSS 피드와 LinkedIn 포스트 자동화

RSS 피드를 활용해 실시간으로 뉴스나 업데이트된 콘텐츠를 스크랩하고, 이를 OpenAI를 통해 LinkedIn 포스트 형태로 자동 생성하는 방법을 소개합니다.

[40:14] Yahoo 뉴스피드에서 정치, 스포츠 등 다양한 분야의 실시간 뉴스를 확인할 수 있습니다.

[40:34] 백그라운드에서 뉴스를 모니터링하고 AI로 실시간 컨텐츠를 생성할 수 있는 강력한 기능을 설명합니다.

[41:01] 피드 URL을 복사하여 n8n의 트리거 노드에 설정하는 과정을 안내합니다.

[41:33] 피드 확인 주기를 설정하고 크론 표현식을 활용하는 방법을 설명합니다.

[42:05] 테스트를 통해 최신 기사의 제목, 링크, 날짜 등 주요 정보를 확인하는 과정을 보여줍니다.

[42:38] n8n에서 RSS 피드 트리거의 링크를 HTTP 요청 노드에 연결하여 파이어크롤을 통해 데이터를 가져오는 방법을 설명합니다.

[43:00] AI 모델을 재조정하여 뉴스 기반 콘텐츠를 생성하기 위해 시스템 프롬프트를 수정하는 과정을 보여줍니다.

[43:29] LinkedIn 포스트 작성을 위한 최적의 글자 수(500-900자)를 ChatGPT를 통해 확인하고 적용하는 과정을 설명합니다.

[44:38] 효과적인 프롬프트 엔지니어링을 위해서는 시스템 프롬프트 작성 능력이 중요하며, 이를 위한 커뮤니티 참여의 중요성을 강조합니다.

[45:09] AI 기술의 빠른 변화에 대응하기 위해 커뮤니티 가입을 통한 지속적인 학습과 협력의 필요성을 설명합니다.

[45:24] ChatGPT 프롬프트 설정을 위해 시스템 프롬프트에 구체적인 지시사항을 추가합니다. 콘텐츠는 매력적이고 고유하게 재구성되어야 하며, 사실에 기반해야 한다는 내용을 명시했습니다.

[45:52] 프롬프트의 활용 가능성에 대해 설명하면서, 입력과 출력 예시를 추가할 수 있고 커뮤니티에서 자세한 내용을 다룬다고 언급합니다.

[46:15] 테스트를 실행하여 마크다운 분석 결과를 확인하고, 생성된 콘텐츠가 상세하고 유용한 분석을 제공함을 확인합니다.

[46:39] Yahoo News 외에도 다양한 웹사이트를 활용할 수 있으며, 내부용이나 외부 마케팅용으로 자유롭게 자동화를 구현할 수 있다고 설명합니다.

[46:54] 구글 시트와의 연동 과정을 설명하면서, 새로운 시트를 생성하고 LinkedIn posts용 콘텐츠 필드를 구성하는 방법을 보여줍니다.

[47:27] 구글 시트 설정을 완료하고 OpenAI 콘텐츠와 연동하여 자동화된 콘텐츠 생성 시스템을 구축하는 과정을 마무리합니다.

[47:50] 워크플로우를 체계적으로 관리하기 위해 새로운 LinkedIn post 워크플로우를 생성하고 설정하는 과정을 진행합니다.

[00:50:00] 마무리 및 커뮤니티 참여

전체 워크플로우를 정리하고, 추가 학습 자료와 AI 커뮤니티 참여를 권유합니다. 향후 활용 방안과 발전 가능성을 강조합니다.