n8n 튜토리얼: n8n을 사용하여 모든 웹사이트 스크랩하기! (초보자부터 전문가까지)

Productive Dude 구독자 112,000명

요약

이 영상은 코딩 경험 없이도 n8n과 Firecrawl을 사용하여 웹사이트의 데이터를 쉽게 스크랩하는 방법을 상세하게 설명합니다. HTTP 요청 노드 설정, API 인증 및 자격 증명 구성 등 기초부터 차근차근 다루며, 스크랩한 데이터를 OpenAI를 통해 요약 및 구조화하는 과정을 소개합니다. 또한, Google Sheets와 동적 폼 입력을 활용하여 수집된 데이터를 저장하고, RSS 피드를 이용해 자동으로 LinkedIn 포스트를 생성하는 확장형 워크플로우까지 다룹니다. 마지막으로, 관련 커뮤니티 참여를 통해 추가 지원과 다양한 활용 사례를 공유하도록 권유합니다.

주요 키워드

n8n Firecrawl 웹 스크래핑 HTTP 요청 API 인증 OpenAI Google Sheets RSS 피드 자동화 AI 커뮤니티

하이라이트

🔑 n8n을 이용해 코딩 없이도 웹 스크래핑이 가능함을 강조합니다.
🚀 Firecrawl 도구를 통해 웹사이트의 HTML 데이터를 Markdown 형식으로 추출하는 방법을 소개합니다.
🌟 HTTP 요청 노드와 API 자격 증명 설정을 통해 안전하게 데이터를 요청하는 기술을 설명합니다.
🤖 OpenAI와의 통합을 통해 스크래핑한 데이터를 요약, 구조화하여 AI 기반 콘텐츠를 생성하는 과정을 다룹니다.
📊 Google Sheets와의 연동으로 스크랩 데이터를 효과적으로 저장 및 관리하는 방법을 보여줍니다.
📝 동적 폼 입력 설정으로 사용자가 원하는 URL을 손쉽게 수집할 수 있는 자동화 솔루션을 제시합니다.
📰 RSS 피드 연동을 통해 실시간 뉴스나 업데이트된 콘텐츠를 자동으로 스크랩하는 기능을 설명합니다.
🔄 다양한 워크플로우 복제 및 응용으로 마케팅, 리드 생성 등 여러 분야에 적용 가능한 사례를 제시합니다.
🌐 커뮤니티 참여를 통해 AI 및 자동화 도구에 관한 최신 트렌드와 추가 교육 콘텐츠를 제공받을 수 있음을 강조합니다.

용어 설명

n8n

오픈 소스 워크플로 자동화 플랫폼으로, 코딩 없이도 다양한 작업을 자동화할 수 있습니다.

Firecrawl

웹 스크래핑 및 데이터 추출 도구로, 웹사이트의 구조화된 데이터를 Markdown 형식 등으로 변환해줍니다.

HTTP 노드

n8n에서 외부 API와 통신할 때 사용하는 구성요소로, 웹 요청을 전송하고 응답 데이터를 처리합니다.

OpenAI

인공지능 언어 모델과 ChatGPT 등 다양한 AI 서비스를 제공하는 플랫폼으로, 텍스트 요약 및 생성에 활용됩니다.

RSS 피드

웹사이트의 최신 업데이트나 기사들을 자동으로 받아볼 수 있도록 하는 표준 포맷입니다.

자격 증명(credential)

API 접근이나 데이터 요청 시 사용하는 인증 키와 정보로, 보안을 위해 필요합니다.

n8n과 Firecrawl을 이용해 웹 스크래핑을 시작하는 이유와 기본 개념을 소개합니다. 영상의 흐름과 목적을 간단하게 설명합니다.

[00:00] N8N을 사용한 웹 스크래핑 가이드를 소개하며, 코딩 경험이 없는 초보자도 쉽게 따라할 수 있다고 설명합니다.

[00:26] 일반적인 N8N 워크플로우는 노션, 에어테이블, 구글 드라이브 등 개인 데이터에 접근하고 AI 에이전트를 강화하는 데 사용됩니다.

[00:54] 때로는 일반적인 솔루션만으로는 부족할 때가 있어 스크래핑이 필요하며, 이는 부동산 정보, 가격 정보 등 다양한 데이터를 수집하는 데 유용합니다.

[01:27] 스크래핑에는 웹사이트별 규칙과 제한사항이 있으며, 전통적인 방식은 개발 경험이 필요하다는 제약이 있습니다.

[01:46] 스크래핑의 주요 목표는 인간처럼 행동하여 데이터를 수집하고, 이를 자동화나 AI 에이전트에 활용하는 것입니다.

n8n 워크플로우에서 HTTP 요청 노드 설정과 Firecrawl을 통한 스크래핑 요청 구성 방법을 보여줍니다. API 키 입력 및 자격 증명 관리에 대해 설명합니다.

[02:21] Firecrawl 도구를 사용하면 웹사이트 데이터를 LLM이 바로 사용할 수 있는 형태로 변환할 수 있습니다.

[02:42] n8n에서 코딩 없이 스크래핑 워크플로우를 설정하는 방법과 Firecrawl 연동 방법을 소개합니다.

[02:53] 기존의 Selenium이나 Puppeteer 같은 복잡한 개발 도구 대신, 더 쉽고 효율적인 스크래핑 방법을 설명합니다.

[03:15] 이 방법을 통해 개발자 고용 비용을 줄이고, 경쟁사보다 빠르게 데이터를 수집할 수 있습니다.

[03:43] 스크래핑 마스터클래스를 시작하기 전, 시청자들의 스크래핑 관심 계기를 묻습니다.

[04:00] n8n 가입 방법과 14일 무료 체험 안내, 첫 워크플로우 생성 과정을 설명합니다.

[04:30] n8n에서 수동 트리거 설정과 HTTP 노드 연결 방법을 단계별로 안내합니다.

[05:12] 스크래핑 과정을 단계별로 설명하며, 새로운 기능들에 대해 걱정하지 말라고 안내합니다.

[05:26] Firecrawl 도구 소개와 접속 방법을 설명하며, firecrawl.dev 웹사이트로 이동하는 방법을 안내합니다.

[05:55] Firecrawl의 무료 플랜에 대해 설명하며, 500 크레딧으로 충분한 스크래핑 작업이 가능함을 강조합니다.

[06:21] 플레이그라운드 기능 소개와 문서 섹션으로 이동하여 HTTP 요청 설정 방법을 설명합니다.

[07:09] cURL 명령어를 n8n으로 가져와서 HTTP 요청을 구성하는 과정을 상세히 설명합니다.

[07:44] 스크래핑 요청시 반환되는 raw HTML은 웹사이트의 기본 구조를 정의하는 언어입니다. 초보자에게는 복잡해 보일 수 있지만, 마크다운으로 변환하면 AI 모델이 처리하기 좋은 순수 텍스트를 얻을 수 있습니다.

[08:16] Firecrawl 계정 연결을 위해 API 키가 필요합니다. N8N에서 인증 정보를 안전하게 저장하는 방법을 설명합니다.

[08:44] N8N에서 Generic Credential Type을 사용하여 Header Auth 설정 방법을 단계별로 안내합니다.

[09:18] Firecrawl API 키를 안전하게 관리하고 N8N에 설정하는 구체적인 과정을 보여줍니다.

[10:00] 인증 설정을 완료하고 이름을 'firecrawl tutorial'로 지정하여 저장합니다.

[10:19] 스크랩하고자 하는 URL을 지정하고, 동적 필드를 통해 자동화할 수 있음을 설명합니다. 예제에서는 firecrawl.dev 문서를 마크다운 형식으로 스크랩하기로 결정했습니다.

[10:54] HTTP 요청 헤더에 content-type을 application/json으로 설정하여 데이터 교환 방식을 정의합니다.

스크랩한 데이터를 OpenAI와 연동하여 요약 및 구조화하는 프로세스를 시연합니다. 프롬프트 설정과 JSON 출력 형식 지정 방법을 다룹니다.

[11:12] 워크플로우 테스트를 실행하여 Firecrawl로 HTTP 요청을 보내고 웹사이트 데이터를 스크랩하는 과정을 시작합니다.

[11:39] 스크래핑이 완료되고 HTTP 요청의 출력을 확인합니다. 입력과 출력 데이터의 구조를 설명하고 있습니다.

[12:18] 스크랩된 데이터가 마크다운 형식으로 반환되었으며, 이는 HTML보다 깔끔한 구조로 웹사이트의 콘텐츠를 보여줍니다. 로고, 이미지, 제목 등의 요소들이 포함되어 있습니다.

[12:57] 웹사이트 스크래핑 결과를 확인하며, Firecrawl 문서의 최신 데이터가 실시간으로 동기화되어 표시되는 것을 설명합니다.

[13:23] 스크래핑한 데이터를 AI 도구와 연동하여 정보를 요약하고, 구글 시트에 저장하는 방법을 소개합니다. URL 입력시 회사명, 웹사이트 요약, 이메일 등 원하는 정보를 자동으로 추출할 수 있습니다.

[14:09] OpenAI 통합 방법을 설명하며, Chat GPT를 n8n 자동화 도구에서 활용하는 방법과 반복 실행 가능한 프롬프트 설정 방법을 소개합니다.

[14:45] OpenAI 메시지 모델 노드의 기능을 설명하고, 계산기와 같은 추가 도구를 AI에 제공하여 더 정확한 결과를 얻을 수 있는 방법을 설명합니다.

[15:40] OpenAI API 연결을 위한 자격 증명 설정 방법을 설명하고, n8n에서 OpenAI 노드를 구성하는 방법을 보여줍니다.

[16:10] OpenAI 플랫폼 가입 및 로그인 절차를 설명하고, API 키를 생성하기 위한 기본 설정 단계를 안내합니다.

[16:38] OpenAI API 사용 비용과 관련하여 ChatGPT 구독과의 차이점을 설명하고, 실제 API 사용 비용이 매우 저렴함을 강조합니다.

[17:23] API 키 생성 절차를 상세히 설명하고, n8n에서 OpenAI 자격 증명을 설정하는 방법을 단계별로 안내합니다.

[18:20] OpenAI의 새로운 GPT-4.1 모델 소개와 테스트 계획을 설명합니다. 이 모델은 영상 녹화 전날인 15일에 출시되었습니다.

[18:35] AI 도구 사용자들에게 친숙한 프롬프트 입력 인터페이스를 소개하고, HTTP 요청에서 마크다운 데이터를 동적으로 가져오는 방법을 설명합니다.

[19:04] 테스트 실행 과정과 OpenAI의 작동 방식을 설명하고, Firecrawl Docs 홈페이지에 대한 요약 결과를 보여줍니다.

[19:38] 자동화 워크플로우의 전체 과정을 설명하며, HTTP 요청부터 OpenAI 호출까지의 단계를 보여줍니다.

[20:00] Google Sheets 통합 방법을 소개하고, 데이터를 스프레드시트에 저장하는 방법을 설명합니다.

[20:35] ChatGPT를 통한 구조화된 데이터 출력의 필요성을 설명하고, 웹사이트 제목, 이메일, 가격 등 특정 필드 추출 가능성을 소개합니다.

[21:06] ChatGPT를 활용한 구조화된 출력 설정에 대해 설명합니다. 기본적으로 user 역할을 사용하는 프롬프트를 system 역할로 변경하여 더 명확한 지침을 제공할 수 있습니다.

[21:30] 시스템 지침으로 웹사이트 데이터를 구조화된 형식으로 출력하도록 설정하고, 이를 통해 에이전트가 정확히 어떤 작업을 수행해야 하는지 명시합니다.

[22:04] 출력 형식에 대한 상세 정의를 시작합니다. summary(250자 이내 설명), title(콘텐츠 제목), emails(쉼표로 구분된 이메일 목록) 등의 항목을 정의합니다.

[23:09] 최종 출력 형식을 JSON으로 지정하고, XML 태그를 사용하여 입력 데이터 구조를 정의합니다. 중괄호와 따옴표를 사용하여 JSON 구조를 생성하는 방법을 설명합니다.

[24:06] JSON 구조에서 제목, 요약, 이메일 필드를 설정하는 방법을 설명합니다. 각 필드는 콜론과 따옴표를 사용하여 구성되며, 마지막 항목을 제외한 모든 항목 뒤에는 쉼표를 추가합니다.

[24:44] JSON 구조의 마지막 항목에는 쉼표를 넣지 않는 규칙을 설명하고, 이를 일반적인 문장 작성의 규칙과 비교하여 설명합니다.

[25:20] 스크랩된 웹사이트 데이터를 포함하는 사용자 메시지를 추가하고, 태그를 사용하여 콘텐츠의 시작과 끝을 표시하는 방법을 설명합니다.

[26:11] 완성된 구조를 테스트하고 제목, 요약, 이메일이 정상적으로 출력되는 것을 확인한 후, 이를 구글 시트와 연동하는 방법으로 넘어갑니다.

[26:48] 구글 시트 설정을 위해 캔버스로 돌아가서 불필요한 계산기 도구를 제거했습니다.

[27:03] 새로운 구글 스프레드시트를 만들고 '스크랩된 데이터'라는 이름을 지정했습니다.

[27:14] 스프레드시트에 URL, 스크랩된 데이터, 제목, 요약, 이메일 등의 헤더를 추가했습니다.

[28:06] n8n에서 구글 시트와 연동하기 위해 OAuth2 인증을 설정하고 자격 증명을 생성했습니다.

[28:51] 구글 시트와 n8n을 성공적으로 연결하고, 설정한 헤더들이 모두 로드되었습니다.

스크랩 데이터가 Google Sheets에 저장되도록 워크플로우를 구성하는 방법과, 동적 폼을 통해 사용자 입력을 받아 자동화하는 과정을 설명합니다.

[29:21] HTTP 요청 노드에서 스크랩된 데이터를 스프레드시트로 이동하는 과정을 설명합니다. 마크다운과 URL 데이터를 드래그 앤 드롭으로 연결합니다.

[29:53] OpenAI 노드를 열어 구조화된 출력(제목, 요약, 이메일)을 설정하고 테스트를 진행합니다.

[30:23] 구글 스프레드시트에서 데이터를 정리하고 열 크기를 조정하여 스크랩된 정보를 보기 좋게 구성합니다.

[31:10] AI Foundations 커뮤니티 소개와 장점을 설명합니다. 실제 성공 사례와 다양한 학습 리소스를 제공하는 플랫폼임을 강조합니다.

[31:59] AI 학습을 위한 커뮤니티의 기초 과정들을 소개하며, 이는 AI 분야 취업이나 사업 성장에 필요한 실용적인 기술들을 담고 있습니다.

[32:18] N8N으로 에이전트 마스터하기 과정을 포함한 다양한 교육 과정이 준비되어 있으며, 기초부터 심화까지 체계적인 학습이 가능합니다.

[32:43] AI 마스터마인드 콜을 통해 다양한 수준의 멤버들과 지식을 공유하고 네트워킹할 수 있는 기회를 제공합니다.

[33:01] 커뮤니티 가입은 1500명 제한이 있으며, 그 이후엔 가격이 인상될 예정이라 빠른 참여를 권장합니다.

[33:41] N8N 자동화 시스템의 개선 방안으로 입력 양식 추가와 완전 자동화 방법을 소개합니다.

[34:24] N8N 폼을 생성하고 설정하는 방법을 설명합니다. 폼의 제목을 '스크래핑 폼'으로 설정하고, URL 입력 필드를 추가하며 필수 항목으로 지정합니다.

[35:30] 완성된 폼은 URL 입력만으로 자동화를 시작할 수 있으며, 결과는 구글 시트나 이메일로 전달될 수 있습니다. 이 솔루션은 비즈니스용으로 패키지화하여 판매할 수 있습니다.

[36:20] HTTP 요청 노드에서 URL 설정을 수정하고, 폼에서 입력받은 URL을 자동화 워크플로우에 연결하는 과정을 보여줍니다.

[37:00] 최종적으로 수정된 워크플로우를 테스트하며, books.scrape.com으로 실제 스크래핑 작업이 실행되는 것을 확인합니다.

[37:16] 사이트 스크래핑을 시작하고 OpenAI를 거쳐 Google 스프레드시트로 데이터를 전달하는 과정이 진행됩니다.

[37:30] Books to Scrape 사이트의 스크래핑 결과가 스프레드시트에 표시되며, 제목, 요약, 사이트 데이터 등이 정리되어 나타납니다.

[38:00] 이 자동화 시스템은 URL 입력만으로 AI 처리된 데이터를 스프레드시트에 기록하고, 선택적으로 이메일 알림도 설정할 수 있습니다.

[38:34] 현재 워크플로우를 더 발전시켜 뉴스 기사 자동 스크래핑 등 다양한 자동화 작업으로 확장할 수 있습니다.

[39:24] rss.app을 활용하여 새로운 기사나 콘텐츠를 자동으로 추적하고 스크래핑하는 시스템을 구축할 수 있습니다.

[39:59] Yahoo 뉴스피드를 설정하여 일반 뉴스를 가져오는 방법을 설명합니다.

RSS 피드를 활용해 실시간으로 뉴스나 업데이트된 콘텐츠를 스크랩하고, 이를 OpenAI를 통해 LinkedIn 포스트 형태로 자동 생성하는 방법을 소개합니다.

[40:14] Yahoo 뉴스피드에서 정치, 스포츠 등 다양한 분야의 실시간 뉴스를 확인할 수 있습니다.

[40:34] 백그라운드에서 뉴스를 모니터링하고 AI로 실시간 컨텐츠를 생성할 수 있는 강력한 기능을 설명합니다.

[41:01] 피드 URL을 복사하여 n8n의 트리거 노드에 설정하는 과정을 안내합니다.

[41:33] 피드 확인 주기를 설정하고 크론 표현식을 활용하는 방법을 설명합니다.

[42:05] 테스트를 통해 최신 기사의 제목, 링크, 날짜 등 주요 정보를 확인하는 과정을 보여줍니다.

[42:38] n8n에서 RSS 피드 트리거의 링크를 HTTP 요청 노드에 연결하여 파이어크롤을 통해 데이터를 가져오는 방법을 설명합니다.

[43:00] AI 모델을 재조정하여 뉴스 기반 콘텐츠를 생성하기 위해 시스템 프롬프트를 수정하는 과정을 보여줍니다.

[43:29] LinkedIn 포스트 작성을 위한 최적의 글자 수(500-900자)를 ChatGPT를 통해 확인하고 적용하는 과정을 설명합니다.

[44:38] 효과적인 프롬프트 엔지니어링을 위해서는 시스템 프롬프트 작성 능력이 중요하며, 이를 위한 커뮤니티 참여의 중요성을 강조합니다.

[45:09] AI 기술의 빠른 변화에 대응하기 위해 커뮤니티 가입을 통한 지속적인 학습과 협력의 필요성을 설명합니다.

[45:24] ChatGPT 프롬프트 설정을 위해 시스템 프롬프트에 구체적인 지시사항을 추가합니다. 콘텐츠는 매력적이고 고유하게 재구성되어야 하며, 사실에 기반해야 한다는 내용을 명시했습니다.

[45:52] 프롬프트의 활용 가능성에 대해 설명하면서, 입력과 출력 예시를 추가할 수 있고 커뮤니티에서 자세한 내용을 다룬다고 언급합니다.

[46:15] 테스트를 실행하여 마크다운 분석 결과를 확인하고, 생성된 콘텐츠가 상세하고 유용한 분석을 제공함을 확인합니다.

[46:39] Yahoo News 외에도 다양한 웹사이트를 활용할 수 있으며, 내부용이나 외부 마케팅용으로 자유롭게 자동화를 구현할 수 있다고 설명합니다.

[46:54] 구글 시트와의 연동 과정을 설명하면서, 새로운 시트를 생성하고 LinkedIn posts용 콘텐츠 필드를 구성하는 방법을 보여줍니다.

[47:27] 구글 시트 설정을 완료하고 OpenAI 콘텐츠와 연동하여 자동화된 콘텐츠 생성 시스템을 구축하는 과정을 마무리합니다.

[47:50] 워크플로우를 체계적으로 관리하기 위해 새로운 LinkedIn post 워크플로우를 생성하고 설정하는 과정을 진행합니다.

전체 워크플로우를 정리하고, 추가 학습 자료와 AI 커뮤니티 참여를 권유합니다. 향후 활용 방안과 발전 가능성을 강조합니다.

타임라인 정보가 없습니다.

[00:00] 안녕하세요, N8N의 궁극적인

[00:02] 웹 스크래핑 가이드에 오신 것을 환영합니다. 오늘 영상에서는

[00:05] N8N을 사용하여 인터넷의 모든

[00:06] 웹사이트를 스크래핑하는 방법을 보여드리겠습니다.

[00:09] 가장 좋은 점은 개발자가

[00:11] 아니어도 되고 코딩 경험이

[00:13] 전혀 없어도 된다는 것입니다. 완전 초보자라도

[00:15] 이 영상을 끝까지 보시면

[00:17] 스크래핑 전문가가

[00:19] 될 수 있습니다. 약속드린 대로

[00:21] N8N으로 어떤 웹사이트든 스크래핑하는 방법을

[00:23] 보여드리겠습니다. 시작해 보겠습니다.

[00:26] 본격적으로 시작하기 전에, 일반적인 N8N의

[00:28] 워크플로우는 보통 개인 데이터에

[00:30] 접근하고 AI 에이전트를 강화하며

[00:32] 자동화를 구동하는 것입니다. 이는

[00:34] 노션 계정, 에어테이블,

[00:36] 구글 드라이브, 드롭박스와 같은 것들이고

[00:38] 수퍼베이스 계정에 많은 데이터가 있거나

[00:41] 다른 PostgreSQL을 사용하거나

[00:43] 원드라이브를 실행하는 등

[00:45] 일반적으로 접근하는 모든 것들입니다.

[00:48] N8N으로 쉽게 연결할 수 있고

[00:50] 이에 대한 다른 영상도 있습니다만

[00:52] 문제는 여기에 있습니다.

[00:54] 항상 원하는 데이터를 얻을 수 있는 것은 아닙니다.

[00:57] 때로는 이러한 일반적인 솔루션들이

[00:59] 필요한 자동화에 충분하지 않을 수 있습니다.

[01:01] 이때 스크래핑이 도움이 됩니다.

[01:03] 보통은 실시간 인터넷 데이터에

[01:05] 바로 연결할 수 없는데, 이는

[01:08] 어려운 작업이기 때문입니다. 스크래핑이

[01:10] 이를 해결하는 핵심이 될 것입니다.

[01:13] 부동산 정보, 리드 정보,

[01:15] 아마존 가격, 자동차 가격, 소셜 미디어 피드,

[01:18] 호텔 가격 등에 접근하는 핵심이 될 것입니다.

[01:20] 구글 맵스 같은 경우도 마찬가지입니다.

[01:23] 이럴 때 스크래핑이 유용하지만

[01:25] 알아야 할 몇 가지 장벽이 있습니다.

[01:27] 웹사이트마다 스크래핑 규칙이

[01:29] 다르기 때문에 반드시

[01:31] 이용약관을 확인해야 합니다.

[01:34] 웹사이트에서 스크래핑을

[01:35] 차단할 수도 있고, 서버 설정과

[01:37] 코딩 경험, 개발자 경험이 필요한데

[01:39] 모든 분들이 이러한 조건을

[01:41] 충족하지는 않을 것입니다.

[01:44] 그래서 이렇게 하면 됩니다.

[01:46] 스크래핑의 주요 목표는

[01:48] 인터넷을 사용하는 사람처럼 보이게 하여

[01:51] 로봇으로 모든 데이터를 수집한 다음

[01:53] 자동화나 AI 에이전트에

[01:55] 넣는 것입니다.

[01:58] 이를 위한 두 가지 방법이 있는데

[02:00] 첫 번째는

[02:02] 많은 사람들이 선택하는

[02:03] 개발자 방식입니다.

[02:05] 개발자여야 하고

[02:07] Selenium이나 Puppeteer 같은

[02:09] 도구에 대한 경험이 필요하며

[02:10] 직접 파이썬 프로그램을 작성해야 합니다.

[02:13] 하지만 오늘 제가 보여드릴 것은

[02:15] 할머니도 하실 수 있을 만큼

[02:17] 쉬운 스크래핑 방법입니다.

[02:19] 이를 위해 우리는

[02:21] Firecrawl이라는 도구를 사용할 것입니다.

[02:23] Firecrawl은 모든 웹사이트의

[02:25] 데이터를 LLM이 바로 사용할 수 있는

[02:28] 데이터로 변환해 줍니다. 인터넷에서

[02:30] 정보를 가져와서

[02:32] 자동화 시스템으로 가져오면

[02:34] AI 에이전트가 바로 사용할 수 있고

[02:36] 일반적인 자동화도 실행할 수 있습니다.

[02:38] 오늘 영상에서는 이것을

[02:40] 보여드리도록 하겠습니다.

[02:42] 두 가지를 보여드리려고 합니다.

[02:43] n8n에서 코딩 없이 스크래핑 워크플로우를 설정하는 방법과

[02:46] n8n에 Firecrawl을 연동하는 방법을

[02:48] 보여드리겠습니다.

[02:51] 이제 더 이상 개발자들처럼

[02:53] Selenium이나 Puppeteer 같은 복잡한 도구를

[02:56] 사용할 필요가 없습니다.

[02:58] 개발자들이 그런 방식으로 열심히 작업하는 것을 비난하는 건 아닙니다만,

[03:01] 사실 이제는 이런 복잡한 설정이

[03:02] 더 이상 필요하지 않습니다.

[03:05] 이제는 이런 작업을 자동으로

[03:06] 수행할 수 있는 도구들이 있기 때문입니다.

[03:08] 오늘 영상에서 이러한 것들을

[03:10] 보여드리도록 하겠습니다.

[03:12] 이 영상을 따라하시면

[03:14] 복잡한 파이프라인을 만들기 위해

[03:15] 전문 개발자를 고용할 필요도 없고,

[03:17] 경쟁사에 중요한 데이터를 빼앗기거나

[03:19] 스크래핑 작업이 실패하는 일도

[03:21] 줄어들 것입니다.

[03:23] 대신 이런 것들을 얻으실 수 있습니다.

[03:25] 코딩 없이 스크래퍼를 만드는 방법,

[03:28] 경쟁사보다 먼저 중요한 데이터를 얻는 방법,

[03:30] 그리고 커피와 칵테일을 즐길

[03:32] 여유 시간을 가질 수 있는 방법을 알려드리겠습니다.

[03:34] 이제 n8n을 사용해서 웹사이트를

[03:36] 스크래핑하는 방법을 알아보겠습니다.

[03:39] 영상 끝까지 시청하시면서

[03:40] 이 스크래핑 마스터클래스를 즐겨주세요.

[03:43] 본격적인 마스터클래스를 시작하기 전에,

[03:44] 댓글로 여러분이 스크래핑에

[03:47] 관심을 갖게 된 계기를

[03:49] 남겨주시면 좋겠습니다.

[03:50] 이 영상을 클릭하게 된 이유가

[03:52] 정말 궁금합니다.

[03:54] 여러분이 이 여정을 시작하게 된

[03:56] 동기가 무엇인지 알고 싶네요.

[03:58] 이제 n8n을 열어보겠습니다.

[04:00] 먼저 가입을 하셔야 하는데,

[04:02] 14일 무료 체험 기간을 제공하고 있어서

[04:03] 꽤 관대한 편입니다.

[04:06] n8n에 접속하면

[04:08] 워크스페이스를 열어주시고,

[04:10] 워크스페이스를 열면

[04:12] 제가 가진 것처럼 많은 워크플로우가

[04:14] 없을 수도 있지만,

[04:16] 첫 워크플로우를 만들려면

[04:18] '워크플로우 생성' 버튼을 클릭하면 됩니다.

[04:19] 이것을 스크래핑 워크플로우라고

[04:22] 이름 지어보겠습니다.

[04:24] 워크플로우 이름을 변경하려면

[04:25] 상단의 제목을 클릭해서

[04:27] '스크래핑 워크플로우'라고 입력하면 됩니다.

[04:30] n8n에서 첫 번째로 할 일은

[04:32] '첫 단계 추가'를 클릭하는 것입니다.

[04:33] n8n의 좋은 점은 '수동 트리거' 옵션을

[04:36] 클릭하기만 하면 된다는 것입니다.

[04:38] 이렇게 하면 워크플로우 테스트 버튼을

[04:40] 눌러서 자동화를 시작할 수 있습니다.

[04:42] 데이터가 흐르기 시작하고

[04:45] 하나의 항목이 전송됩니다.

[04:46] 이것은 우리가 이 자동화를

[04:48] 한 번 실행하고 싶다는 의미입니다.

[04:50] 기본적인 스크래핑 워크플로우를 위해서는

[04:53] 여기 플러스를 클릭하고

[04:54] 하나의 노드만 더 연결하면 됩니다.

[04:56] 바로 HTTP 노드입니다. HTTP를 입력하고

[04:58] HTTP 요청을 클릭하세요.

[05:02] 이 모든 것이 처음에는 조금 혼란스러워 보일 수 있고,

[05:04] 솔직히 저도 처음에는 많이 헷갈렸습니다.

[05:06] 하지만 걱정하지 마세요,

[05:08] 이 모든 것을 하나하나

[05:11] 자세히 설명해드리도록 하겠습니다.

[05:12] 오늘 영상에서는 단계별로 모두 보여드릴 텐데요,

[05:15] 너무 걱정하지 마세요.

[05:17] 여기 보이는 낯선 것들에 대해

[05:19] 너무 신경 쓰지 마세요.

[05:20] 이 영상이 끝날 때쯤이면

[05:22] 모두 이해하실 수 있을 거예요.

[05:23] 새로운 기술을 배우게 될 텐데,

[05:25] 이 모든 정보를 얻기 위해서는

[05:26] 앞서 말씀드린 Firecrawl 도구에

[05:29] 연결해야 합니다.

[05:30] 다른 탭에서 Firecrawl로 이동해 주세요.

[05:33] 브라우저에 Firecrawl.dev를

[05:35] 입력하시면 됩니다.

[05:37] 엔터를 누르면 Firecrawl 웹사이트로 이동합니다.

[05:40] 테스트해보고 싶으시다면

[05:42] 여기에 웹사이트를 입력하시고

[05:44] 무료로 시작해서

[05:46] 어떤 데이터가 수집되는지 확인해보세요.

[05:48] 저는 이미 로그인된 상태라

[05:50] 대시보드 버튼이 보이지만

[05:52] 로그인하지 않으셨다면

[05:54] 무료 계정을 만드시면 됩니다.

[05:55] Firecrawl의 좋은 점은

[05:57] 시작할 때 500 크레딧을

[05:59] 무료로 제공한다는 것입니다.

[06:02] 이는 500번의 스크래핑 요청을

[06:04] 할 수 있다는 의미입니다.

[06:06] 무료 플랜치고는 매우 관대해서

[06:09] 스크래핑 작업을 하시는 데

[06:11] 무료 플랜만으로도 충분할 수 있어요.

[06:13] 게다가 Firecrawl은

[06:15] 확장성이 매우 뛰어나서

[06:17] 가격 정책을 확인해보시면

[06:19] 적합한 플랜을 찾으실 수 있습니다.

[06:21] 하지만 이 영상에서는

[06:22] 무료 플랜으로 계정을 만드시고

[06:25] 대시보드에서 만나뵙겠습니다.

[06:27] 저는 대시보드로 이동할 건데

[06:29] 이 도구를 시험해보고 싶으시다면

[06:31] 작동 방식을 보고 싶으시다면

[06:33] 플레이그라운드로 가셔서

[06:34] URL을 입력하는 간단한 방식으로

[06:36] 원하는 웹사이트를

[06:38] 스크래핑해보실 수 있습니다.

[06:40] 하지만 지금은

[06:41] 여러분께서 문서 버튼을

[06:43] 클릭해주시기 바랍니다.

[06:45] 이걸 클릭하면 n8n에서 필요한

[06:47] HTTP 요청을 작성하는데 필요한

[06:49] 정보를 얻을 수 있습니다.

[06:51] 문서를 클릭한 다음에는

[06:54] 스크래핑 기능을 살펴볼 건데요,

[06:56] 사이드바에서 scrape를 클릭하고

[06:58] 아래로 조금 스크롤해서

[06:59] usage 탭으로 이동한 다음

[07:02] cURL로 전환하면

[07:04] 복사 버튼을 클릭할 수 있습니다.

[07:09] 이 정보들이 스크래핑 요청을

[07:11] 설정하는데 사용됩니다.

[07:14] 이걸 복사한 다음

[07:16] n8n으로 돌아가서

[07:17] cURL 가져오기를 클릭하고

[07:19] 명령어를 붙여넣기 한 다음

[07:23] 가져오기를 클릭합니다.

[07:24] 그러면 HTTP 요청이

[07:27] 자동으로 채워지게 됩니다.

[07:29] 이제 거의 다 준비가 되었고

[07:31] 이 템플릿에서

[07:33] 몇 가지만 수정하면 됩니다.

[07:35] 예를 들어 URL이나

[07:37] 반환 형식을 변경할 수 있습니다.

[07:40] 일반적인 스크래핑에서는

[07:44] 스크래핑 요청을 할 때는

[07:46] 일반적으로 raw HTML이 반환됩니다. 이것은

[07:48] 웹사이트의 구조라고 생각하면 됩니다.

[07:51] 웹사이트의 모든 요소가 어떻게

[07:53] 배치되고 구성되는지를 정의하는

[07:55] 언어이며, 스타일링을 위해

[07:57] 어떻게 처리될지를 결정합니다.

[07:59] HTML에 익숙하지 않은 초보자에게는

[08:01] 다소 혼란스러울 수 있습니다.

[08:02] 하지만 마크다운 형식으로 변환하면

[08:05] 순수 텍스트만 얻을 수 있는데,

[08:07] 이는 대규모 언어 모델이나

[08:09] AI 에이전트에 전달할 때

[08:11] 정말 유용한 형식입니다.

[08:14] 주목해야 할 다른 필드는

[08:16] 바로 이 값입니다.

[08:17] Firecrawl 계정에 연결하기 위해서는

[08:19] API 키를 전달해야 합니다만,

[08:21] 현재 헤더 매개변수에

[08:24] 가져온 방식이

[08:25] 우리가 원하는 방식은 아닙니다.

[08:27] 그래서 N8N에서 인증 정보를

[08:29] 설정하는 방법을 보여드리겠습니다.

[08:32] 이렇게 하면 인증 정보를

[08:34] 계정에 안전하게 보관할 수 있어서

[08:36] 더 안전합니다. 우선

[08:38] 지금은 이 부분을

[08:40] 삭제하고

[08:41] 위로 조금

[08:43] 스크롤해서

[08:44] 인증 섹션으로 가보겠습니다.

[08:46] 계정에 이 인증 정보를 저장하려면

[08:48] 이 드롭다운을 클릭하고

[08:49] Generic Credential Type을 선택한 다음

[08:52] 새로 나타난 Generic Auth Type에서

[08:54] 다시 선택을 클릭하고

[08:56] Header Auth를 선택합니다.

[08:58] Header Auth를 선택한 후

[08:59] 다음 드롭다운을 클릭하여

[09:02] 새 인증 정보를 만듭니다.

[09:03] 이름을 입력할 수 있는데,

[09:06] 이름은 'Authorization'으로 하고

[09:09] 값에는 'Bearer'를 입력합니다.

[09:12] B-E-A-R-E-R를 입력하고 스페이스바를

[09:16] 한 번 눌러 공백을 추가합니다.

[09:18] 그런 다음 Firecrawl로 돌아가서

[09:20] API 키를 가져오겠습니다.

[09:23] 이것은 기본적으로 Firecrawl에

[09:24] 접근하기 위한 비밀번호와 같으므로

[09:26] 절대 다른 사람에게 유출하지 마세요.

[09:29] 반드시 비공개로 유지하세요.

[09:30] 다시 Firecrawl로 돌아가서

[09:33] Overview 페이지로

[09:34] 이동하세요.

[09:36] 플레이그라운드에 있다면

[09:37] Overview에서

[09:39] API 키를 확인할 수 있습니다.

[09:40] 편리하게도 복사 버튼이 있어서

[09:42] 클립보드에 복사하여

[09:44] N8N에 바로 붙여넣을 수 있습니다.

[09:46] API 키를 복사하고

[09:48] N8N으로 돌아가서

[09:50] Bearer 뒤에 붙여넣겠습니다.

[09:53] Bearer 뒤의 공백 다음에 Control+V로

[09:56] (Mac이라면 Command+V로)

[09:58] 붙여넣기를 하면 인증이

[10:00] 완료됩니다. 원한다면

[10:02] 깔끔하게 정리하기 위해

[10:04] 이름을 변경할 수도 있습니다.

[10:07] 저는 'firecrawl

[10:08] tutorial'로 하고 저장하겠습니다.

[10:11] 이제 창을 닫으면

[10:13] firecrawl tutorial의 헤더 인증을

[10:15] 선택할 수 있고 준비가 완료됩니다.

[10:18] 이제 변경해야 할 것은

[10:19] 스크랩하고 싶은 URL만 변경하면 되고

[10:21] 참고로 아무 URL이나 바꿔서 사용할 수 있으며

[10:23] 동적 필드로 자동화할 수도 있어서

[10:26] 요청에 따라 URL을 자동으로 변경할 수 있습니다

[10:28] 하지만 이 예제에서는

[10:31] 간단히 마크다운 형식으로

[10:33] 진행하도록 하겠습니다

[10:35] firecrawl.dev 문서를 스크랩할 건데요

[10:38] 여기 HTML 부분은 제거하고

[10:41] 마크다운 형식으로만 받을 거예요

[10:44] 이제 받을 형식은

[10:46] 마크다운이고 firecrawl 문서를

[10:48] 스크랩할 건데, 이건 여기 있는 예제입니다

[10:50] 아, 그리고 거의 잊을 뻔했는데

[10:52] 헤더 파라미터를 하나 보내야 해요

[10:54] 이름은 content-type이고

[10:56] 값은 application/json으로 설정합니다

[10:59] 이는 요청에서 정보를 어떻게

[11:02] 주고받을지 지정하는 거예요

[11:04] 이제 캔버스로 돌아가서

[11:06] 워크플로우를 테스트하고 싶다면

[11:09] 여기 테스트 워크플로우를 클릭하거나

[11:11] 아래쪽에 있는 버튼을 클릭하면 됩니다

[11:12] 이렇게 하면 자동화가 실행되고

[11:14] HTTP 요청이 Firecrawl로 전송됩니다

[11:17] 모든 작업을 실행한 다음

[11:20] 웹사이트 데이터를 가져올 거예요

[11:22] Firecrawl이 모든 작업을 처리하고

[11:24] 데이터를 반환할 겁니다

[11:25] 자, 이제 테스트를 실행해 보죠

[11:27] 테스트 워크플로우를 클릭하면

[11:29] 실시간으로 진행되는 것을 볼 수 있고

[11:32] 웹사이트를 스크랩하고 있습니다

[11:34] 잠시 시간이 걸릴 수 있지만

[11:36] 곧 모든 데이터가

[11:38] 반환될 겁니다

[11:39] 자, 이제 스크래핑이 완료되었네요

[11:42] HTTP 요청을 클릭해서 보면

[11:44] 오른쪽의 출력 부분에

[11:46] 자동화의 결과가 표시됩니다

[11:48] 입력을 확인하고 싶다면

[11:50] 왼쪽의 입력을 볼 수 있는데

[11:52] 웹사이트 URL같은 전달 필드가 없어서

[11:54] 데이터가 보이지 않습니다

[11:56] 클릭으로 워크플로우를 시작하기만 했기 때문에

[11:58] 여기서는 데이터가 보이지 않고

[12:00] '클릭시 워크플로우 시작'만 사용하고 있어서

[12:02] 기본적으로 HTTP 요청이

[12:04] 한 번만 실행되도록 설정되어 있습니다

[12:06] 하지만 출력으로 돌아가 보면

[12:08] 요청 상태가 성공적이었고

[12:10] 가져온 데이터도 확인할 수 있습니다

[12:12] 그 안에 마크다운 형식의

[12:15] 데이터가 있는데

[12:16] 이게 바로 마크다운입니다

[12:18] 스크랩한 웹사이트의 마크다운 형식이에요

[12:21] 조금 복잡해 보일 수 있지만

[12:23] 실제로는 웹사이트의

[12:25] 구조를 보여주는 것이고

[12:26] HTML 구조보다

[12:28] 훨씬 깔끔합니다

[12:30] 여기 보이는 모든 링크들은

[12:33] 웹사이트의 로고나

[12:34] 이미지 같은 것들입니다

[12:36] 예를 들어 이건 Firecrawl 로고예요

[12:39] 계속 스크롤을 내리다 보면

[12:40] Firecrawl 환영 메시지 같은

[12:42] 제목들이 보이기 시작하고

[12:44] API 작동 방식에 대한 설명도 있습니다

[12:46] 우리가 스크랩한 URL이

[12:48] Firecrawl 문서이기 때문이죠

[12:51] 아까 열어본 페이지가

[12:54] 바로 이 문서인데

[12:56] 지금 스크랩하고 있는 게

[12:57] 우리는 이 웹사이트의 이 부분을 스크래핑하고 있는데요

[12:59] 'Firecrawl에 오신 것을 환영합니다'라는 부분이

[13:01] 여기에서 보이는 것처럼

[13:03] 스크래핑된 결과에서도 'Firecrawl에 오신 것을 환영합니다'가

[13:05] 표시되고, 그 다음에는

[13:07] 웹사이트의 모든 데이터와 정보가

[13:09] 포함되어 있습니다. 계속 스크롤을 내리면

[13:12] 보실 수 있듯이

[13:13] 이 페이지에는 많은 데이터가 있고

[13:15] 이것의 좋은 점은

[13:18] Firecrawl의 최신 문서와

[13:20] 항상 동기화되어 있다는 것입니다

[13:23] 다음으로는 이 데이터를

[13:24] 대규모 언어 모델이나 AI 도구에

[13:26] 전달하여 정보를 요약하거나

[13:29] 원하는 정보를

[13:31] 추출하는 방법을

[13:33] 보여드리겠습니다. 그리고 이것을

[13:35] 구글 시트에 넣어서

[13:38] 필요한 특정 정보를

[13:40] 확인할 수 있게 하고

[13:41] 데이터 구조화 방법도

[13:43] 보여드려서 매번 일관된 출력을

[13:45] 얻을 수 있게 하겠습니다. 예를 들어

[13:47] URL을 입력했을 때 스크래핑하는

[13:49] 웹사이트의 회사명을

[13:51] 알고 싶거나

[13:53] 웹사이트 요약이나

[13:55] 웹사이트에서 이메일을 찾는 등

[13:57] 다른 정보를 원할 때

[13:59] 이 모든 정보를

[14:01] AI 도구를 사용해 데이터에서 추출할 수 있습니다

[14:04] 이를 위해 캔버스로

[14:05] 돌아가서

[14:07] 여기 있는 플러스 버튼을 클릭하고

[14:09] OpenAI를 입력한 다음

[14:12] OpenAI를 클릭합니다

[14:14] 아시다시피 OpenAI는 Chat GPT를

[14:17] 만든 회사입니다. 우리가 모두 알고 있는 이 모델을

[14:20] 만들었고, 실제로

[14:22] n8n과 같은 자동화 도구에서

[14:24] 접근할 수 있으며, 같은 프롬프트를

[14:27] 반복적으로 실행하도록 설정할 수 있어서

[14:29] 향후 자동화를 실행할 때마다

[14:32] 입력한 URL에 대해

[14:34] Chat GPT가 정보를 분석하고

[14:36] AI 응답으로 구조화된

[14:38] 출력을 만들 수 있습니다. 이를 위해

[14:40] '메시지 모델' 옵션을

[14:42] 여기서 클릭할 겁니다

[14:45] 이렇게 하면

[14:47] OpenAI가 열리지만, 잠시

[14:49] 캔버스로 돌아가서

[14:51] 작업 중인 내용을 보여드리겠습니다

[14:53] OpenAI 메시지 모델이 있는데, 이것은

[14:56] AI에 접근하는데 사용할 수 있는

[14:59] 또 다른 노드이며, 다양한 도구에

[15:01] 연결해서 도구나

[15:03] MCP 서버를 사용할 수 있습니다. 예를 들어

[15:07] 계산기 도구에

[15:09] 접근 권한을 주고 싶다면 여기 있는 것처럼

[15:13] 캔버스로 돌아가면

[15:15] 계산기 도구가 있는 것을 볼 수 있습니다. 이는

[15:18] 모델에게 필요할 때 사용할 수 있는

[15:20] 다양한 도구를 제공하는 것과 같고

[15:22] 이것은 매우 유용할 수 있습니다. AI가

[15:24] 수학과 같은 일부 작업에는 적합하지 않기 때문입니다

[15:27] 학습 데이터에 있다면 기억하겠지만

[15:29] 대부분의 경우 수학 계산은

[15:31] AI에 의존하고 싶지 않으므로

[15:33] 수학 문제의 답을 찾기 위해

[15:36] 계산기 도구를 제공합니다

[15:38] 다음으로 보여드릴 것은

[15:40] OpenAI 메시지 모델 설정 방법을 보여드리겠습니다.

[15:42] 이 노드를 클릭하고

[15:45] 상단에 있는 'credential to connect with'에서

[15:47] 빈 공간을 클릭한 다음

[15:49] 새로운 자격 증명을 생성하겠습니다.

[15:51] 여기서 OpenAI API 키가 필요합니다.

[15:54] Firecrawl에서 API 키가 필요했던 것처럼

[15:57] 이제 OpenAI API 키를 연결해야 합니다.

[16:00] 이를 통해 n8n 자동화와

[16:02] AI 에이전트가 ChatGPT와 같은

[16:05] OpenAI의 모델에 접근할 수 있게 됩니다.

[16:08] 자격 증명을 얻는 것은 매우 간단합니다.

[16:10] platform.openai.com으로 이동하면 됩니다.

[16:18] platform.openai.com에 접속한 후

[16:20] 가입하거나 로그인하세요.

[16:21] 이미 계정이 있다면 로그인하시면 됩니다.

[16:23] 로그인하고 나면

[16:25] 프로필 사진과

[16:26] 설정 아이콘이 보일 것입니다.

[16:28] 설정 아이콘을 클릭하세요.

[16:32] 그리고 화면 왼쪽에서

[16:34] 'billing'을 찾아

[16:35] 클릭하신 다음

[16:38] 5~10달러 정도의 크레딧을 충전하세요.

[16:40] 일부 사람들이 이렇게 물어봅니다. '카터,

[16:43] 이미 ChatGPT 계정이 있고

[16:45] 월 20달러를 지불하고 있는데

[16:48] API 접근도 포함되어 있나요?

[16:50] 다른 도구에서도 사용할 수 있나요?'

[16:53] 답은 '아니오'입니다.

[16:54] API 크레딧은 별도로 충전해야 하지만

[16:57] OpenAI 비용에 대해 너무 걱정하지 마세요.

[16:59] 사용량 제한을 설정할 수 있고

[17:01] 실제 청구되는 금액에 대해

[17:02] usage 탭에서 각 모델별로

[17:05] 정확한 사용량을 확인할 수 있습니다.

[17:07] 실행당 비용은

[17:09] 몇 센트에 불과하기 때문에

[17:11] 비용 증가를 걱정할 필요가 없습니다.

[17:12] 실제로 이번 달에는

[17:14] 비용이 많이 들지 않았고

[17:16] 사실 이번 달에는

[17:19] 여러 자동화를 실행하는데

[17:21] 5달러도 안 되는 비용만 들었습니다.

[17:23] billing 설정을 마치면

[17:25] API keys 탭으로 이동하세요.

[17:26] API keys를 클릭하고

[17:29] 새로운 시크릿 키를 생성합니다.

[17:31] create new secret key를 클릭하고

[17:32] 키 이름을 입력하세요.

[17:35] 저는 'scraper test'라고 입력하겠습니다.

[17:37] 프로젝트를 선택해야 하는데

[17:40] 기본 프로젝트를 선택하시면 됩니다.

[17:42] create secret key를 클릭하고

[17:45] 시크릿 키를 복사하세요.

[17:47] 이 키는 반드시 비공개로 유지하세요.

[17:49] 이것은 여러분의 크레딧에 접근하는

[17:50] 비밀번호와 같습니다.

[17:52] 이제 n8n으로 돌아가서

[17:54] 키를 여기에 붙여넣기 하겠습니다.

[17:55] 이 자격 증명의 이름을

[17:58] 'scraper test'로 변경하겠습니다.

[18:01] 이름은 중요하지 않습니다.

[18:03] 단지 여러분이

[18:04] 어떤 자격 증명을 사용하고 있는지

[18:07] 식별하기 위한 것입니다.

[18:09] 저장을 클릭하고 창을 닫은 다음

[18:12] 'credential to connect with'에서

[18:13] 방금 추가한

[18:15] 새로운 자격 증명이 선택되어 있는지

[18:17] 확인하시면 됩니다.

[18:18] 이제 모델을 선택할 수 있습니다.

[18:20] 여기서 OpenAI가 방금 새로운

[18:23] 4.1이라는 새 모델을 출시했는데, 실제로

[18:27] 이 영상에서 4.1을 테스트해보면서 예시를 보여드리려고 합니다

[18:29] 이 영상을 녹화하는 시점인 15일 어제 출시되었고

[18:31] 이제 0414 모델을 선택할 건데

[18:33] 이것이 OpenAI의 최신 모델 중 하나가 될 겁니다

[18:35] 이제 이 부분이 AI 도구를 사용해보신 분들에게는

[18:39] 조금 더 친숙해 보일 것 같네요

[18:41] 여기서 프롬프트를 입력할 수 있는데

[18:42] 흥미로운 점은

[18:44] 이전 HTTP 요청에서 가져온

[18:47] 마크다운을 끌어다 놓을 수 있다는 겁니다

[18:49] 이렇게 하면 프롬프트에 동적으로

[18:51] 데이터가 들어가게 됩니다

[18:53] 예를 들어 '여기 웹사이트의 데이터가 있습니다'라고

[18:55] 입력하면

[18:59] HTTP 요청에서 받아온 데이터가

[19:02] 동적으로 들어가게 됩니다

[19:04] 그리고 다음 줄에

[19:07] '정보를 요약해주세요'라고 입력하고

[19:11] 테스트 단계를 실행하면 OpenAI가 호출되고

[19:13] AI 작업이 실행됩니다

[19:16] 이전 HTTP 요청에서 가져온 마크다운을

[19:18] 받게 되는데, 이는 firecrawl을 호출한 것이고

[19:20] 여기에서 우리가 원하는

[19:23] 정보를 받아오게 됩니다

[19:24] 자, 이제 결과가 나왔네요

[19:26] "Firecrawl Docs 홈페이지의 명확한 요약입니다"라고 나오고

[19:28] 여기에 모든 정보가

[19:30] 잘 정리되어 있습니다

[19:32] 좋은 응답을 받았고, 이제 캔버스 프론트엔드로 돌아가보면

[19:34] 이런 모습이 될 거예요

[19:36] 자동화를 시작하고

[19:38] HTTP 요청을 트리거한 다음

[19:40] OpenAI가 호출되어

[19:43] 이전 노드의 정보에 접근하게 됩니다

[19:46] 이제 이 정보를 저장하고

[19:48] 구조화하고 싶다면

[19:50] 여기 플러스 버튼을 누르고

[19:52] Google Sheets를 입력하면

[19:54] 구글 시트로 바로 데이터를

[19:56] 보낼 수 있어서

[19:58] 사용자 친화적인

[20:00] 인터페이스를 구성할 수 있습니다

[20:02] Google Sheets를 선택하고

[20:04] 행과 시트에 추가하기를 선택합니다

[20:06] 잠시 캔버스로 돌아가볼게요

[20:08] OpenAI에서 설정해야 할

[20:10] 몇 가지가 더 있기 때문입니다

[20:12] 이것이 자동화의 기본 흐름입니다

[20:15] 자동화를 시작하면 웹사이트를 스크랩하고

[20:18] 미리 준비된 프롬프트와 함께 ChatGPT에 전달하고

[20:20] ChatGPT가 그 정보를

[20:23] 스프레드시트에 출력합니다

[20:25] 또 다른 좋은 점은

[20:27] ChatGPT의 데이터뿐만 아니라

[20:30] HTTP 요청에서 스크랩한 원본 데이터도

[20:32] 전달할 수 있다는 겁니다

[20:35] 지금은 직접적인 응답만

[20:37] 스프레드시트에 넣을 수 있지만

[20:39] 제가 하고 싶은 것은

[20:41] ChatGPT가 매번

[20:43] 구조화된 출력을 주도록 하는 겁니다

[20:45] 예를 들어 웹사이트의 제목이나

[20:47] 리드를 찾고 있다면 웹사이트에서 발견된 이메일

[20:50] 또는 웹사이트에서

[20:52] 가격과 같은 특정 필드를

[20:54] 추출하고 싶을 수 있죠

[20:56] 스프레드시트를 채우기 위해

[20:59] 원하는 만큼 이런 필드들을 설정할 수 있습니다

[21:01] 이제 구조화된 출력을

[21:04] 설정하는 방법을 살펴보겠습니다

[21:06] 자, ChatGPT의 구조화된 출력을 설정해 보겠습니다.

[21:08] OpenAI를 클릭하면 보시다시피

[21:11] 기본적으로 프롬프트는 user 역할을 사용합니다.

[21:14] 이는 사용자가 프롬프트 창에 직접 입력하는 것처럼

[21:16] 입력을 받아들이고 단순히 응답을 제공한다는 의미입니다.

[21:18] 하지만 여기서 우리가 할 수 있는 것은

[21:20] 실제로 시스템 지침을 줄 수 있다는 것입니다.

[21:23] 시스템 역할로

[21:24] 여기 역할을 변경하고

[21:26] 이 프롬프트를 제거한 다음

[21:30] 다음과 같이 입력할 수 있습니다.

[21:32] '당신의 역할은 내가 전달하는 웹사이트 데이터에서'

[21:37] '정보를 추출하여 구조화된 형식으로 출력하는 것입니다.'

[21:41] 이렇게 구조화된 형식으로 출력하도록 설정합니다.

[21:45] 매우 기본적인 프롬프트이지만

[21:47] 이 프롬프트가 매우 강력한 이유는

[21:48] 에이전트에게 매번 정확히

[21:50] 정보로 무엇을 해야 하는지 알려주기 때문입니다.

[21:53] 이제 원하는 형식의

[21:55] 다양한 항목들을 지정할 수 있습니다.

[21:57] 다음과 같이 전달할 내용을 명시하고

[21:59] 불릿 포인트 목록을 만들 수 있습니다.

[22:04] 'summary'라고 쓰고 콜론을 넣은 다음

[22:06] 요약이 무엇인지 설명하겠습니다.

[22:08] 다음과 같이 설명을 추가합니다.

[22:09] '요약은 받은 콘텐츠에 대한 250자 이내의'

[22:13] '간단한 설명입니다.'

[22:16] 좋습니다. 이제 'title'도 추가하겠습니다.

[22:19] 이것도 포함시키고 싶은 항목이죠.

[22:21] 제목에 대해 설명하면

[22:24] '받은 정보에 대해 생성한 제목'

[22:28] 이렇게 모든 것을

[22:29] 정의하고 있는 중입니다.

[22:31] 다음으로 'emails'를 추가하고

[22:34] '사이트에서 발견한 모든 이메일을 쉼표로 구분된 문자열로 나열'

[22:38] 이렇게 작성하겠습니다. 복잡해 보일 수 있지만

[22:42] 실제로는 매우 간단합니다.

[22:43] 이는 단순히

[22:45] 각 이메일 사이에 쉼표를 넣어

[22:47] 이 형식으로 전달한다는 의미입니다.

[22:49] 그리고 여기에 추가로

[22:51] '콘텐츠에서 이메일을 찾지 못한 경우'

[22:55] 'n/a(해당 없음)를 입력하세요'

[22:58] 이것의 장점은

[23:01] 원하는 대로 정의를 설정할 수 있다는 것이지만

[23:03] 여기서 한 가지 더 해야 할 단계가 있습니다.

[23:05] 정보를 실제로 올바르게 패키징하기 위해

[23:07] 마지막으로 추가할 내용이 있습니다.

[23:09] '마지막으로 스크랩된 웹사이트를 입력으로 받습니다'

[23:13] 이것을 XML 괄호로 묶겠습니다.

[23:16] 이 꺾쇠 괄호는

[23:19] 들어오는 객체들을

[23:21] 포맷하는 방법입니다.

[23:23] 다음으로 매우 중요한 지침을 추가합니다.

[23:24] 'JSON 형식으로 응답하세요'

[23:26] 그리고 우리가 정의한 항목들의

[23:29] 형식을 제공할 것입니다.

[23:31] 우리가 정의한 항목들

[23:33] title, summary, emails의 형식을

[23:36] 중괄호를 사용해 작성하겠습니다.

[23:38] 중괄호를 입력하면

[23:40] 두 번째 중괄호도 자동으로 생성되어야 하지만

[23:42] 그렇지 않으면 직접 추가할 수 있습니다.

[23:45] 이렇게 두 개의 중괄호를 입력하고

[23:47] 그 사이에서 엔터를 누르면

[23:49] 새로운 줄이 생성되어

[23:51] 위아래로 중괄호가 있고

[23:53] 이제 공백을 두 번 넣고

[23:55] 따옴표를 넣을 것입니다.

[23:59] 이 따옴표는 우리의 각 항목들을

[24:02] 감싸게 될 것입니다.

[24:04] 각각의 다른 항목들에 대해

[24:06] 제목, 요약, 이메일을 전달할 것입니다.

[24:07] 여기서는 제목을 입력하고

[24:10] 오른쪽 화살표를 누른 다음

[24:13] 콜론을 넣고 스페이스를 누르겠습니다.

[24:16] 그리고 추가로 따옴표를 넣고

[24:19] 다시 오른쪽으로 이동합니다.

[24:21] 그리고 쉼표를 입력합니다. 이렇게 하면

[24:25] 응답 형식의 예시가 완성됩니다.

[24:27] 엔터를 누르고 이 라인을 복사해서

[24:30] 붙여넣기를 할 수 있습니다.

[24:34] 그리고 이 단어만 바꾸면 됩니다.

[24:35] 이번에는 summary로 하고

[24:37] 마지막으로 emails도 추가하겠습니다.

[24:40] 복사해서 붙여넣기 하고

[24:43] emails로 변경합니다.

[24:44] 한 가지 주의할 점은

[24:46] 마지막 항목에서는

[24:48] 쉼표를 제거해야 합니다.

[24:49] 마지막 항목이기 때문에

[24:51] 문장을 쓸 때처럼

[24:53] 항목을 나열할 때 마지막에는

[24:55] 쉼표를 넣지 않는 것과 같습니다.

[24:57] 이렇게 생각하시면 됩니다.

[24:59] 이것이 기본적인 JSON 구조입니다.

[25:02] 전달해야 하는 구조이며

[25:04] 위에서 정의한 여러 항목들에서

[25:06] 가져온 것입니다. 정의한 내용에 따라

[25:09] 여기 있는 단어들을 변경해야 할 수도 있지만

[25:11] 이것이 매번 개별 객체로

[25:13] 데이터를 전달할 수 있게 해줍니다.

[25:14] 마지막으로 출력 내용을

[25:17] JSON으로 설정하고

[25:18] 이 구조가 제대로 되어있는지 확인합니다.

[25:20] 좋습니다. 이제 메시지를 추가할 건데

[25:22] 이것은 스크랩한 웹사이트 데이터가 포함된

[25:26] 사용자 메시지가 될 것입니다.

[25:27] 여기서 보여드린 것처럼

[25:30] 스크랩된 웹사이트 데이터 태그를

[25:31] 복사하겠습니다.

[25:34] 아래로 내려가서 붙여넣기 하고

[25:36] 다시 붙여넣기 한 다음

[25:39] 시작 부분에 슬래시를 넣어

[25:41] 구분합니다. 이것은 프롬프트 구조로

[25:43] 스크랩된 웹사이트의 내용이

[25:44] 이 안에 모두 들어있다는 것을 보여주는 것입니다.

[25:46] 스크랩된 웹사이트의 시작과 끝을

[25:48] 알 수 있게 하고 매번 같은 정보를

[25:50] 얻을 수 있게 됩니다.

[25:53] 다만 중간에는

[25:55] 스크랩한 웹사이트의

[25:57] 동적 정보가 들어갈 것입니다.

[25:59] 여기에 마크다운을 드래그해서

[26:01] 스크랩된 웹사이트 태그 사이에

[26:03] 넣어줍니다. 만약 사이에 들어가지 않으면

[26:07] 표현식을 복사해서

[26:09] 클릭하고 붙여넣기하면 됩니다.

[26:11] 이제 스크랩된 웹사이트 태그로 둘러싸여 있어서

[26:13] 완벽합니다. 이제 준비가 다 됐네요.

[26:16] 다시 테스트하면 이 사용자 프롬프트와

[26:18] 시스템의 프롬프트를 지침으로 사용하여

[26:21] 우리가 작성한 방식대로

[26:23] 제목, 요약, 이메일이 포함된

[26:26] 응답을 받을 수 있습니다.

[26:27] 이번 경우에는 이메일이 없지만

[26:29] 있다면 여기 목록으로 표시될 것입니다.

[26:32] 제목, 요약, 이메일이

[26:34] 전달되고 있는데

[26:36] 이것들을 구글 시트의

[26:38] 각각의 열에 어떻게 매핑할까요?

[26:40] 다음으로 그 방법을

[26:42] 보여드리도록 하겠습니다.

[26:44] 구글 시트로 넘어가서

[26:45] 이제 보여드리겠습니다.

[26:48] 캔버스로 돌아가서

[26:50] 다른 창에서 구글 시트를 설정해야

[26:52] 연결할 수 있습니다. 그리고

[26:53] 계산기 도구는 삭제하겠습니다

[26:55] 실제로 사용하지 않기 때문입니다

[26:56] 앞서 보여드린 것은

[26:58] 예시일 뿐이었죠. 자, 새 탭을 열고

[27:01] 구글 시트를 열어보겠습니다

[27:03] 좋습니다. 여기 빈 스프레드시트를 만들었고

[27:05] 이름을 지정하겠습니다

[27:07] '스크랩된 데이터'라고 이름 짓고

[27:08] 다양한 입력 데이터를 위한

[27:12] 헤더를 추가하겠습니다

[27:14] 앞서 말씀드린 것처럼

[27:16] AI가 출력하는 특정 정보들을

[27:19] 제목, 요약, 이메일 등을 가져올 수 있고

[27:21] 자동화 과정의 이전 단계에서

[27:24] 실제 웹사이트 URL과 같은

[27:26] 정보도 가져올 수 있습니다

[27:28] 또한 실제로 스크랩된 데이터도

[27:31] 확인하고 싶을 수 있죠

[27:33] 그래서 여기서는

[27:35] URL을 입력하고

[27:38] '스크랩된 데이터'를 입력하겠습니다

[27:44] 그리고 여기에

[27:45] ChatGPT가 채워줄

[27:47] 필드들을 입력하겠습니다. 제목, 요약,

[27:51] 이메일입니다. 여러분의 것과 다를 수 있지만

[27:53] 이 예시를 통해

[27:55] 이 시스템을 어떻게 활용할 수 있는지

[27:57] 배우실 수 있을 겁니다

[27:59] 나중에 원하는 대로

[28:00] 수정할 수 있죠. 이제

[28:02] 헤더를 구성하고 이름을 지정했으니

[28:04] n8n으로 돌아가서

[28:06] 구글 시트를 클릭하고

[28:08] 거기서 새로운

[28:10] 자격 증명을 만들겠습니다

[28:11] 드롭다운을 클릭하고

[28:13] 새 자격 증명 만들기를 선택합니다

[28:15] 여기서 권장되는 OAuth 2로 전환하고

[28:17] 구글 계정으로

[28:19] 이 버튼을 눌러 로그인합니다

[28:20] 로그인하면 연결 성공이라고 표시되고

[28:22] 창이 자동으로 닫힐 것입니다

[28:24] 그러면 계정이 연결됩니다

[28:26] 정리를 위해

[28:28] 이 자격 증명의 이름을

[28:30] 'scraper test'로 변경하고

[28:33] 저장하겠습니다. 이제 이 창을 닫고

[28:35] 문서 드롭다운으로 가서

[28:38] 스프레드시트 제목을

[28:40] 검색해야 합니다

[28:41] '스크랩된 데이터'를 클릭하고

[28:42] 방금 설정한 제목입니다

[28:44] 그 다음으로 필요한 것은

[28:46] 시트 이름인데

[28:47] 현재 'sheet1'이라고 되어 있습니다

[28:49] n8n으로 돌아가보면

[28:51] 문서 제목은 이미 있고

[28:53] 이제 시트를 입력하겠습니다

[28:55] 선택을 클릭하고 'sheet1'을

[28:57] 선택합니다

[28:59] 좋습니다. 이제

[29:02] 설정한 모든 헤더 열이 로드되었습니다

[29:04] 이게 제가 n8n을 좋아하는 이유입니다

[29:07] 이제부터는 왼쪽에서

[29:09] 드래그 앤 드롭만 하면 됩니다

[29:11] OpenAI의 모든 데이터와

[29:13] HTTP 요청의 모든 데이터,

[29:15] 그리고 첫 번째 노드의

[29:17] 모든 데이터를 볼 수 있습니다

[29:20] 아직 데이터가 없지만

[29:21] 이제 그걸 닫고

[29:23] 목록을 하나씩 살펴보면서

[29:25] 드래그 앤 드롭으로 채워보겠습니다

[29:27] HTTP 요청을 클릭하고

[29:29] 마크다운을 스크랩된 데이터로

[29:32] 드래그하면 이제

[29:34] 스프레드시트로 가져오게 됩니다

[29:37] 조금 아래로 스크롤해서

[29:38] URL도 전달되는지 확인해 보겠습니다

[29:41] 확실하지는 않지만 추가할 수 있죠

[29:44] 네, source URL이 있네요

[29:46] 이제 위로 스크롤해서

[29:49] HTTP 요청은 닫아두겠습니다

[29:51] 필요한 건 모두 가져왔으니까요

[29:53] 이제 OpenAI를 열어보겠습니다

[29:55] 구조화된 출력으로 설정했기 때문에

[29:57] 제목, 요약, 이메일이 전달됩니다

[29:59] 먼저 제목을 여기로 드래그하고

[30:02] 요약을 이쪽으로 가져오고

[30:05] 이메일은

[30:07] 여기로 드래그 앤 드롭 하겠습니다

[30:09] 이제 모든 설정이 완료되었습니다

[30:12] 테스트 단계를 실행하면

[30:14] 이전 노드의 모든 정보를 가져와서

[30:16] 여기로 전달할 것입니다

[30:19] 보시다시피 로딩 중이고

[30:20] 이제 로딩이 완료되었네요

[30:23] 스프레드시트로 돌아가보면

[30:25] 위로 스크롤했을 때

[30:28] 보시면 알겠지만

[30:29] 스크랩된 데이터가 많아서

[30:31] 매우 길어졌습니다만

[30:33] 이걸 위로 드래그해서

[30:37] 숨길 수

[30:38] 있습니다

[30:41] 이렇게 하면 이제

[30:44] URL, 스크랩된 데이터,

[30:47] 제목이 있고 더블클릭하면

[30:49] 열 크기를 조정할 수 있습니다

[30:52] 요약도 있고

[30:54] 이메일도 여기 있습니다

[30:56] 이제 이 정보들을

[30:58] 다른 작업에 활용할 수

[31:00] 있게 되었습니다

[31:02] 잠재 고객을 찾거나

[31:04] 경쟁사 가격을 조사하는 등

[31:06] 무엇이든 이 구글 시트에

[31:08] 깔끔하게 정리할 수 있죠

[31:10] 여기까지 마스터클래스를 들으셨다면

[31:12] 콘텐츠가 마음에 드시고

[31:14] 새로운 것을 배우고 계실 겁니다

[31:16] 한 단계 더 나아가고 싶다면

[31:17] 저와 제 팀이 운영하는

[31:20] AI Foundations에 참여하시는 걸 추천드립니다

[31:22] 저 혼자만이 아닌

[31:24] 강좌뿐만 아니라

[31:27] 커뮤니티 피드가 있어서

[31:29] 사람들이 프로젝트를 공유하고

[31:31] 서로 돕고

[31:32] 자동화를 구현하고 AI 시스템을

[31:34] 구축하고 있습니다

[31:36] wins 카테고리를 보시면

[31:38] 스크롤해서 보실 수 있듯이

[31:40] 첫 고객을 얻은 분들,

[31:42] 두 번째, 세 번째 고객을 얻은 분들,

[31:44] 취업에 성공하고

[31:45] 새로운 자동화를 만드신 분들도 있죠

[31:48] 그리고 가장 좋은 건

[31:50] 위로 스크롤해서

[31:51] 강의실로 가보면

[31:53] 다양한 강좌들이 있는데

[31:55] '여기서 시작하기' 강좌로 시작해서

[31:57] 커뮤니티 활용 방법을 안내합니다

[31:59] 커뮤니티를 최대한 활용하는 방법과

[32:01] 여기 있는 모든 기초 과정들,

[32:03] 이것들이 바로 핵심 기둥이자

[32:05] AI를 처음 시작할 때

[32:06] 배워야 할 기본 내용입니다.

[32:08] 이것들은 탄탄한 기초가 될 것이며

[32:10] 직장에서 실제로 필요한

[32:11] 실용적인 기술들입니다.

[32:13] AI 분야에서 취업을 준비하거나

[32:15] 에이전시를 시작하거나 사업을

[32:17] 성장시키고자 할 때 필요하죠.

[32:18] 그리고 우리는 더 많은 과정들을

[32:20] 준비 중인데, N8N으로 에이전트 마스터하기와

[32:22] 이 과정이 여러분에게

[32:24] 특히 도움이 될 것 같습니다.

[32:26] N8N을 즐기고 계신다면

[32:28] 한 단계 더 발전하고 싶으시다면

[32:30] 저와 제 형제로부터 배울 수 있는

[32:32] 계속 성장하는 과정 포털이

[32:34] 있습니다. N8N에 대한 다양한

[32:36] 기초 교육을 통해

[32:38] 효과적인 에이전트와 시스템을

[32:40] 구축하는 데 필요한 모든 것을 배울 수 있죠.

[32:43] AI 마스터마인드 콜에서는

[32:45] 다른 멤버들과 함께

[32:46] 커뮤니티 환경에서 대화를 나눌 수 있으며

[32:48] 원탁 마스터마인드 형식으로 진행됩니다.

[32:51] 전문가일 필요는 없습니다. 일부는 전문가이고

[32:53] 일부는 아닙니다. 우리는 모두

[32:55] 다른 수준에 있지만, AI의 발전에

[32:57] 모두 흥미를 느끼고 있죠.

[32:59] 이 콜의 유일한 전제 조건은

[33:01] AI에 대한 열정입니다.

[33:03] AI를 혼자서 공부하는 것은

[33:05] 추천하지 않습니다. 모든 것을

[33:07] 따라잡기는 힘들기 때문에

[33:08] 함께 배우고 가르치며

[33:10] 서로에게 배우고

[33:11] 네트워킹하면서

[33:13] 아이디어를 공유할 수 있는

[33:15] 그룹이 있다는 것이 좋습니다.

[33:17] 커뮤니티에 가입하고 싶다면

[33:19] 지금이 좋은 시기입니다. 회원이

[33:21] 1500명이 되면 가격을 인상할 예정이고

[33:23] 현재 그 숫자에 거의 다가가고 있어서

[33:25] 가격 인상 전까지 100자리도 채 남지 않았습니다.

[33:27] 지금 가입하고 싶으시다면

[33:28] 설명란의 링크나

[33:30] 상단 고정 댓글의 링크를 통해

[33:33] 가입하고 통합한 다음

[33:35] 이 영상으로 돌아오시면

[33:36] 유튜브에서 더 많은

[33:38] 무료 콘텐츠를 제공해드리겠습니다.

[33:41] 자, 이제 N8N으로 돌아와서

[33:44] 자동화가 거의 준비된 상태입니다.

[33:46] 원한다면 단순히 URL만

[33:49] 변경해서 전달하고

[33:51] 스프레드시트에 계속 추가할 수 있지만

[33:53] 우리는 이것을 더 개선하고

[33:56] 마무리 작업을 할 겁니다.

[33:58] 입력 양식을 추가하는 방법을

[33:59] 보여드리겠습니다.

[34:01] 새로운 웹사이트를 스크래핑하기 위한

[34:03] 입력 양식을 추가하는 방법과

[34:05] 이를 완전히 자동화하는 방법도

[34:07] 보여드리겠습니다. 웹사이트를

[34:09] 수동으로 입력하고 싶지 않은 경우를 위해서죠.

[34:11] N8N의 좋은 점은

[34:13] 이 첫 번째 트리거 노드를 삭제하고

[34:16] 교체할 수 있다는 것입니다.

[34:18] 삭제 후 첫 단계 추가가 나타나면

[34:20] 클릭해서

[34:22] form이라고 입력하면 됩니다.

[34:24] 여기서 N8N 폼을 볼 수 있습니다. N8N 폼을 클릭하고

[34:27] 새로운 N8N 폼 이벤트를 선택하면

[34:30] 이제 내 폼을 정의할 수 있습니다.

[34:33] 제목을 입력할 수 있는데, '스크래핑 폼'이라고 하겠습니다.

[34:36] 그리고 이 폼에 설명을 추가하겠습니다.

[34:38] '스크래핑된 결과를 얻기 위해 URL을 입력하세요'

[34:41] 라고 작성하고, 이제 폼 요소를 추가하겠습니다.

[34:45] 여기서는 필드 이름으로

[34:46] URL을 입력할 것입니다.

[34:48] 이곳이 URL을 입력하는 곳이 됩니다.

[34:50] 예시를 넣을 수 있는데,

[34:52] https://google.com을 입력하고

[34:57] 예시라는 의미로 'eg'를 추가하겠습니다.

[34:59] 요소 타입은 텍스트로 유지하고

[35:01] 이 필드는 필수로 설정할 것입니다.

[35:03] 자동화를 실행하는 데

[35:04] 이 필드가 필요하기 때문입니다.

[35:06] '폼이 제출될 때 응답'을 켜두어야

[35:08] 폼을 제출할 때 자동화가 실제로 트리거됩니다.

[35:10] 제출 버튼을 눌렀을 때

[35:12] 자동화가 실행되도록 하기 위해서입니다.

[35:14] 이제 캔버스로 돌아가서

[35:16] 폼 제출을 HTTP 요청에 다시 연결하겠습니다.

[35:18] 워크플로우 테스트를 클릭하면

[35:21] 폼이 열리고 여기에

[35:23] 아무 URL이나 입력할 수 있습니다.

[35:25] URL을 입력하면

[35:28] HTTP 요청으로 전달할 수 있습니다.

[35:30] 이제 보시는 것처럼

[35:32] 단순히 URL을 입력하는 것만으로 자동화를 시작할 수 있고

[35:35] 결과는 구글 시트에 저장되거나

[35:37] 이메일로 보낼 수 있으며

[35:39] 이 제품을 사용하는 사람에게

[35:42] 패키지로 전달될 수 있습니다.

[35:43] 여기서 강력한 점은

[35:45] 이 솔루션을 판매할 수 있다는 것입니다.

[35:47] 패키지로 만들어서

[35:48] 수천 달러에

[35:50] 맞춤형 스크래핑 솔루션을 찾는

[35:51] 비즈니스 소유자에게 판매할 수 있습니다.

[35:53] 이 테스트를 위해

[35:55] 테스트 사이트 주소를

[35:57] books.scrape.com을 붙여넣고

[35:59] 제출하면 '폼 응답이 기록되었습니다'라고 표시됩니다.

[36:01] 이제 N8N 탭으로 돌아가보면

[36:03] 방금 실행이 완료된 것을 볼 수 있습니다.

[36:05] 여기서 보시면 실제로

[36:07] 다시 한 번 완료되었고

[36:09] 폼을 제출한 후 전체 자동화가

[36:11] 실행되었지만

[36:12] 아직 URL을 전달하지 않았기 때문에

[36:15] 기존 파이어크롤 링크로 실행되었습니다.

[36:17] 하지만 HTTP 요청을 클릭하면

[36:20] URL 섹션으로 스크롤을 내려

[36:22] 이전 URL을 제거하고 폼 이벤트에서

[36:26] URL을 드래그해서 가져올 수 있습니다.

[36:29] 폼 이벤트의 URL을 해당 위치로 가져옵니다.

[36:33] 아래로 스크롤하면

[36:36] 정확하게 드래그되지 않은 것을 볼 수 있습니다.

[36:38] 포맷을 망치지 않도록 조심스럽게 복사하고

[36:41] URL에 붙여넣겠습니다.

[36:43] URL 객체의 따옴표 사이에

[36:45] 넣기만 하면 됩니다.

[36:47] 이제 캔버스로 돌아가서 워크플로우를 다시 테스트하면

[36:52] 폼이 열립니다.

[36:54] 다시 한 번 books.scrape.com을 시도해보겠습니다.

[36:57] 안전하게 https://를 추가하고

[37:02] 제대로 실행되도록

[37:04] 확인한 다음 제출하겠습니다.

[37:07] 이제 N8N으로 돌아가보면

[37:09] 이 커스텀 URL로

[37:11] 자동화가 실행되고 있는 것을 볼 수 있습니다.

[37:14] 자동화가 이 커스텀 URL로 실행 중입니다.

[37:16] 현재 해당 사이트로 이동하고 있고

[37:18] 스크래핑한 다음 OpenAI로 전달하고 있습니다

[37:21] OpenAI로 전달된 다음

[37:23] Google 스프레드시트로 전달되고 있습니다

[37:26] 우리의 Google 스프레드시트를 보시면

[37:29] books to scrape의 결과가 들어온 것을 볼 수 있습니다

[37:30] 이렇게 위로 끌어올리고

[37:33] 이 열의 크기를 조정하면

[37:37] 제목이 보이시죠

[37:39] 'book catalog demo books to scrape' 맞습니다

[37:41] 그리고 요약을 보면 '웹 스크래핑 연습용

[37:44] 10,000개의 도서 목록이 있는 데모 웹사이트로

[37:46] 가격과 재고 상태를 포함하고 있습니다

[37:48] 사이트 데이터에는 도서 제목,

[37:50] 가격, 재고 상태가 포함되어 있으며

[37:53] 실제 상업적 목적은 없습니다' 맞습니다

[37:56] 그리고 이메일은 찾지 못해서

[37:57] N/A로 표시되었습니다. 이제

[38:00] 이 자동화는 셀프 서비스로

[38:02] URL을 폼에 입력하면

[38:04] URL이 Google 스프레드시트에 나타나고

[38:07] 모든 정보가 AI 도구를 통해

[38:09] 처리되어 표시됩니다

[38:11] 여기에 Gmail 단계를 추가해서

[38:13] 이메일을 보낼 수도 있고

[38:16] 좋은 점은

[38:17] 이 필드에 이메일을 입력하고

[38:19] URL을 전달할 수 있다는 것입니다

[38:22] 누군가가 와서 실제로

[38:24] 이것을 사용하고 맞춤형

[38:27] 이메일을 받을 수 있습니다

[38:28] 원하는 모든 정보와 함께요. 저는

[38:30] 이 워크플로우를 저장하고

[38:32] 자동화 버전을 만들어보겠습니다

[38:34] 지금은 작동하고 있고 준비가 되었지만

[38:36] 스크래핑 작업을 자동화하고 싶다면

[38:38] 어떻게 해야 할지 궁금할 것입니다

[38:40] 예를 들어, 뉴스 기사를 가져와서

[38:42] 웹 페이지를 스크래핑하고

[38:45] 그 뉴스 기사를 기반으로

[38:47] 콘텐츠를 생성하고 싶다면

[38:49] 업계 마케팅을 위한 좋은 방법이 될 수 있고

[38:51] 백그라운드에서 실행할 수 있습니다

[38:53] 이런 작업을 하고 싶다면

[38:54] 기존 워크플로우를

[38:56] Ctrl+C로 복사하고

[38:58] Ctrl+V를 누르면 붙여넣기가 되어

[39:01] 다른 버전을 만들 수 있습니다

[39:03] 별도의 n8n 워크플로우에서도 가능하지만

[39:06] 이번에는 여러 노드들을

[39:08] 재사용할 것이기 때문에

[39:10] 여기서 다른 노드들을

[39:12] 어떻게 활용하는지

[39:14] 보여드리겠습니다

[39:15] 여기 이 워크플로우에서

[39:18] 이 시작 부분에서

[39:21] 새 기사가 들어올 때 시작하도록 할 수 있습니다

[39:24] 이를 위해 rss.app으로 이동할 수 있는데

[39:27] 이 웹사이트에서 다양한 카테고리나

[39:29] 웹사이트를 추적할 수 있고

[39:31] 새 기사가 나올 때마다

[39:33] 스크래퍼로 전달할 수 있으며

[39:35] 그 다음 모든 종류의

[39:37] 콘텐츠 자동화를 할 수 있습니다

[39:39] rss.app에서는

[39:42] 로그인 버튼이나 시작하기를 클릭하고

[39:44] 로그인하면

[39:47] 여기 있는

[39:48] 'my feeds'를 클릭합니다

[39:50] my feeds를 클릭한 다음

[39:52] 새로운 피드를 만들어보겠습니다

[39:55] 기본적으로 제공되는

[39:57] 다양한 템플릿들이 있습니다

[39:59] 이번에는 Yahoo 뉴스피드를 사용해

[40:01] 보겠습니다. 일반적인 뉴스를 가져올 것이고

[40:03] Yahoo 뉴스피드를 선택한 다음

[40:05] news.yahoo.com을 선택하겠습니다.

[40:06]

[40:07] 시도해보면 여기서

[40:11] Yahoo 뉴스의 모든 기사 목록이

[40:13] 생성됩니다.

[40:14] 기본적인 뉴스로 정치가 많고

[40:17] 스포츠도 있고

[40:19] 다양한 분야의 뉴스가

[40:20] 포함되어 있습니다. 이것은 정기적으로 업데이트되는데

[40:23] 보시다시피 위로 스크롤하면

[40:25] 1시간 전에 올라온 포스트가 있습니다.

[40:27] Yahoo 뉴스가 게시될 때마다

[40:30] 자동으로 전달되어

[40:32] 자동화를 트리거합니다.

[40:34] 여기서부터 정말 강력해지는데

[40:36] 백그라운드에서 실행하면서

[40:38] 뉴스를 모니터링하고

[40:40] AI를 사용해 실시간으로

[40:42] 컨텐츠를 생성할 수 있기 때문입니다.

[40:44] 원하는 피드를 찾으면

[40:46] '내 피드에 저장'을 클릭하세요.

[40:49] 사이드바에 표시될 것입니다.

[40:50] 클릭하면

[40:52] 바로 이동할 수 있고

[40:54] 이제 내 피드에서 확인할 수 있습니다.

[40:57] 제목 위에 마우스를 올리면

[40:58] 피드 URL이 보일 것입니다.

[41:01] 이제 해야 할 일은

[41:02] 피드 URL을 복사하는 것입니다.

[41:04] 좋은 점은 이제

[41:06] n8n으로 돌아가서

[41:09] 첫 번째 트리거 노드에서

[41:11] Yahoo 뉴스에 새 기사가 나올 때마다

[41:14] 트리거되도록 설정할 수 있습니다.

[41:16] 일단 이것을 삭제하고

[41:19] 플러스를 클릭한 다음

[41:22] RSS를 입력하면 RSS 피드

[41:25] 트리거가 보일 것입니다. 클릭하고

[41:28] 피드 URL을 여기에 붙여넣으면 됩니다.

[41:30] 붙여넣기를 하면

[41:33] 내가 가지고 있는 피드를 확인하고

[41:35] 매분, 매시간 또는

[41:37] 사용자 지정 주기로 설정할 수 있으며

[41:39] 개발 경험이 있다면

[41:41] 크론 표현식을 사용하거나

[41:42] ChatGPT에게

[41:44] 크론 표현식 작성을

[41:46] 도움받아 초 단위로도

[41:48] 설정할 수 있습니다. 하지만

[41:50] 그건 불필요하고

[41:51] 우리는

[41:53] 이 경우에는 매시간으로 설정할 것입니다.

[41:55] 매시간보다 더 자주 확인할

[41:58] 필요가 있는 기사는 없기 때문이지만

[42:00] 원하면 변경할 수 있습니다.

[42:02] 이제 테스트 이벤트를

[42:05] 가져오기 하면

[42:06] 보시다시피 최신 기사를 가져왔습니다.

[42:09] 여기 제목이 있고

[42:11] 가장 중요한 링크가 있는데

[42:13] 이것을 스크래핑에 사용할 것입니다.

[42:15] 게시 날짜도 있어서

[42:17] 오늘 날짜를 확인할 수 있고

[42:19] 작성자와 콘텐츠 미리보기도

[42:21] 제공됩니다.

[42:23] 이제 캔버스로 돌아가면

[42:25] 이것이 트리거된 것을 볼 수 있고

[42:28] HTTP 요청에 연결하면

[42:29] HTTP 요청을 클릭해서

[42:32] 아래로 스크롤해서

[42:35] URL을 찾아 이전 것을 삭제할 수 있습니다

[42:38] URL을 삭제하고 RSS 피드 트리거에서

[42:40] 링크를 이렇게 끌어다 놓을 수 있습니다

[42:44] 이제 이것을 요청으로 사용할 것입니다

[42:46] 여기서 테스트를 클릭하면

[42:49] 파이어크롤을 통해 실행되고

[42:50] 데이터를 가져올 것입니다

[42:52] 좋습니다. 여기 데이터가 들어왔네요

[42:54] 전체 기사를 가져왔고

[42:58] 이제 원한다면 캔버스로 돌아가서

[43:00] AI 모델을 재조정하여

[43:02] 뉴스 기반의 콘텐츠를 만들 수 있습니다

[43:05] 여기를 클릭하면

[43:08] 시스템 프롬프트를 쉽게 수정할 수 있습니다

[43:11] 자, 시스템 프롬프트를 수정해보겠습니다

[43:14] '당신의 역할은 기사에서 정보를 추출하는 것입니다'

[43:16] 전달받은 데이터에서

[43:19] 구조화된 형식으로 출력하는 것입니다

[43:23] 다음과 같이 전달합니다

[43:25] 여기 제목에는

[43:27] LinkedIn 포스트나 비슷한 것을 작성할 수 있습니다

[43:29] 콘텐츠라고 입력하고

[43:30] LinkedIn 포스트의 허용 글자 수를

[43:33] 검색해볼 수 있죠

[43:35] ChatGPT에게 딱 좋은 질문입니다

[43:37] '좋은 LinkedIn 포스트의 글자 수는 얼마인가요?'

[43:40] 라고 물어보겠습니다

[43:45] 500에서 900자 정도가 좋다고 하네요

[43:49] 이것을 복사해서

[43:51] n8n으로 돌아가서 콘텐츠에

[43:54] LinkedIn 포스트용 콘텐츠라고 입력하고

[43:56] 글자 수 500에서 900자를 붙여넣겠습니다

[43:59] 나머지는 콘텐츠만 필요하므로

[44:02] 삭제하겠습니다

[44:04] 콘텐츠만 남기고

[44:06] 스크랩된 웹사이트 입력이라고 된 부분을

[44:08] 스크랩된

[44:09] 기사로 바꾸겠습니다

[44:11] 여기서도 일관성을 위해 이것을 기사로 변경하겠습니다

[44:14] 기사로 바꾸고

[44:17] 여기서 얻는 결과는

[44:19] 시스템 프롬프트를 얼마나 잘 작성하느냐에 달려있습니다

[44:21] 이 에이전트에 대한 지침을 잘 작성해야 합니다

[44:23] 아, 그리고 해야 할 일이 하나 더 있습니다

[44:26] 다른 JSON 형식을

[44:27] 제거해야 합니다

[44:30] 콘텐츠만 남기고 나머지는 제거하겠습니다

[44:33] 마지막 쉼표도 제거하고

[44:35] 완벽합니다

[44:38] 참고로 더 나은 결과를 얻으려면

[44:40] 좋은 시스템 프롬프트 작성법을 알아야 하고

[44:42] 좋은 콘텐츠의 예시를

[44:43] 잘 전달할 줄 알아야 합니다

[44:45] 프롬프트 엔지니어링 실력을

[44:47] 한 단계 끌어올리고 싶다면

[44:49] 이것이 바로 제가

[44:51] 커뮤니티 가입을 추천하는 또 다른 이유입니다

[44:53] 모델이 변화하고 개선되면서

[44:55] 새로운 뉘앙스를 배워야 하는

[44:57] 여정이기 때문입니다

[44:59] 우리의 코스 콘텐츠와

[45:01] 열정적인 AI 애호가 커뮤니티와 함께

[45:03] 이러한 것들을 최신 상태로 유지하는 것이 좋습니다

[45:05] 프롬프트에서 최고의 결과를

[45:07] 얻는 방법을 아는 사람들과 함께요

[45:09] 이러한 프롬프트를 향상시키고 싶다면

[45:11] 설명란의 링크를 클릭하여

[45:12] 가격이 인상되기 전에 커뮤니티에 가입하고

[45:14] 우리와 함께 통합되어

[45:15] AI의 세계에

[45:17] 몰입하시기를 추천드립니다

[45:19] 변화가 매우 빠르기 때문에

[45:21] 혼자서는 이것을 따라가기 어렵습니다

[45:23] 약간의 내용을 추가해보겠습니다

[45:24] 시스템 프롬프트에 뭔가를 추가해서

[45:26] 정확히 어떤 작업을 수행할지 이해시키려고 합니다

[45:28] 그래서 이렇게 작성할 거예요 "당신의

[45:30] 콘텐츠 출력은 매력적이고

[45:34] 재구성된 고유한

[45:37] 버전의 기사여야 합니다"

[45:40] 그리고 추가로 이렇게 작성할게요

[45:44] "그대로 복사하지 말고

[45:46] 사실이 아닌 정보는 추가하지 마세요"

[45:52] 네, 이건 정말 간단한 프롬프트였고

[45:55] 깊이 생각하진 않았지만

[45:57] 여러분에게 보여주고 싶었던 건

[45:59] 이런 프롬프트에 정말 많은 것을

[46:00] 추가할 수 있다는 점이에요

[46:02] 여기에 들어가서 입력과 출력의

[46:04] 예시도 추가할 수 있죠

[46:07] 다른 영상에서 그 방법을 보여드렸고

[46:08] 커뮤니티에서도 자세히 다루고 있어요

[46:10] 하지만 지금은 이 정도면 충분합니다

[46:13] 이제 테스트 단계를 실행하면

[46:15] 우리가 전달한 마크다운을 분석할 거예요

[46:17] 변수가 변경되지 않았기 때문에

[46:19] 그대로 유지되고

[46:21] 여기를 통과해서

[46:22] 콘텐츠를 생성할 거예요

[46:25] 결과가 아주 좋네요

[46:27] 기사의 상세한 분석과 모든 정보를

[46:29] 제공해주고 있어요

[46:31] 이걸 X나

[46:32] LinkedIn에서 재활용할 수 있고

[46:34] 원하는 대로 활용할 수 있죠

[46:37] 저는 Yahoo News에서 가져온

[46:39] 일반 뉴스를 사용하고 있지만

[46:41] 원하는 어떤 웹사이트든 사용할 수 있고

[46:43] 내부용이든 외부 마케팅용이든

[46:45] 어떤 종류의 자동화도 실행할 수 있어요

[46:47] 가능성은 무한하고

[46:49] 창의적으로 활용할 수 있죠

[46:51] 이제 캔버스로 돌아가서

[46:53] 마지막 단계인

[46:54] 구글 시트 업데이트를 진행할게요

[46:57] 이 경우에는 스크래핑된 웹사이트

[46:59] 구글 시트로 가는데

[47:01] 새로운 구글 시트를 만들 거예요

[47:02] 현재 설정이 마음에 들어서

[47:04] 변경하고 싶지 않거든요

[47:06] 시트 홈으로 돌아가서 빈 스프레드시트를 클릭할게요

[47:09] 여기서 이름을

[47:12] LinkedIn

[47:14] posts

[47:15] LinkedIn posts로 지정하고

[47:19] 콘텐츠용 필드만 추가할게요

[47:21] 이것만 있으면 충분해요

[47:23] 이제

[47:25] n8n으로 돌아가서 이 구글 시트를 재구성할게요

[47:27] 보시다시피 이전 정보가 모두 있는데

[47:29] 문서로 가보면

[47:31] LinkedIn posts가 보이네요

[47:34] 이걸로 바꾸고

[47:35] 시트를 sheet1으로 변경할게요

[47:38] 기본 시트니까요

[47:39] 그러면 콘텐츠 열을 가져올 거예요

[47:41] 여기에 OpenAI의 콘텐츠를 끌어다 놓으면

[47:43] 바로 준비 완료예요

[47:46] 자동화된 콘텐츠 생성 시스템이

[47:48] 완성되었습니다

[47:50] 이 자동화를 깔끔하게 분리하기 위해

[47:52] 두 번째 것을 클릭해서 복사할게요

[47:54] 아직 삭제하지는 않을 거예요

[47:57] 이 워크플로우를 저장하고

[47:59] 개요로 돌아가서

[48:00] 새 워크플로우를

[48:02] 만들고 이름을

[48:04] LinkedIn post로

[48:07] 변경하겠습니다

[48:09] LinkedIn post로 하겠습니다

[48:12] 페이지로 들어가서

[48:15] 여기서 컨트롤+V를 눌러

[48:17] 붙여넣기만 하면 끝입니다

[48:20] 이제 LinkedIn 포스트 생성기가

[48:22] 다른 자동화에서 복사한 대로

[48:23] 여기 준비되었습니다. 이제 이것을

[48:26] 백그라운드에서 실행하고

[48:28] RSS 피드가 매시간 트리거되길 원한다면

[48:30] 위쪽에 있는

[48:31] '활성화' 버튼을 클릭해서

[48:34] 자동화를 켜고 '확인'을 누른 다음

[48:36] 저장하면 됩니다. 이제 한 번 더

[48:39] 테스트해 보겠습니다. 이제는

[48:41] 백그라운드에서 실행될 것입니다

[48:43] 활성화 후에는 워크플로우 테스트를

[48:45] 실행해서 어떻게 작동하는지 봅시다

[48:47] 자동화가 전체적으로 실행되면서

[48:49] HTTP 요청을 보내고

[48:51] 상세 내용을 가져오고 있습니다

[48:53] 잠시 후에 이 내용이

[48:55] OpenAI로 전달되어

[48:57] LinkedIn 콘텐츠를 생성하는

[48:59] 자동화가 실행되고, 완료되면

[49:01] Google 시트로 전송됩니다

[49:03] 이제 LinkedIn 포스트로 가보면

[49:06] 여기 보시는 것처럼

[49:08] LinkedIn 포스트가 생성되었고

[49:10] 이번에는 실제로 다른 기사를

[49:12] 가져왔네요

[49:14] 새로운 내용이 올라왔나 봅니다

[49:16] 여기서 복사해서

[49:17] LinkedIn에 붙여넣기만 하면

[49:19] 포스트 초안이 완성됩니다. 물론

[49:21] 직접 확인하고

[49:22] 리서치도 해야겠지만

[49:24] 시간을 절약하면서

[49:26] 가치 있는 아이디어로 시작할 수 있죠

[49:28] 완전 자동화도 가능합니다

[49:30] LinkedIn 노드가 있어서

[49:32] 직접 LinkedIn으로 보낼 수도 있어요

[49:34] LinkedIn을 검색해보면

[49:36] LinkedIn을 추가하고 포스트를

[49:38] 만들 수 있습니다. 자격 증명을

[49:40] 연결하면 포스트가 생성되어

[49:42] 자동으로 업로드됩니다. 하지만 저는

[49:45] Google 시트 방식이 좋습니다

[49:47] 여러분의 의견을 추가할 수 있고

[49:49] 이것은 시작점일 뿐이에요

[49:51] 아이디어를 제공하고

[49:52] 워크플로우를 활성화하고 저장하면

[49:55] 하루 종일

[49:56] 콘텐츠가 생성됩니다

[49:58] 이것으로 N8N으로 스크래핑하는 방법을 마치겠습니다

[50:01] 이 가이드가 도움이 되었다면

[50:03] 좋아요를 눌러주세요

[50:04] 이런 상세한 콘텐츠를

[50:06] 실제로 배울 수 있는 콘텐츠를

[50:08] 핵심을 정확히 전달하고

[50:10] 초보자도 이해할 수 있게

[50:12] 설명하는 영상을 더 보고 싶다면

[50:14] 제 콘텐츠와 제 활동이

[50:15] 마음에 드신다면 구독과

[50:17] 알림 설정을 해주세요

[50:19] 새로운 영상이 업로드될 때

[50:21] 알림을 받을 수 있습니다

[50:22] 저와 제 팀과 함께

[50:24] 한 단계 더 나아가고 싶다면

[50:25] AI Foundations 커뮤니티에

[50:27] 아래 설명란의 링크나

[50:29] 상단 고정 댓글을 통해 참여하세요

[50:31] 이것이 미래입니다

[50:32] 일의 방향이 이쪽으로 향하고 있고

[50:34] 만약 이 영상을 보고도

[50:36] 여기서 본 자동화가

[50:38] 흥미롭지 않다면

[50:40] 아마 당신에게는 맞지 않을 수 있어요

[50:42] 하지만 이런 미래를 보고

[50:44] 약간의 도움이나

[50:45] 훌륭한 네트워크가 필요하다면

[50:47] 바로 선택하세요. 커뮤니티에서

[50:49] 만나뵙길 바랍니다. 아니라면

[50:51] 앞으로도 YouTube에서 무료 영상으로

[50:53] 계속 만나요

[50:55] 좋은 하루

[50:57] 좋은 저녁, 좋은 아침 되세요