TestSprite: 코드 작동을 보장하는 AI 에이전트

채널 아이콘
Eric Tech 구독자 12,500명

요약

이 영상은 AI 기반 소프트웨어 테스트 도구 TestSprite를 활용해 간단한 주식 정보 웹 애플리케이션을 테스트하는 과정을 단계별로 안내한다. MCP 서버 연동과 API 키 발급부터 PRD(제품 요구사항 문서) 분석, 테스트 계획 생성·실행, 결과 리포트 확인, CI/CD 파이프라인 연동, 스케줄링 기능, 요금제 안내까지 전반적인 워크플로우를 시연한다. Playwright 기반 테스트 스크립트 자동 생성, 버그 탐지와 개선 제안, GitHub 연계 및 모니터링 기능을 통해 개발 생산성을 높이는 방법을 제시한다.

주요 키워드

TestSprite AI 에이전트 MCP 서버 PRD 테스트 계획 Playwright 테스트 커버리지 CI/CD API 키 스케줄링

하이라이트

  • 🔑 AI 테스트 자동화: TestSprite MCP 서버를 IDE에 연동해 단 몇 번의 클릭만으로 코드 분석, 테스트 계획, 테스트 실행, 리포트 생성까지 자동으로 처리한다.
  • ⚡️ API 키 발급 간편: 대시보드에서 API 키를 생성해 복사·붙여넣기만 하면 즉시 MCP 서버에 연결해 테스트를 시작할 수 있다.
  • 🌟 PRD 기반 테스트 계획: 코드 구조를 JSON 요약으로 분석한 뒤 PRD(Product Requirement Document)를 생성해 프론트엔드·백엔드 테스트 시나리오를 자동으로 작성한다.
  • 📌 Playwright 스크립트 생성: 각 테스트 케이스마다 Playwright 코드를 자동으로 생성해 실제 브라우저 동작을 녹화하고, 스크린 기록으로 결과를 검토할 수 있다.
  • 🚀 버그 탐지 및 리포트: 테스트 실패 사례(예: Amazon 데이터 미표시)를 정확히 짚어내고, PDF 형식의 요약 보고서로 커버리지·실행 결과·개선 제안을 제공한다.
  • 🔧 CI/CD·GitHub 연동: 생성된 테스트 코드를 GitHub 저장소에 업로드하고, CI/CD 파이프라인에 바로 통합해 지속적 검증이 가능하다.
  • 💡 스케줄링과 모니터링: 테스트 실행을 일정에 따라 자동화하고, 모니터링 대시보드에서 결과를 실시간 확인할 수 있다.

용어 설명

AI 에이전트

사용자 요청에 따라 자동으로 테스트 계획 작성·실행·보고를 수행하는 지능형 소프트웨어 모듈

MCP 서버

Model–Client–Protocol 서버의 약자로, TestSprite가 테스트 워크플로우를 처리하기 위해 API 호출을 중개하는 서버

PRD(Product Requirement Document)

제품 요구사항 문서로, 기능 명세를 테스트 계획으로 전환하기 전 단계에서 정형화된 설명을 담은 문서

CI/CD

Continuous Integration/Continuous Deployment의 약자로, 자동 빌드·테스트·배포 파이프라인을 의미

Playwright

Microsoft에서 개발한 브라우저 자동화 라이브러리로, 테스트 스크립트를 작성해 UI 동작을 검증하는 도구

[00:00:00] 도입: AI로 소프트웨어 테스트 자동화

AI 기반 애플리케이션 빌드 강의는 많지만 소프트웨어 테스트에 AI를 활용하는 방법은 드물다. TestSprite라는 도구를 소개하며 테스트 자동화 워크플로우를 개략적으로 설명한다.

많은 사람들이 AI로 애플리케이션 구축 방법은 배웠지만, AI로 소프트웨어를 테스트하는 방법에 대해서는 많이 알려지지 않았습니다. 이 영상에서는 소프트웨어 테스트를 위한 가장 쉬운 AI 에이전트인 TestSprite라는 도구 사용법을 소개합니다.
먼저 AI 코딩 IDE 내에서 TestSprite MCP 서버 사용 방법을 보여드리고, 자연어로 주식 정보를 요청하고 TradingView를 통해 데이터를 시각화하는 간단한 애플리케이션을 이 도구로 테스트해보겠습니다.
TestSprite를 시작하려면 로그인 후 MCP 테스트를 클릭합니다. 빠른 설치를 위해 설치 버튼을 클릭하면 Cursor나 기존 MCP 서버와 함께 작동하는 것을 볼 수 있습니다. MCP 서버용 객체를 복사하여 Claude에서 설정합니다.
[00:00:36] 설정: TestSprite MCP 서버 설치 및 연동

TestSprite 웹사이트에 로그인 후 MCP Test 메뉴 진입, 설치 스크립트 복사·붙여넣기로 IDE에 MCP 서버를 등록한다. 커서 기반과 API 키 방식 모두 지원한다.

타임라인 정보가 없습니다.

[00:01:03] API 키 발급

대시보드에서 API Keys 섹션에 접속해 ‘Create API key’ 클릭 후 키를 생성·복사한다. IDE에 붙여넣으면 TestSprite 연동이 완료된다.

API 키를 얻기 위해 대시보드로 가서 API 키 생성을 클릭합니다. 생성된 키를 복사해서 MCP 서버 설정에 붙여넣으면 TestSprite가 활성화됩니다. 이제 간단히 'TestSprite로 이 프로젝트를 테스트해 달라'고 요청하면 MCP 서버가 나머지를 처리합니다.
[00:01:19] MCP 서버 테스트 프로세스

‘Help me test this project with TestSprite’ 한 줄 명령으로 코드베이스 분석→PRD 파일 생성→테스트 코드·테스트 커버리지 생성→결과 보고 및 수정 제안 과정을 자동화한다.

TestSprite의 작동 과정을 살펴보면, PRD 파일을 읽고 코드를 분석한 후 제품 요구사항 문서를 정규화하는 TestSprite PRD를 생성합니다. 그다음 테스트 코드를 생성하고 작업을 실행하며 결과를 제공하고 발견된 문제점들에 대한 수정 보고서도 제공합니다.
이 MCP 서버는 테스트 보고서를 자동 생성하고, 그를 바탕으로 수정 사항과 테스트 커버리지, 애플리케이션 기반 테스트들을 생성하여 개발자들의 많은 시간을 절약해줍니다.
Claude 4를 사용해서 'TestSprite로 이 프로젝트를 테스트해 달라'고 요청했습니다. 이 과정에서 TestSprite MCP 서버를 호출해 테스트를 부트스트랩하고, 전체 코드베이스를 스캔해서 프로젝트 구조를 분석하는 JSON 파일 형태의 코드 요약을 생성했습니다.
[00:02:04] 테스트 플랜 생성 및 실행

프론트엔드·백엔드 각각에 대한 테스트 계획을 자동으로 마크다운 리포트로 출력한다. 시나리오별 테스트 환경 설정, 코드 분석 요약, 핵심 기능 검증 항목을 단계별로 생성한다.

TestSprite가 프로젝트의 코드 구조를 분석하여 기술 스택과 기능별 관련 파일들을 정리한 코드 요약을 생성합니다.
코드 요약이 정확한지 확인 후, TestSprite를 사용하여 PRD 파일과 테스트 계획을 자동으로 생성하는 과정을 시작합니다.
프론트엔드와 백엔드를 위한 포괄적인 테스트 계획이 생성되며, 프로젝트 개요, 테스트 환경 설정, 코드 분석 요약, 주요 기능들이 포함된 상세한 마크다운 보고서를 제공합니다.
테스트 계획에는 프론트엔드 시나리오와 실행 프로세스가 포함되어 있으며, 현재 애플리케이션 상태 보고서를 바탕으로 CI/CD 통합, 테스트 커버리지, 성능 모니터링, 에러 추적 등의 개선사항을 권장합니다.
각 시나리오별로 상세한 테스트 케이스를 제공하며, 제목, 설명, 단계별 실행 방법이 포함되어 애플리케이션의 완전한 테스트 보고서와 개선 방안을 제시합니다.
TestSprite 앱에서 테스트 생성 기능을 사용하여 새로운 테스트를 설정하는 방법을 보여줍니다. Stock App과 같은 테스트 이름을 지정할 수 있습니다.
[00:03:42] 앱 인터페이스에서 테스트 생성

‘Create test’ 버튼으로 스톡 앱 테스트 케이스 8개를 자동 생성한다. URL·인증 정보·테스트 지침 입력 후 드래프트 확인, 필요한 케이스만 선택해 실행한다.

백엔드가 있는 경우 API 엔드포인트와 세부사항을 제공할 수 있으며, 백엔드가 없다면 건너뛸 수 있습니다. 프론트엔드의 경우 웹 애플리케이션 URL과 선택적으로 인증 정보를 입력합니다.
테스트 애플리케이션에 대한 계획이나 지침을 제공할 수 있으며, 설정 완료 후 하나의 URL과 8개의 테스트 케이스를 포함한 테스트 계획 초안이 자동으로 생성됩니다.
TestSprite가 실시간 데이터, 시장 시각화, 챗봇 상호작용, 멀티 툴 응답 검증, 트레이딩 뷰 및 에러 처리, 사용자 인증 등 다양한 테스트 케이스를 제공한다고 설명합니다.
필요에 따라 특정 테스트를 체크 해제할 수 있으며, 예를 들어 로그인 기능이 없는 애플리케이션의 경우 사용자 인증 테스트를 제외할 수 있다고 안내합니다.
TestSprite가 8개의 테스트를 모두 실행하고 결과를 보여주며, 각 테스트마다 화면 녹화까지 제공하는 기능을 소개합니다.
[00:05:02] 테스트 결과 확인 및 스크린 녹화

모든 테스트 실행 후 결과 표시, 스크린 레코딩으로 실제 사용자 동작을 영상으로 기록한다. Playwright 코드와 함께 성공·실패 케이스를 검토할 수 있다.

챗봇 상호작용 테스트의 비디오를 재생하여 실제 테스트 실행 과정을 보여주고, 쿼리 입력부터 응답까지의 전체 과정이 기록되어 있음을 확인합니다.
TestSprite가 Playwright를 사용하여 테스트 코드를 생성하며, Chromium 브라우저를 헤드리스 모드로 설정하고 페이지 이동, DOM 로딩 대기, 요소 선택 및 입력 등의 자동화 과정을 상세히 설명합니다.
실패한 테스트 사례로 Amazon 데이터 표시 문제를 보여주며, JSON 객체는 받아오지만 실제 데이터가 화면에 표시되지 않는 버그를 TestSprite가 정확히 감지하고 보고하는 능력을 입증합니다.
[00:06:00] 리포트 다운로드 및 CI/CD 연동

PDF 형식의 요약 리포트를 다운로드해 개요·키 발견 사항·커버리지·실행 요약을 확인한다. GitHub 연동으로 자동으로 저장소를 생성·CI/CD 파이프라인에 통합한다.

테스트 완료 후 PDF 형식의 상세 리포트를 다운로드할 수 있으며, 하이라이트 개요, 주요 발견 사항, 테스트 커버리지, 실행 요약 등을 포함한 포괄적인 테스트 결과 문서를 제공한다고 소개합니다.
TestSprite의 테스트 결과를 살펴보면 웹사이트 프론트엔드에만 집중한 테스트 커버리지가 나타납니다. 5개 통과, 2개 실패한 결과와 함께 실행 요약, 테스트 케이스 설명, 영향도 및 상태 정보를 제공합니다.
각 테스트 실행 분석을 통해 상태 확인과 테스트 실행 코드를 볼 수 있으며, GitHub 연동을 통해 리포지토리 생성 및 CI/CD 파이프라인 추가가 가능합니다.
[00:07:23] 스케줄링 및 요금제 안내

무료 플랜(월 150크레딧)으로 기본 기능 체험 가능. 월 $19 유료 업그레이드 시 스케줄링·모니터링·고급 모델(claude 3.7s, GPT-4.1)·우선 지원을 제공한다.

모니터링 시스템을 통해 테스트 재실행 스케줄링이 가능하지만, 무료 플랜에서는 제한되며 스케줄 기능 사용을 위해서는 월 19달러 업그레이드가 필요합니다.
TestSprite는 월 150 크레딧의 무료 버전을 제공하며, 스타터 플랜은 현재 1개월 무료로 월 400 크레딧과 Claude 3.7s, GPT 4.1 등 고급 모델 및 우선 지원을 포함합니다.
[00:07:46] 결론 및 구독 유도

TestSprite 사용법을 마무리하고, 무료 버전 체험 및 starter 플랜 할인 프로모션 링크 안내. 영상이 유익했다면 좋아요와 구독을 요청하며 다음 영상 예고한다.

타임라인 정보가 없습니다.

많은 사람들이 AI로 애플리케이션을 만드는 방법을 배웠지만,
AI로 소프트웨어를 테스트하는 방법에 대해서는
많이 이야기하지 않습니다.
그래서 이 영상에서는
TestSprite라는 도구를 사용하는 방법을 보여드리겠습니다.
이는 소프트웨어 테스트를 위한
가장 쉬운 AI 에이전트입니다.
구체적으로는 먼저
AI 코딩 IDE 내에서 TestSprite MCP 서버를
사용하는 방법을 보여드리겠습니다.
그리고 이런 간단한 애플리케이션을
어떻게 활용하는지 보여드릴 텐데요.
여기서는 자연어를 사용해서
주식 정보를 요청하고,
TradingView 같은 도구들을 포함해서
주식 데이터를 시각화하고
실시간 주식 정보도 제공합니다.
그래서 이 영상에서는
이 애플리케이션을 이 도구로 테스트해보겠습니다.
시작하기 위해 먼저
TestSprite 로그인을 클릭합니다.
로그인한 후 MCP 테스트를 클릭합니다.
빠른 설치를 원한다면 여기서
지금 설치하기를
클릭할 수 있습니다.
여기서 보시는 것처럼
Cursor와 함께 작동하며
우리가 가진 MCP 서버들과도 작동합니다.
여기서 보시는 것처럼 우리가 해야 할 일은
이 MCP 서버용 객체를 간단히 복사하는 것뿐입니다.
Claude를 사용해서 열어보겠습니다.
여기서 MCP 서버를 클릭하고
추가 MCP 서버를 여기에 추가하겠습니다.
그리고 여기서 API 키를 가져오겠습니다.
API 키를 얻으려면
간단히 대시보드로 가서
API 키를 클릭하고 API 키 생성을 클릭하면 됩니다.
여기서는 MCP 서버라고 하겠습니다.
키를 복사하고 여기에 붙여넣겠습니다.
키를 여기에 붙여넣습니다.
좋습니다. 이게 제 키가 될 것입니다.
여기서 보시는 것처럼 TestSprite가 활성화되었습니다.
TestSprite MCP 서버를 살펴보면
간단히 'TestSprite로
이 프로젝트를 테스트해 달라'고 말하면
이 MCP 서버를 사용해서 나머지를 처리합니다.
여기서 단계들을 살펴보면
먼저 PRD 파일을 읽고
코드를 분석한 다음
우리가 가진 제품 요구사항 문서를
정규화할 TestSprite PRD를 생성하고
테스트 코드를 생성하고 작업을 실행하며
결과를 제공하고 또한
이를 수정할 수 있게 해줍니다.
발견한 것들을 어떻게 수정할지에 대한
수정 보고서를 제공합니다.
여기서 보시는 것처럼
이 MCP 서버는 개발자들의
많은 시간을 절약해줄 것입니다.
단순히 테스트 보고서를 생성할 수 있고
그 테스트 보고서를 바탕으로
수정 사항과
테스트 커버리지 그리고 우리가 가진
애플리케이션 기반의 테스트들을 생성하기 때문입니다.
그런 경우에
여기서 Claude 4를 사용하겠습니다.
그리고 여기서 'TestSprite로
이 프로젝트를 테스트해 달라'고 말하겠습니다.
어떻게 되는지 봅시다.
이 과정에서 TestSprite를 위한
MCP 서버를 호출해서
테스트를 부트스트랩할 수 있었고
결국 전체 코드베이스를 스캔해서
코드 요약을 생성할 수 있다는 것을 볼 수 있습니다.
이것이 바로 여기 있는 JSON 파일인데
프로젝트 구조를 분석하는 파일입니다.
코드 요약을 생성합니다. 이걸 살펴보면
기술 스택과 기능들의 목록이 있는 것을 볼 수 있습니다
그리고 각 기능마다
해당 기능과 관련된 파일들이 있는 것을 볼 수 있습니다
해당 기능과 관련된 파일들을
코드 요약이 정확한지 확인한 후에
TestSprite를 사용하여 PRD 파일과
테스트 계획을 생성하는 단계로 진행됩니다
이 경우 우리는 검증됨이라고
말할 것입니다. 그러면 테스트 계획 생성을
시작할 수 있어야 합니다
좋습니다. 결국 프론트엔드와
백엔드를 위한 완전한 테스트 계획을
생성하는 것을 볼 수 있습니다. 여기서
테스트 보고서의 마크다운 파일에 대한
보고서를 볼 수 있습니다. 그리고 여기서
프로젝트 개요와
테스트 환경 설정, 그리고
코드 분석 요약과
주요 기능들을 볼 수 있습니다
그리고 여기가 생성된 테스트 계획입니다
여기서 프론트엔드를 위한 시나리오들과
실행 프로세스를 볼 수 있습니다
기본적으로 현재 애플리케이션의
상태에 대한 보고서를 생성하고
이 보고서를 바탕으로 수행할 수 있는
작업에 대한 권장사항과
CI/CD 통합에 대한 향후 개선사항,
테스트 커버리지,
성능 모니터링,
심지어 에러 추적까지 제공하고
결론과 모든 것을 제공합니다
각 시나리오의 테스트 케이스를
자세히 보고 싶다면
TestSprite 프론트엔드 테스트 계획도
볼 수 있습니다. 여기서 각
객체에 대한 테스트 케이스가 있는 것을
볼 수 있습니다. 예를 들어
이 계획의 경우, 제목과
설명이 있고, 해당 테스트를
수행하기 위한 단계들이 있습니다
전반적으로 애플리케이션에 대한
완전한 테스트 보고서와
추가로 개선할 수 있는 사항들을
제공한다는 것을 볼 수 있습니다. 이제 TestSprite MCP 서버를
사용하는 방법을 알았으니
앱을 사용하여 테스트를
생성하는 방법을 살펴보겠습니다. 여기서
테스트 생성을 클릭하고
테스트 이름을 예를 들어 Stock App이라고
지정할 수 있습니다. 그리고 여기서
API 엔드포인트, 이름 등과 같은
백엔드에 대한 API 세부사항을 제공할 수 있습니다
백엔드가 없다면
백엔드를 건너뛸 수도 있습니다
프론트엔드만 테스트하고 싶으므로
백엔드 건너뛰기를 클릭하겠습니다
프론트엔드의 경우
웹 애플리케이션의 URL을
간단히 전달할 수 있습니다. 그리고 여기서
인증이 있다면 로그인 정보를
제공할 수도 있지만 선택사항입니다
그리고 여기서 테스트 계획이나
테스트 애플리케이션에 대한
지침을 제공할 수도 있습니다
이것을 클릭하면
이런 모습이 나타납니다
테스트 계획의 초안을
생성할 것입니다. 현재 하나의 URL과
8개의 테스트 케이스를 찾았습니다
여기가 기본적으로 테스트 계획
세부사항의 초안입니다. 테스트 이름,
우선순위, 테스트 이름과
테스트에 대한 설명이 포함되어 있습니다
실시간 데이터 테스트 같은 것들을
시장 시각화와 또한
챗봇 상호작용, 멀티 툴
응답 검증 그리고
트레이딩 뷰와 에러 처리, 사용자
인증이 있다면 말이죠. 여기서
보시면 원하지 않는 테스트는
체크 해제할 수도 있습니다. 예를 들어
사용자 인증을 체크 해제할 수 있는데
저희 애플리케이션에는
로그인이나 그런 게 없거든요. 그래서
이 경우에는 다음을 클릭해서
진행하겠습니다. 여기서 보시면
테스트를 생성할 거예요. 하나씩
애플리케이션을 테스트할 거고
저희가 가진 테스트 케이스를 기반으로 하죠.
좋습니다. 이제 보시면
8개 테스트를 모두 실행했고 여기서
테스트 결과들을 볼 수 있습니다. 정말
멋진 점은 각 테스트마다
제가 한 작업들의 화면 녹화도
생성한다는 거예요. 예를 들어
주식 쿼리와 챗봇 상호작용이 있죠. 만약
이 비디오를 재생한다면, 전체 화면으로
하고 처음부터 재생하겠습니다.
보시면 가장 먼저
쿼리를 입력할 거예요. 여기서
보시면 이게 이 질문에 대한
응답 결과고 여기서
보시면 통과로 표시되었고
이 테스트를 어떻게 생성했는지
코드도 보여줍니다. 여기서 보시면
테스트에 Playwright를 사용하고 있어요.
가장 먼저 Chromium 브라우저를
헤드리스 모드로 설정하고
이 페이지로 이동해서
DOM이 로드될 때까지 기다립니다. 그리고
여기서 보시면 요소를 선택하고
입력 상자를 채우기 위해
정확히 어디를 클릭해야 하는지 알고 있어요.
그리고 입력을 채우기 위해
요소를 선택하고 결과를 얻는데
정말 멋지죠. 여기서 실행을 클릭해서
그 테스트를 다시 실행할 수도 있어요.
좋습니다. 실패한 테스트도
한 번 살펴보죠. 여기서 보시면
마켓 데이터도 있고
여기서 보시면 위젯이 Amazon 데이터를
올바르게 표시할 수 없다는 걸
확인했습니다. 이걸
자세히 살펴보죠. 전체 화면으로 하고
Amazon을 클릭하면
JSON 객체가 나오는 걸 볼 수 있고
현재 보시면 Amazon에 대한
데이터 표시가 없는데
이게 문제죠. 보시면
이 버그를 지적하고
이게 실패한 테스트라고 보고할 수 있어요.
물론 여기 코드를 사용해서
언제든지 그 테스트를 다시 실행할 수 있고
그 테스트를 다시 실행할 수 있습니다. 그리고
여기 모든 테스트를 클릭하면
실행한 테스트들을
볼 수 있습니다. 여기를 클릭해서
리포트를 다운로드할 수도 있는데
PDF 형식으로 테스트 리포트를
생성합니다. 여기서 보시면
하이라이트 개요, 주요 발견 사항
테스트 커버리지를 포함한 의제가 있고
실행 요약과 텍스트
실행 세부 사항도 있습니다. 하이라이트
개요를 하나씩 살펴보면
백엔드는 테스트하지 않고
프론트엔드에만 집중했습니다
웹사이트의 프론트엔드에만 집중했습니다. 그리고
테스트 커버리지를 보시면
5개가 통과하고 2개가 실패했습니다.
프론트엔드 UI 테스트 커버리지 측면에서는
실행 요약, 테스트 케이스,
설명, 영향도, 그리고
상태가 나열되어 있습니다.
아래로 스크롤하면
각 테스트 실행 분석이 있고
상태를 확인할 수 있으며
해당 테스트를 실행하는 코드도 볼 수 있습니다.
또 다른 부분은 GitHub으로도 내보낼 수 있다는 것입니다.
실행된 모든 코드에 대해
리포지토리를 생성하고
CI/CD 파이프라인에 추가하거나
필요할 때마다 실행할 수 있습니다.
정말 멋진 점은
모니터링 시스템이 있어서
테스트를 재실행하는 스케줄을 만들 수 있다는 것입니다.
예를 들어
방금 실행한 테스트를
재실행할 시간을 스케줄링할 수도 있습니다.
하지만 현재 저는 무료 플랜을 사용하고 있어서
스케줄 기능을 사용하려면
월 19달러 추가로 업그레이드해야 하며
더 많은 크레딧과 모니터링, 스케줄링,
그리고 최적화된 실행 기능을 제공받을 수 있습니다.
자, 이 영상은 여기까지입니다.
이 제품을 사용해보고 싶으시다면
월 150 크레딧을 제공하는
무료 버전이 있고
이 영상에서 소개한 기능들을
거의 모두 사용할 수 있습니다.
하지만 스타터 플랜으로 업그레이드하고 싶으시다면
현재 1개월 무료 할인이 있어서
완전히 무료로 월 400 크레딧을
받을 수 있습니다.
멋진 점은 Claude 3.7s나
GPT 4.1 같은 고급 모델과
최적화된 실행 기능,
우선 지원을 받을 수 있다는 것입니다.
이 제품을 사용해보고 싶으시다면
test.com을 확인해보세요.
이 영상은 여기까지입니다.
이 영상이 도움이 되셨다면
좋아요를 눌러주시고
이런 콘텐츠를 더 보시려면 구독을 고려해보세요.
그럼 이제
다음 영상에서 뵙겠습니다.