요약
- AWS가 Amazon Bedrock AgentCore Browser와 Bedrock, OpenSearch Serverless, Lambda를 결합한 웹 인사이트 자동 추출 솔루션을 공개했다
- EventBridge가 15분마다 RSS 피드를 확인하고 신규 기사만 걸러내 브라우저 세션으로 콘텐츠를 수집하는 이벤트 기반 구조다
- AgentCore Browser가 자바스크립트 기반 페이지도 안정적으로 렌더링해 사이트 개편에도 파이프라인이 쉽게 깨지지 않는다고 설명했다
- 발행처
- AWS Machine Learning Blog
- 작성자
- Louisa Liu
- 발행일
- 2026-08-04
- 핵심 구성 요소
- Amazon Bedrock AgentCore Browser, Amazon Bedrock, Amazon OpenSearch Serverless, AWS Lambda, Amazon EventBridge, Amazon S3
- 수집 주기
- EventBridge 스케줄로 15분마다 RSS 피드 확인
- 브라우저 연결 방식
- Playwright를 Chrome DevTools Protocol(CDP)로 연동
- 코드 공개 여부
- GitHub 저장소에 전체 구현 공개
AWS가 머신러닝 블로그를 통해 Amazon Bedrock AgentCore를 활용한 웹 인사이트 자동 추출 솔루션 구축 방법을 소개했다. 수십 개 웹사이트를 일일이 확인하며 경쟁사 동향이나 시장 정보를 수집하던 수작업을 자동화하는 것이 목표라고 설명했다.
이벤트 기반 파이프라인 구조
솔루션은 콘텐츠 수집과 AI 처리를 분리한 이벤트 기반 아키텍처로 설계됐다. Amazon EventBridge 스케줄이 15분마다 Lambda 함수를 실행해 등록된 RSS 피드에서 신규 기사를 확인하고, Amazon S3에 저장된 기존 데이터와 대조해 중복을 제거한다.
새 기사가 확인되면 Lambda 함수가 Amazon Bedrock AgentCore를 통해 브라우저 세션을 열고, Playwright를 Chrome DevTools Protocol(CDP)로 연결해 페이지를 가져온다. 일반 HTTP 요청과 달리 원격 브라우저는 자바스크립트 기반 콘텐츠까지 완전히 렌더링하고 동적 요소 로딩을 기다린 뒤 스크린샷을 찍고 이미지를 내려받는다. AWS는 안정적인 페이지 렌더링이 없으면 이후 AI 추출 단계가 불완전한 콘텐츠를 받게 된다고 설명했다.
수집된 결과물은 구조화된 형태로 S3에 업로드되며, 이후 Amazon S3 이벤트가 후속 처리를 트리거하는 방식으로 이어진다. 추출된 인사이트는 Amazon OpenSearch Serverless의 벡터 임베딩을 통해 의미 기반 검색이 가능해진다.
적용 가능한 활용 사례
AWS는 이 구조가 경쟁 제품·가격 변경을 추적하는 경쟁 정보 분석, 업계 뉴스와 신흥 기술을 모니터링하는 시장 조사, 여러 소스의 콘텐츠를 취합하는 콘텐츠 큐레이션, 규제 사이트 변화를 감시하는 컴플라이언스 모니터링 등에 활용될 수 있다고 밝혔다. 전체 구현 코드는 GitHub 저장소에 공개돼 있다고 전했다.
댓글