AWS 관리형 서비스를 활용한 실시간 뉴스 기반 주가 영향도 분석 시스템

이 게시물은 AWS의 관리형 서비스들을 활용하여 뉴스 데이터와 주식 거래 데이터를 실시간으로 결합 분석하는 시스템 구축 방법을 설명합니다.

주요 서비스 및 아키텍처

• Amazon Managed Service for Apache Flink를 통한 실시간 스트림 처리 및 LLM 기반 뉴스 감정 분석
• Amazon Managed Streaming for Apache Kafka를 이용한 데이터 스트리밍 및 내결함성 보장
• Amazon Bedrock을 활용한 뉴스 텍스트의 감정 분석 및 요약
• Amazon Data Firehose와 Amazon S3를 통한 데이터 저장 및 분석 결과 보관

시스템 설계 및 처리 방식

• 뉴스와 주식 거래 데이터의 이벤트타임 기반 Interval Join으로 실시간 상관관계 분석
• Flink UDF로 Bedrock LLM 호출하여 뉴스 감정 분류 및 요약 수행
• Watermark 메커니즘 활용해 지연 데이터 처리 및 메모리 관리를 최적화

분석 및 활용

• 긍정/부정 뉴스 기반 주가 반응 속도 및 패턴 분석
• 시계열 분석을 통한 주가 추세 예측 및 투자 의사결정 지원