[AWS-SSA] 9-1. Analytics

Streaming Data

Amazon Kinesis

- AWS에서 제공하는 데이터 스트리밍 서비스로, 실시간 대량 데이터 수집, 처리, 분석할 수 있도록 지원함

- 실시간으로 데이터를 활용하여 인사이트를 도출하고, 신속하게 의사 결정을 내릴 수 있음

- 완전관리형 서비스이기 때문에 인프라 관리에 신경 쓸 필요가 없음

- 다양한 AWS 서비스와 쉽게 통합할 수 있어 효율적인 구축이 가능

- 데이터 스트림을 동적으로 조정할 수 있어 트래픽 변화에 유연하게 대응할 수 있음. 이를 통해 대규모 데이터를 안정적으로 처리할 수 있음

 

데이터 스트리밍 

- Kinesis Data Stream

- Kinesis Data Firehose

- Kinesis Data Anlaytics

- Kinesis Video Streams -> Media Services

[구성 요소]

구성 요소	정의	특징	사용 사례
Kinesis Data Stream (KDS)	실시간 데이터 스트리밍 수집 및 처리 서비스	- 실시간 데이터 수집(초당 수백만 건) - 데이터 스트림 크기 동적 조정하여 트래픽 변화에 대응할 수 있는 확장성 보유 - 여러 가용 영역에 데이터 복제하여 내구성 보장 - 여러 소비자가 동시에 데이터 처리 가능	- 실시간 로그 분석 - 실시간 사용자 활동 모니터링 - IoT 센서 데이터 수집 및 분석 - 소셜 미디어 데이터 스트리밍
Kinesis Data Firehose	데이터 실시간 로드 및 변환 후, 다른 AWS 서비스에 자동으로 전달하는 완전관리형 서비스	- 데이터의 양에 따라 자동으로 확장(자동 스케일링)되므로, 따로 인프라 관리 필요 x - AWS Lambda를 사용한 데이터 변환 및 필터링 - 데이터를 배치로 처리하여 대상 서비스에 효율적으로 전송 - 데이터 압축 및 암호화하여 저장	- 실시간 로그 및 이벤트 데이터 Amazon S3에 저장 - 데이터 웨어하우스에 실시간 데이터 로드 - 검색 및 분석을 위한 데이터 Elasticearch로 전송 - 보안 로그 데이터 Splunkf로 전송
Kinesis Data Analytics	실시간 스트리밍 데이터를 SQL을 사용해 분석할 수 있는 서비스	- 표준 SQL 지원 - 실시간 분석 결과 대시보드에 시각화 - Kineis Data Streams 및 Kinesis Data Firehose와 통합되어 데이터 파이프라인 간소화 - 데이터 처리량에 따라 자동 확장	- 실시간 대시보드 및 모니터링 - 실시간 이상 탐지 - 실시간 사용자 행동 분석 - 실시간 데이터 변환 및 집계
Kinesis Video Streams	비디오 데이터를 실시간으로 처리, 저장할 수 있는 서비스	- 실시간 비디오 데이터 수집 및 처리 - 여러 가용 영역에 데이터 복제하여 내구성 보장 - Amazon Rekognition과 통합하여 비디오 데이터 분석 가능 - 비디오 데이터를 장기 저장하고 필요 시 재생 가능	- 실시간 CCTV 모니터링 - 드론 비디오 데이터 스트리밍 - IoT 디바이스 비디오 데이터 수집 - 비디오 기반 이상 탐지

 

문서

https://aws.amazon.com/ko/kinesis/

실시간 데이터 분석 처리 시스템 | Amazon Web Services

 

 

 

Amazon Managed Streaming for Apache Kafka(Amazon MSK)

- 실시간 스트리밍 데이터 수집 및 처리하는데 최적화된 분산 데이터 스토어

- Kafka 세 가지 주요 기능

1. 레코드 스트림 게시 및 구독

2. 레코드 생성된 순서대로 레코드 스트림 효과적으로 저장

3. 레코드 스트림 실시간 처리

- 실시간 스트리밍 데이터 파이프라인과 실시간 스트리밍 애플리케이션 구축하는 데 사용

 

문서

https://aws.amazon.com/ko/msk/

완전관리형 Apache Kafka – Amazon MSK – Amazon Web Services

 

 

 

Bigdata(Hadoop Cluster)

Amazon EMR(구 Amazon Elastic MapReduce)

- Apache 하둡 및 Apache Spark와 같은 빅데이터 프레임워크 실행을 간소화하는 관리형 클러스터 플랫폼

- Amazon RedShift와 함께 사용할 경우, 병렬 데이터 처리가 가능함

 

문서

https://docs.aws.amazon.com/ko_kr/emr/latest/ManagementGuide/emr-what-is-emr.html

아마존이란 EMR 무엇입니까? - 아마존 EMR

 

Data Warehouse 

Data Warehouse란?

다양한 출처에서 수집된 대량 데이터를 통합, 저장, 관리하는 데이터 중앙 저장소

이 데이터는 주로 의사 결정 지원을 목적으로 함

Amazon Redshift

- 완전 관리형 데이터 웨어하우스 서비스

- 데이터 웨어하우스를 구성하지 않아도 데이터를 액세스하고 분석할 수 있으며, 확장성과 빠른 성능을 제공

- 데이터 유휴 상태일 경우 요금 발생 X

 

문서

https://docs.aws.amazon.com/ko_kr/redshift/latest/mgmt/welcome.html

Amazon Redshift란 무엇입니까? - Amazon Redshift

 

Amazon QuickSight

- AWS에서 제공하는 비즈니스 인텔리전스 서비스

- 사용자 관리 도구

- 워크플로 시각화 기능 제공

 

문서

https://docs.aws.amazon.com/ko_kr/quicksight/latest/user/welcome.html

아마존이란 QuickSight 무엇입니까? - 아마존 QuickSight

 

 

Workflow

AWS Data Pipeline

- 데이터 이동 및 변환을 자동화하는 데 사용할 수 있는 웹 서비스

 

문서

https://docs.aws.amazon.com/ko_kr/datapipeline/latest/DeveloperGuide/what-is-datapipeline.html

이게 뭐야 AWS Data Pipeline? - AWS Data Pipeline

 

AWS Glue

- 분석 사용자가 여러 소스의 데이터를 쉽게 검색, 준비, 이동, 통합할 수 있도록 돕는 서버리스 데이터 통합 서비스

- 메타데이터 스토어 제공

- 데이터 카탈로그화, ETL 작업에 사용하며 분석, 기계학습, 애플리케이션 개발에 사용

- 비즈니스 워크플로 구현을 위한 추가 생산성 및 데이터 운영 도구 포함되어 있음

- 70개 이상의 다양한 데이터 소스를 검색하여 연결, 중앙 집중식 데이터 카탈로그에서 데이터 관리 가능

- 추출, 변환, 로드 파이프라인을 시각적 생성 및 실행, 모니터링하여 데이터 레이크에 대한 데이터 로드도 가능

* Glue Data Catalog: 조직의 데이터 세트에 대한 메타데이터를 저장하는 중앙 집중식 리포지토리로, 데이터 소스 위치, 스키마 및 런타임 메트릭에 대한 인덱스로 동작

크롤러를 사용하여 데이터 카탈로그를 채울 수 있음

* Glue BataBrew: 사용자가 코드를 작성하지 않고도 데이터를 정리하고 정규화할 수 있는 시각적 데이터 준비 도구. 특히 ML을 위한 데이터 준비에 걸리는 시간 80%나 줄여줌~~ 

* Glue 크롤러: 데이터를 자동으로 탐색하고 메타데이터를 생성해줌

 

문서

https://docs.aws.amazon.com/ko_kr/glue/latest/dg/what-is-glue.html

AWS Glue이란 무엇인가요? - AWS 글루

 

 

Analytics

Amazon Athena

- 표준 SQL을 사용하여 S3에 있는 데이터를 간편하게 분석할 수 있는 완전 관리형 대화형 쿼리 서비스

- 몇 초 안에 결과를 얻을 수 있음. 

- Athena를 사용하면, 관리할 필요 없이 Apache Spark를 사용할 수 있음

- 또한 Athena는 간편한 데이터 시각화 위해 Amazon QuickSight와 통합되었음

 

 

문서

https://docs.aws.amazon.com/ko_kr/athena/latest/ug/what-is.html

Amazon Athena란 무엇인가요? - Amazon Athena

 

Gorvernance

Amazon Lake Formation

- 분석 및 기계 학습을 위한 데이터를 중앙에서 관리하고 보호하며 전 세계적으로 공유할 수 있도록 지원

- 열과 행 조합에 대한 액세스를 제한할 수 있는 데이터 필터 제공 -> 개인 식별 정보와 같은 민감한 데이터 보호

 

문서

https://docs.aws.amazon.com/ko_kr/lake-formation/latest/dg/what-is-lake-formation.html

무엇입니까 AWS Lake Formation? - AWS Lake Formation

 

 

Amazon OpenSearch Service

- OpenSearch 클러스터를 쉽게 배포, 운영 및 확장할 수 있는 관리형 서비스

* 그래서 OpenSearch가 뭔데?

분산형 커뮤니티 기반 오픈 소스 검색 및 분석 제품군

=> 로그 분석, 실시간 애플리케이션 모니터링, 클릭 스트림 분석 등의 사용 사례 위한 완전한 오픈 소스 검색 및 분석 엔진

- OpenSearch Service는 OpenSearch 클러스터의 모든 리소스를 프로비저닝하고 실행

- 장애가 발생한 OpenSearch Service 노드를 자동으로 탐지하고 교체하여 자체 관리형 인프라와 관련된 오버헤드를 감소시킴

- 확장성도 뛰어남. 콘솔에서 API 호출 및 몇 번의 클릭으로 클러스터 확장 가능

 

 

문서

https://docs.aws.amazon.com/ko_kr/opensearch-service/latest/developerguide/what-is.html

아마존 OpenSearch 서비스란 무엇입니까? - 아마존 OpenSearch 서비스

 

Marketplace

AWS Data Exchange

- AWS가 다른 조직의 데이터 자격을 대규모로 쉽게 공유하고 관리할 수 있도록 도와주는 서비스

- 데이터 수신자는 Marketplace 데이터 구독을 한 곳에서 추적하고 관리할 수 있음

- AWS, 파트너 분석 및 기계 학습을 사용한 인사이트 추출 가능

- 발신자는 데이터 제공 및 권한 인프라를 구축하고 유지 관리할 필요 X

 

문서

https://docs.aws.amazon.com/ko_kr/data-exchange/latest/userguide/what-is.html

AWS Data Exchange가 무엇인가요? - AWS Data Exchange 사용자 가이드