반응형 IT - DATA/DATA Engineering2 [데이터 엔지니어링] 01-2. 데이터 엔지니어링 개요 04. 데이터 파이프라인 데이터 파이프라인이란 데이터를 한 장소에서 다른 장소로 옮기는 것을 의미 API → Database Database → Database Database → BI Tool 데이터 파이프라인이 필요한 경우 다양한 데이터 소스들로부터 많은 데이터를 생성하고 저장하는 서비스 데이터 사일로: 마케팅, 브랜딩, 어카운팅, 세일즈, 오퍼레이션 등 각 영역의 데이터가 서로 고립되어 있는 경우 (통합 필요) 실시간 혹은 높은 수준의 데이터 분석이 필요한 비지니스 모델클라우드 환경으로 데이터 저장 데이터 아키텍쳐시 고려사항 API (데이터 추출) → AWS Lamda (DATA Processing) → Amazon S3(저장소) → 분석 → BI (Visualization) 데이터 파이프라인 구축.. 2022. 10. 20. [데이터 엔지니어링] 01-1. 데이터 엔지니어링 개요 01. 데이터 엔지니어링 필요성 문제 해결을 위한 가설 검증 단계 모든 비즈니스는 동일한 데이터 분석 환경을 갖출 수 없으며 성장 단계에 따라 선택과 집중해야 하는 분석 환경이 다르다. ✅ 비즈니스 성장에 따라 갖추어야 할 3가지 고려사항 Custom 환경 Automation Data Integration 02. 데이터 아키텍쳐시 고려사항 데이터아키텍처(DA, Data Architecture)란, 전사적인 관점에서 데이터를 수집, 저장, 통합하며 이를 체계화 하는 것이다. (1) 비즈니스 모델 상 가장 중요한 데이터는 무엇인가? 어떤 데이터에 집중해야 하고, 어떤 가치를 만들어 내야할 것인가 가 먼저 선행되어야 하며, 데이터 비용/시간 대비 비즈니스 임팩트가 가장 높은 데이터 확보를 목표로 데이터 아키텍.. 2022. 10. 19. 이전 1 다음 반응형
