일반적인 데이터 파이프라인 패턴

ETL과 ELTData Warehousing 에 뿌리를 두고 있는 이 두 패턴은 모두 데이터 웨어하우스에 데이터를 공급하고 분석가나 보고 도구가 이를 유용하게 쓸 수 있게 하는 데이터 처리에 대한 접근 방식임.차이점은 마지막 두 단계 (Transform & Load) 의 순서임. Extract : 로드 및 변환을 준비하기 위해 다양한 소스에서 데이터를 수집Load : 원본 데이터 (ELT) 또는 완전히 변환된 데이터 (ETL)를 최종 대상으로 가져온다. 어느 쪽이든 최종 결과는 데이터 웨어하우스, 데이터 레이크 또는 기타 대상에 데이터를 로드하는 것,,Transform : 분석가, 시각화 도구 또는 파이프라인이 제공하는 모든 사용 사례에 유용하게 쓸 수 있게 각 소스 시스템의 원본 데이터를 결합하고 형식..

• format_list_bulleted Data Engineer/Data PipeLine
• · 2024. 11. 20.
• textsms

최신 데이터 인프라

데이터 소스의 다양성대부분 조직에는 수백 개는 아니더라도 수십 개의 데이터 소스가 있으며, 이를 통해 분석 작업을 수행할 수 있음. Source System 소유권Data ingestion : 한 source에서 데이터를 추출하여 다른 소스로 로드하는 것을 의미한다..소스 시스템이 위치하는 곳이 어디인지를 이해하는 것은 여러 가지 이유로 중요타사 데이터 소스에 위치한 데이터에 엑세스하려고 한다면 액세스 방법에 제한이 걸릴 수 있음수집 인터페이스 및 데이터 구조데이터 엔지니어가 새로운 데이터 수집을 구축할 때 데이터 엔지니어가 가장 먼저 알아볼 것은 소스 데이터를 얻는 방법과 형식이다.아래는 데이터에 대한 인터페이스의 일반적인 것들이다.Postgres or MySQL DB와 같은 Application 뒤에..

• format_list_bulleted Data Engineer/Data PipeLine
• · 2024. 11. 15.
• textsms

Data PipeLine 이란?

Data PipeLine 소개데이터 파이프라인 : 다양한 소스에서 새로운 가치를 얻을 수 있는 대상으로 데이터를 옮기고 변환하는 일련의 과정으로 분석, 리포팅, 머신러닝 능력의 기초가장 단순한 형태는 REST API처럼 단일 소스에서 데이터를 추출하고 데이터 웨어하우스의 SQL Table과 같은 대상으로 데이터를 로드하는 것실제는 일반적으로 데이터 추출, 데이터 가공, 데이터 유효성 검사를 포함한 여러 단계로 구성 우수한 데이터 엔지니어가 보유하고 있는 공통적인 기술데이터 엔지니어는 분석 생태계를 뒷받침하는 데이터 파이프라인을 구축하고, 유지관리데이터 엔지니어의 목적은 데이터 과학자 및 분석가와 긴밀히 협력하여 데이터를 어떻게 처리해야 하는지 파악하고 요구사항을 확장 가능한 프로덕션 상태로 전환하는데 도..

• format_list_bulleted Data Engineer/Data PipeLine
• · 2024. 11. 6.
• textsms