Devidas
close
프로필 배경
프로필 로고

Devidas

  • 분류 전체보기 (58)
    • Bootcamp (9)
    • Java (5)
    • Algorithm (9)
    • Git (2)
    • Data Engineer (21)
      • Data PipeLine (3)
      • AI (11)
      • SQLD (4)
    • Python (1)
    • Front-end (0)
      • React (0)
    • Back-end (10)
      • Django (5)
      • Spring-boot (5)
    • Network (1)
  • 홈
  • 태그
  • 방명록
  • 글쓰기
빅데이터의 기초 지식

빅데이터의 기초 지식

데이터 분석에서 80%의 시간이 데이터를 준비하는 데 소요됨,, 데이터를 이용하는 목적은 다양하다. 1. Business Intelligence (BI) : 경영상의 의사결정에 도움이 됨. Data Discovery (데이터 시각화)2. Data Mining : 통계 / ML Algorithm을 사용하며, 데이터로부터 가치 있는 정보를 찾는다. 그렇다면 왜 Big Data가 정착되었는가에 대해서부터 설명하고자 한다. 1. 분산 시스템에 의한 데이터 처리의 고속화빅데이터 라는 단어가 자주 등장하게 된 이유이다. 빅데이터가 취급이 어렵다는 이야기를 많이 듣고 실제로도 그렇다. 이유는 무엇일까? 1. 데이터의 분석 방법을 모름2. 데이터 처리에 수고와 시간이 걸림 두 가지 이유가 존재하는데, 두 번째 이유에 ..

  • format_list_bulleted Data Engineer
  • · 2024. 12. 19.
  • textsms
일반적인 데이터 파이프라인 패턴

일반적인 데이터 파이프라인 패턴

ETL과 ELTData Warehousing 에 뿌리를 두고 있는 이 두 패턴은 모두 데이터 웨어하우스에 데이터를 공급하고 분석가나 보고 도구가 이를 유용하게 쓸 수 있게 하는 데이터 처리에 대한 접근 방식임.차이점은 마지막 두 단계 (Transform & Load) 의 순서임. Extract : 로드 및 변환을 준비하기 위해 다양한 소스에서 데이터를 수집Load : 원본 데이터 (ELT) 또는 완전히 변환된 데이터 (ETL)를 최종 대상으로 가져온다. 어느 쪽이든 최종 결과는 데이터 웨어하우스, 데이터 레이크 또는 기타 대상에 데이터를 로드하는 것,,Transform : 분석가, 시각화 도구 또는 파이프라인이 제공하는 모든 사용 사례에 유용하게 쓸 수 있게 각 소스 시스템의 원본 데이터를 결합하고 형식..

  • format_list_bulleted Data Engineer/Data PipeLine
  • · 2024. 11. 20.
  • textsms
  • navigate_before
  • 1
  • navigate_next
공지사항
전체 카테고리
  • 분류 전체보기 (58)
    • Bootcamp (9)
    • Java (5)
    • Algorithm (9)
    • Git (2)
    • Data Engineer (21)
      • Data PipeLine (3)
      • AI (11)
      • SQLD (4)
    • Python (1)
    • Front-end (0)
      • React (0)
    • Back-end (10)
      • Django (5)
      • Spring-boot (5)
    • Network (1)
최근 글
인기 글
최근 댓글
태그
  • #ai
  • #코드트리조별과제
  • #data engineer
  • #티스토리챌린지
  • #오블완
  • #deep learning
  • #pytorch
  • #데이터 파이프라인 핵심 가이드
  • #코드트리
  • #코딩테스트
전체 방문자
오늘
어제
전체
Copyright © 쭈미로운 생활 All rights reserved.
Designed by JJuum

티스토리툴바