SQL 기본

관계형 데이터베이스 개요DB데이터들을 저장하는 공간용도와 목적에 맞는 데이터들끼리 모아서 저장 관계형 데이터베이스 (Relational DB)관계형 데이터 모델에 기초를 둔 DB모든 데이터를 2차원 테이블 형태로 표현한 뒤 각 테이블 간의 관계 정의RDBMS (Relational DB Management System) : RDB를 관리, 감독하기 위한 시스템 -> Oracle, SQL Server, MySQL, MariaDB, PostgreSQL 등이 이에 속함.TABLE엑셀을 작성할 때 흔히 이용하는 표 형식Row : 각각의 가로 행Col : 세로 열로, 속성이라고도 표현한다. 관계형 데이터베이스의 기본 단위이고 DB는 여러 개의 테이블로 구성된다.TABLE 형태로 데이터를 저장하는 주된 목적은 데이터..

• format_list_bulleted Data Engineer/SQLD
• · 2024. 11. 13.
• textsms

AI - DL

Deep Learning 머신러닝딥러닝활용 데이터 형태정형 데이터비정형 데이터데이터 의존도데이터가 적어도, 적정 수준의 성능 확보 가능데이터가 적으면, 성능이 좋지 않음하드웨어 의존도저사양 하드웨어에서 실행 가능고사양 하드웨어(GPU) 필요설명력회귀분석, 의사결정 나무 등 설명력이 강점인 방법론이 있음모델 내부 연산 논리에 대해 추론이 어려움문제 해결 방법분석가가 임의로 문제를 여러 단계로 나누어 해결End-to-End 방식으로 입력부터 출력까지 분석가의 개입 없이 가능특징(Feature) 추출도메인 지식 또는 분석가의 의견이 반영되어 생성(Feature Engineering)딥러닝 네트워크 내부에서 스스로 학습(Feature Extraction) 비정형 데이터의 경우 일반적으로 높은 차원의 형태차원이 ..

• format_list_bulleted Data Engineer/AI
• · 2024. 11. 12.
• textsms

AI - ChatGPT API (Day 2)

API 사용 요금API (Application Programming Interface : Software Application 구축하고 상호 작용하기 위한 규칙과 프로토콜의 집합개발자는 API를 사용하여 OpenAI 서버로 일련의 메시지를 보내고, 서버는 모델에서 생성된 메시지를 응답으로 반환OpenAI에서 제공하는 언어 모델마다 별도의 요금 정책이 존재GPT-4가장 우수한 성능을 가진 모델 (현재는 기본 모델)GPT-4o, GPT-4o-mini 라는 모델이 새로 등장첫 번째 GPT-4 모델최대 8,192개의 토큰 처리 가능GPT-3.5의 두 배 처리 능력두 번째 GPT-4 모델 (gpt-4-32k)최대 32,768개의 토큰 처리 가능세 번째 GPT-4 모델 (gpt-4-turbo)유일하게 2023년 4..

• format_list_bulleted Data Engineer/AI
• · 2024. 11. 11.
• textsms

AI - ChatGPT API (Day 1)

ChatGPT란?OpenAI 에서 개발한 대화형 인공지능 챗봇GPT : Generative Pre-trained TransformerChatGPT 활용 방법다양한 장르의 콘텐츠 작성프로그래밍 도우미번역과 문체 바꿔쓰기텍스트 요약하기정보 또는 설명 요청하기아이디어 얻기마케팅 준비 ChatGPT 한계점1️⃣ 실시간 학습 능력이 없음영구적으로 기억하는 학습과는 다르게 이전 대화들을 고려하는 In-context learning 방법 사용2️⃣ ChatGPT가 알고 있는 지식의 기간은 2021년까지2021년 이후의 사건 및 업데이트는 반영되지 않았음2022년 이후에 일어난 사건과 관련된 정보를 찾아보면 잘못된 정보를 대답할 가능성이 높음3️⃣ ChatGPT는 정보를 검색하지 않음충분히 검증할 수 없는 상황이라면 ..

• format_list_bulleted Data Engineer/AI
• · 2024. 11. 10.
• textsms

데이터 모델과 SQL

Normalization데이터 정합성 (데이터의 정확성과 일관성을 유지하고 보장)을 위해 Entity를 작은 단위로 분리하는 과정모든 Entity를 무작정 분리하면 안되고 일정한 Rule 존재데이터의 입력, 수정, 삭제 성능은 향상되나 조회 성능은 떨어질 수 있음1️⃣ 제1정규형모든 속성은 반드시 하나의 값만 가져야 함하나의 속성이 다중값을 가지는 경우 Application 에서 데이터를 꺼내 쓸 때 불필요한 split 사용 -> 공간 낭비2️⃣ 제2정규형Entity의 모든 일반속성은 반드시 모든 주식별자에 종속되어야 함3️⃣ 제3정규형주식별자가 아닌 모든 속성 간에는 서로 종속될 수 없음‼️ 주의사항지나친 정규화는 오히려 성능 저하를 일으킬 수 있으므로 주의! ("적당히")De-Normalization..

• format_list_bulleted Data Engineer/SQLD
• · 2024. 11. 9.
• textsms

Data PipeLine 이란?

Data PipeLine 소개데이터 파이프라인 : 다양한 소스에서 새로운 가치를 얻을 수 있는 대상으로 데이터를 옮기고 변환하는 일련의 과정으로 분석, 리포팅, 머신러닝 능력의 기초가장 단순한 형태는 REST API처럼 단일 소스에서 데이터를 추출하고 데이터 웨어하우스의 SQL Table과 같은 대상으로 데이터를 로드하는 것실제는 일반적으로 데이터 추출, 데이터 가공, 데이터 유효성 검사를 포함한 여러 단계로 구성 우수한 데이터 엔지니어가 보유하고 있는 공통적인 기술데이터 엔지니어는 분석 생태계를 뒷받침하는 데이터 파이프라인을 구축하고, 유지관리데이터 엔지니어의 목적은 데이터 과학자 및 분석가와 긴밀히 협력하여 데이터를 어떻게 처리해야 하는지 파악하고 요구사항을 확장 가능한 프로덕션 상태로 전환하는데 도..

• format_list_bulleted Data Engineer/Data PipeLine
• · 2024. 11. 6.
• textsms