[Week 8] Day 1 - TIL

📋 Topics

• 데이터 분석 이유
• 데이터 분석 프로세스
• 정규화와 스케일링

 

🤔 데이터 분석 이유

 

Amazon, Alphabet, Facebook, Netfix은 제조업이 아닌 서비스 기업인데, 이들은 "데이터를 이용한 가치"를 판매하여서 수익을 창출함.

 

따라서, 데이터 분석을 기반한 사업, 의사 결정은 수많은 성공 사례를 이 데이터를 통하여 보여주고 있음.

 

• So, 데이터 분석이란?

데이터를 통해 "인사이트"를 만들어내는 작업을 데이터 분석이라고 한다. 여기서 인사이트에 대한 설명은 7주차 Day 1에 기재했으므로 설명은 생략한다.

https://devidas.tistory.com/2

[Week 7] Day 1 - TIL

 

말하자는 것은 의사 결정의 판단 기준이 "객관적인 데이터"를 통해 이루어진다는 점이다.

하지만, 데이터 분석은 수단일 뿐 문제 해결이 본질이므로 본질을 잊지 않고 데이터를 분석하는 것이 중요하다.

 

📖 데이터 분석 프로세스

1. 문제 정의

자신 또는 조직이 해결하고자 하는 문제를 명확히 정의하는 것

큰 문제를 작은 단위의 문제들로 나눈 후에 그 문제들에 대한 가설을 세워 데이터 분석을 통해 가설을 검증하는 형태로 결론을 도출하거나 피드백을 반영함

 

So, 중요한 것은 궁극적으로 해결하고자 하는 문제에 대한 정의가 중요하고, 문제의 원인과 판단 지표와 기준에 대한 것들을 정의하는 것이 데이터 분석 프로세스에서 우선적으로 고려해야 할 사항임.

 

예를 들어, 인구 문제를 예시로 들면 문제 정의에 따라서 풀어가는 방향이 바뀔 수 있음을 생각하여야 함.

Inflation  ⬅️  공급자 비용 증가 ⬅️ 노동시장 비용 증가 ⬅️ 노동 인구 부족 ⬅️ 인구 감소 ⬅️ 저출산 및 인구 유출

이라고 한다면, 원인을 찾을 때 메타 인지 관점에서 문제 정의에 대한 충분한 고민이 필요함.

여기서 이러한 연결 고리들을 가설로 세우고 그것을 증명하는 것이 데이터 분석 기법 중 하나임.

 

 

2. 데이터 수집

문제 정의 과정에서 검증해보고자 하는 가설을 해결해 줄 데이터를 수집함.

데이터를 수집할 때, 데이터로부터 얻고자 하는 정보를 명확히 판단하고, 지표가 적절한지를 체크하여야 함.

 

3. 데이터 전처리

• 데이터 추출, Filtering, Grouping, Join 등 데이터 분석을 위한 기본적인 테이블을 만드는 단계
• Table, Column name, 처리/집계 기준, Join 시 데이터 증식 방지
• 이상치 제거, 분포 변환, 표준화, 카테고리화, 차원 축소

수집한 데이터를 데이터 분석에 용이한 형태로 만드는 과정

 

4. 데이터 분석

• 탐색적 데이터 분석 (EDA)

그룹별 평균, 합 등 기술적 통계치 확인, 분포 확인, 변수 간 관계 및 영향력 파악, 데이터 시각화

 

•  Modeling (Machine Learning, Deep Learning)

Classification (categorical label)	주어진 데이터를 정해진 Label에 따라 분류 (관심사의 대상이 종류별로 나눠질 때 사용)
Regression (numerical label)	데이터들의 Feature를 기준으로 연속된 값을 예측하는 문제로 Pattern, Trend, Tendency를 파악할 때 사용 (연속적으로 수치화하는 대상일 때 사용)
Clustering (Unsupervised learning)	Pattern space에 주어진 유한 개의 패턴들이 서로 가깝게 모여서 무리를 이루고 있는 패턴 집합을 cluster 라고 하고, 무리 지어 나가는 과정을 Clustering 이라고 함. (변수 간 아무런 지식을 가지고 있지 않을 때 사용)

 

5. Reporting / Feedback

1) 내용의 초점은 상대방에 맞추어 작성

• 상대가 이해할 수 있는 언어 사용
• 목적 수시로 상기 후 재확인

2) 적절한 시각화 방법 활용

• 항목 간 비교시 원 그래프 지양하고 막대 그래프 위주 사용, x, y축 및 단위 주의 (Scaling check)
• 시계열 데이터(시간에 따라 움직이는 데이터)는 Line이나 실선으로 표현
• 분포는 histogram 또는 boxplot으로 표현
• 변수 간 관계는 scatter plot 표현

😊 Normalization and Scaling

Normalization 필요 이유

• Feature

데이터에서 하나의 instance (sample) 은 속성값을 이용하여 표현이 가능함. 이러한 속성값을 feature라고 함.

feature 간 크기 및 단위의 차이가 크거나 값의 범위가 크게 다른 경우나 Outlier 문제가 큰 경우 데이터 분석이 어려워지거나 ML, DL 방법을 적용하기 어려운 경우 존재

 

이때, Normalization과 Scaling을 통해 feature 값의 범위를 일정하게 맞춰주는 과정이 필요함.

 

Normalization

여러 가지 feature가 가지는 범위의 차이를 왜곡하지 않으면서 범위를 맞추는 것

 

1. Min-max normalization 

모든 feature 값이 [0, 1] 사이 위치하도록 scaling 하는 기법

feature 간의 variance pattern은 그대로 유지된 채로 scaling.

But, outlier 존재하는 경우 feature 간의 scaling이 데이터 분석에 적절하지 않을 수 있음.

 

2. Z-score normalization (standaradization)

• feature 값들이 정규 분포를 따르도록 scaling
• Outlier 문제에 상대적으로 robust
• feature 값이 가지는 최소-최대 범위 정해지지 않는 단점 존재
• 대부분의 ML 기법 활용하는 경우 input에 standardization 적용해야 하는 경우가 많음. 

3. Log scaling

Feature 값들이 exponential 한 분포 (Positive skewed) 가지는 경우 log 연산을 취하여 scaling 가능

 

• Skewness (왜도)

그래프가 한쪽으로 치우쳐져 있는 것을 왜도라고 함. Mean과 Median, Mode와의 관계성을 통해 파악 가능

꼬리가 오른쪽으로 길면 Positive Skewness, 왼쪽으로 길면 Negative Skewness 라고 함.