[Week 7] Day 1 - TIL

📝 Topics

- Pandas

- Anaconda

 

✏️ 데이터 분석

데이터 분석은 아래의 4가지 과정으로 이루어진다.

1. Data Preprocessing

데이터 분석 및 처리 과정에서 가장 중요한 단계로서, 데이터를 분석 및 처리에 적합한 형태로 만드는 과정을 말한다.

데이터 전처리 단계는 아래와 같은 순서대로 진행된다.데이터 수집 -> 데이터 정제 -> 데이터 통합 -> 데이터 축소 -> 데이터 변환

 

데이터 전처리를 예로 들자면 중복값 제거, 결측값 보정, 데이터 연계/통합, 노이즈 제거, 데이터 구조 변경, outlier detection, feature engineering 등이 존재한다.

 

2. Data Analysis - visualization

가공된 데이터를 바탕으로 유용한 인사이트를 도출하는 것을 데이터 분석이라고 하고

분석된 데이터를 한 눈에 알아보기 쉽게 보여주기 위하여 데이터를 시각화한다.

 

Insight
데이터 분석에서의 인사이트는 총 3가지가 존재한다.
첫번째로 원인 - 결과 인과관계를 명확하게 파악할 수 있는 인과추론 통찰에 대한 인사이트와
두번째로 통계적 지식을 가지고 해석하여 결과에 대한 신뢰성을 높일 수 있는 통계적 통찰에 대한 인사이트.
마지막으로 결과로부터 올바른 결론을 도출하고 문제를 해결하는 인사이트가 존재한다.

 

3. Data mining

대용량 데이터베이스에 존재하는 데이터 간의 관계, 패턴, 규칙을 찾아내어 유용한 정보로 변환하는 과정을 말한다.

 

4. Data modeling

정보 시스템 구축의 대상이 되는 업무 내용을 분석하고 이해하여 약속된 표기법에 의해 모델을 만들어 표현하는 것을 말한다.

 

Pandas

• 개발 환경

Google이 제공하는 클라우드 기반 Jupyter Notebook 환경을 Google colab 이라고 하는데, Python code를 작성하여 실행 가능하고 ML, DL, Data Analysis 등의 작업을 수행하기 좋다. 이번 실습에서는 이 Google colab 환경에서 데이터 분석 실습을 진행한다.

 

Cell : 코드를 실행시키거나 설명 텍스트를 작성하는 block

Code cell	Text cell
Crtl / Shift / Alt + Enter 통해 실행 가능 Ctrl + Enter : 실행 후 키보드 커서가 셀 내 그대로 Shift + Enter : 실행 후 키보드 커서가 다음 셀로 Alt + Enter : 실행 후 새 code cell 생성, 키보드 커서가 다음 cell	입력 문법을 Markdown 문법에 따름

 

 

 

• 필요 모듈 참조

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

 

numpy는 인공지능, 데이터 분석에서 많이 사용되는 모듈이다. matplotlib는 데이터 시각화에서 사용되는 모듈인데, 요즘은 seaborn을 더 많이 사용한다고 한다.

 

• Colab 사용

1. Notebook 환경에서는 마지막의 return 값이 출력 값으로 사용됨

 

Google colab은 하나의 sell이 colab에서 실행할 수 있는 최소 단위인데, 그 sell 안에 존재하는 코드를 한꺼번에 실행한 후 결과로 나타낸다. 그 sell에서 마지막 return 값이 화면으로 출력되는 것이다. 

 

2. Google colab에서 chart를 추천해주는 option이 존재한다.

 

Python Pandas 모듈을 사용하고 데이터를 load하여 df라는 variable name으로 지정한 것이다. 위에서 말했듯이 마지막 return 값이 화면으로 출력되므로 df라는 dataframe이 출력되고 있다. 거기서 "Suggest charts" 라는 Option이 존재하는데, Google colab에서 추천해주는 각종 시각화된 차트들을 보여준다.

 

• 대용량 데이터를 다룰 때 주의할 점

마지막 줄에 보면 memory usage 라고 적혀 있는데, 대용량 데이터를 다룰 때에는 메모리의 크기를 주의하여 사용해야 한다. 위 데이터는 작은 데이터 용량을 가지고 있어서 분석하는 데 어려움이 없지만, 큰 데이터를 사용할 때에는 주의해야 할 점이 많으므로 항상 생각하여야 한다.

 

3. 한글 폰트 이슈 해결

 

google colab은 한글 폰트를 지원하지 않기 때문에, 한글이 들어간 데이터를 사용하기 위해서는 이 문제를 해결하여야 한다. 이 문제 해결 방법은 두 가지가 존재하는데, Local에서 해결하는 방법과 colab 내부에서 해결하는 방법이 존재한다.

# 한글 폰트 이슈 해결 - 로컬
import os
import matplotlib.pyplot as plt
if os.name == "posix" :
    plt.rc("font", family = "AppleGothic")
else:
  plt.rc("font", family = "Malgun Gothic")
  
 # 한글 이슈 해결 - Colab
!sudo apt-get install -y fonts-nanum
!sudo fc-cache -fv
!rm ~/.cache/matplotlib -rf

 

 

• File 함수

파일을 읽고 쓸 수 있는 함수들이 Pandas에 존재한다. R에 대한 지식이 있는데, R과 비슷한 부분이 있는 것이 R에서도 이러한 함수가 존재한다. 대표적인 몇 개의 함수만 짚고 넘어가겠다.

함수	설명	Option
pandas.read_csv
pandas.read_table
pandas.read_excel	.xlsx 파일을 읽는 함수

 

여기서 특징을 하나 살펴보자면 pandas에서 file을 읽고 난 후 반환값은 반드시 dataframe 으로 된다는 것이다.

 

 

 

• Dataframe - Series

Dataframe은 2차원 자료 형태이고, 표 형태로 출력된다.  Series는 1차원 자료 형태이고 표 형태가 아닌 .