Python 개발 환경

상용 파이썬 재배포판일관된 환경 사용그 중에서도, Anaconda 자주 사용AnacondaConda 라는 Package 관리자 존재수많은 수학 / 과학 Binary가 미리 Compile 되어 제공Buildout 같은 역할Buildout 이란?레시피를 만들고 작성할 수 있는 Framework이다. 여기서 레시피란 임의의 코드를 포함하는 Python Module 이라고 생각하면 좋다.예를 들어, Dictionary를 생성하고 Source code를 Checkout & build, 그리고 프로젝트에 Python이 아닌 파트를 추가하는 시스템 호출을 수행한다. Checkout : 버전 관리 시스템 ( ex> git) 에서 사용하는 용어로, 특정 버전의 소스 코드를 가져오는 작업을 한다. Build : Sourc..

• format_list_bulleted Python
• · 2024. 12. 22.
• textsms

빅데이터의 기초 지식

데이터 분석에서 80%의 시간이 데이터를 준비하는 데 소요됨,, 데이터를 이용하는 목적은 다양하다. 1. Business Intelligence (BI) : 경영상의 의사결정에 도움이 됨. Data Discovery (데이터 시각화)2. Data Mining : 통계 / ML Algorithm을 사용하며, 데이터로부터 가치 있는 정보를 찾는다. 그렇다면 왜 Big Data가 정착되었는가에 대해서부터 설명하고자 한다. 1. 분산 시스템에 의한 데이터 처리의 고속화빅데이터 라는 단어가 자주 등장하게 된 이유이다. 빅데이터가 취급이 어렵다는 이야기를 많이 듣고 실제로도 그렇다. 이유는 무엇일까? 1. 데이터의 분석 방법을 모름2. 데이터 처리에 수고와 시간이 걸림 두 가지 이유가 존재하는데, 두 번째 이유에 ..

• format_list_bulleted Data Engineer
• · 2024. 12. 19.
• textsms

Docker란?

DockerGo 언어로 작성된 Linux container 기반으로 하는 오픈 소스 가상화 플랫폼Docker 0.9 이상부터는 직접 개발한 libcontainer container 사용함 그렇다면 가상화를 왜?컴퓨터의 성능을 더욱 효율적으로 사용하기 위해서 등장하였고, 사용하게 되었음. Container란?가상화 기술 중 하나로 대표적으로 LXC(Linux Container) 가 있음. VM (Virtual Machine) 보안적 측면에서 유리하고, 완벽하게 Host OS와의 분리가 가능함. 하지만, Host OS의 메모리를 잡아먹는다는 단점이 있음. Docker 가상화 플랫폼 Docker Engine 위에 Application 실행에 필요한 Binary만 올라가게 됨.  장점Host 커널을 공유하는 데..

• format_list_bulleted Data Engineer
• · 2024. 11. 28.
• textsms

FastAPI Post & Async Function

FastAPI Post 에 대해 알아보기 전에, HTTP Get 과 Post의 차이점에 대해서 우선 언급하고자 한다. HTTP Get 과 Post의 차이Get 과 Post 둘 다 HTTP 방법이며, 둘 다 브라우저가 서버에 "요청" 하는 행위이다. Get Server 에서 Data를 받아오기 위해 자주 활용요청할 때 데이터 전송 시 URL 주소 끝에 Parameter Value로 전송되며 이를 Query String 이라고 함Ex) https://devidas.tistory.com/640?name=김병찬 과 같이 제공하는 것HTTP Body에 담아서 전송하지 않음PostResource를 Create/Update 하도록 설계된 방법필요 데이터를 HTTP Body에 담아 전송하므로 URL로 데이터가 노출되지..

• format_list_bulleted Data Engineer
• · 2024. 11. 24.
• textsms

FastAPI 시작하기

Deep Learning Model 을 Back-end Server에 배포하기 위해 FastAPI를 알아보기 시작했다.FastAPI란? FastAPI는 공식 홈페이지에는 이렇게 적혀있다."현대적이고 빠르며 (고성능), Python 표준 타입에 기초한 Python 3.6+의 API를 Build 하기 위한 Web Framework"즉, FastAPI 라는 것은 Python 3.6+ version 에서 API를 Bulid 하기 위한 web framework 라는 것이고 빠르다는 것이 주요 장점이라고 할 수 있다. 공식 홈페이지에 나온 주요 특징들을 보면 이렇다.빠름 : Nodejs 및 Go 와 대등할 정도로 매우 높은 성능빠른 코드 작성 : 개발 속도 증가적은 버그직관적 쉽고 짧은 코드표준 기반 : OpenA..

• format_list_bulleted Data Engineer/AI
• · 2024. 11. 23.
• textsms

DeepFace Recognition

Face Recognition System대부분의 사진이 얼굴에만 있지 않아서 face detection 을 통해 얼굴만 crop 함face alignment 로 정면을 보게 위치를 조절Augmentation 효과를 주는 Face Preprocessing 과정을 거쳐 모델 Input 으로 들어감Train 과정에서는 CNN Network를 통해 얼굴의 Feature 를 뽑고 task 에 맞는 loss를 학습한다.  Closed-set Face DetectionFace detection은 Closed-set 과 Open-set 으로 나뉘어짐. Closed-set 은 train-set 에 test-set label 이 포함되어 있는 경우로 특정 회사 얼굴 인식을 생각하면 됨. Deep Learning 에서 C..

• format_list_bulleted Data Engineer/AI
• · 2024. 11. 22.
• textsms