FastAPI Post & Async Function

FastAPI Post 에 대해 알아보기 전에, HTTP Get 과 Post의 차이점에 대해서 우선 언급하고자 한다. HTTP Get 과 Post의 차이Get 과 Post 둘 다 HTTP 방법이며, 둘 다 브라우저가 서버에 "요청" 하는 행위이다. Get Server 에서 Data를 받아오기 위해 자주 활용요청할 때 데이터 전송 시 URL 주소 끝에 Parameter Value로 전송되며 이를 Query String 이라고 함Ex) https://devidas.tistory.com/640?name=김병찬 과 같이 제공하는 것HTTP Body에 담아서 전송하지 않음PostResource를 Create/Update 하도록 설계된 방법필요 데이터를 HTTP Body에 담아 전송하므로 URL로 데이터가 노출되지..

• format_list_bulleted Data Engineer
• · 2024. 11. 24.
• textsms

FastAPI 시작하기

Deep Learning Model 을 Back-end Server에 배포하기 위해 FastAPI를 알아보기 시작했다.FastAPI란? FastAPI는 공식 홈페이지에는 이렇게 적혀있다."현대적이고 빠르며 (고성능), Python 표준 타입에 기초한 Python 3.6+의 API를 Build 하기 위한 Web Framework"즉, FastAPI 라는 것은 Python 3.6+ version 에서 API를 Bulid 하기 위한 web framework 라는 것이고 빠르다는 것이 주요 장점이라고 할 수 있다. 공식 홈페이지에 나온 주요 특징들을 보면 이렇다.빠름 : Nodejs 및 Go 와 대등할 정도로 매우 높은 성능빠른 코드 작성 : 개발 속도 증가적은 버그직관적 쉽고 짧은 코드표준 기반 : OpenA..

• format_list_bulleted Data Engineer/AI
• · 2024. 11. 23.
• textsms

DeepFace Recognition

Face Recognition System대부분의 사진이 얼굴에만 있지 않아서 face detection 을 통해 얼굴만 crop 함face alignment 로 정면을 보게 위치를 조절Augmentation 효과를 주는 Face Preprocessing 과정을 거쳐 모델 Input 으로 들어감Train 과정에서는 CNN Network를 통해 얼굴의 Feature 를 뽑고 task 에 맞는 loss를 학습한다.  Closed-set Face DetectionFace detection은 Closed-set 과 Open-set 으로 나뉘어짐. Closed-set 은 train-set 에 test-set label 이 포함되어 있는 경우로 특정 회사 얼굴 인식을 생각하면 됨. Deep Learning 에서 C..

• format_list_bulleted Data Engineer/AI
• · 2024. 11. 22.
• textsms

일반적인 데이터 파이프라인 패턴

ETL과 ELTData Warehousing 에 뿌리를 두고 있는 이 두 패턴은 모두 데이터 웨어하우스에 데이터를 공급하고 분석가나 보고 도구가 이를 유용하게 쓸 수 있게 하는 데이터 처리에 대한 접근 방식임.차이점은 마지막 두 단계 (Transform & Load) 의 순서임. Extract : 로드 및 변환을 준비하기 위해 다양한 소스에서 데이터를 수집Load : 원본 데이터 (ELT) 또는 완전히 변환된 데이터 (ETL)를 최종 대상으로 가져온다. 어느 쪽이든 최종 결과는 데이터 웨어하우스, 데이터 레이크 또는 기타 대상에 데이터를 로드하는 것,,Transform : 분석가, 시각화 도구 또는 파이프라인이 제공하는 모든 사용 사례에 유용하게 쓸 수 있게 각 소스 시스템의 원본 데이터를 결합하고 형식..

• format_list_bulleted Data Engineer/Data PipeLine
• · 2024. 11. 20.
• textsms

SQLD - SQL 활용

SubQuery하나의 쿼리 안에 존재하는 또 다른 쿼리바깥에 있는 엄마쿼리를 메인쿼리 - 안에 있는 아기쿼리를 서브쿼리위치에 따른 SubQuerySELECT 절FROM 절WHERE 절, HAVING 절Scalar SubQueryInline ViewNested SubQuery Scalar SubQuery주로 SELECT 절에 위치하지만, Column이 올 수 있는 대부분의 위치에 사용 가능반드시 하나의 값만을 반환해야 하며, 그렇지 않은 경우 에러 발생Inline ViewFROM 절 등 테이블명이 올 수 있는 위치에 사용 가능Nested SubQueryWHERE 절과 HAVING 절에 사용 가능Main Query와의 관계에 따라 나눌 수 있음Uncorrelated SubQuerycorrelated SubQ..

• format_list_bulleted Data Engineer/SQLD
• · 2024. 11. 18.
• textsms

AI - 국민청원 분류

NLP (Natural Language Processing)다양한 분야가 존재Text Classification, Sentiment Analysis, Summarization, Machine Translation, Question Answering국민청원 분류TextCNN 이라는 모델을 적용수많은 청원 글 중 주목받을 만한 글을 예측하는 것이 목적관심이 필요한 많은 사연들에 사람들의 눈길이 한 번 더 닿는 것프로젝트의 전체적인 흐름"주목받을 만한" 이라는 표현이 모호함주관적 판단을 배제할 수 있는 방법으로 Deep Learning 도입Model 을 통하여 높은 청원 참여인원을 기록한 글들의 특징을 학습하여 새로운 글이 입력되었을 때 청원 참여인원이 높은 글들과의 유사성을 계산하여 주목받을 만한 글인지 아..

• format_list_bulleted Data Engineer/AI
• · 2024. 11. 17.
• textsms