Java study Day 2 - TIL

Topics 변수 타입 변환 변수 컴퓨터 메모리(RAM)는 값을 저장할 수 있는 수많은 번지 (주소) 들로 구성되어있다. 메모리의 어디에 저장하고, 어떤 방식으로 저장할지 정해놓기 위해 변수라는 개념을 사용한다. 변수라는 것은 값을 저장할 수 있는 메모리의 특정 번지에 붙이는 이름으로, 프로그램은 변수를 통해 메모리의 특정 번지에 값을 저장하고 읽을 수 있다. 메모리의 어디에 저장하고, 어떤 방식으로 저장할지는 프로그래밍 언어와 운영체제가 정한다. Java의 경우, JVM 이 정한다. Java의 변수는 다양한 타입의 값을 저장하지 않는다 (Python 과는 다른 부분이다. C, C++과 비슷하다). 타입에 따라 변수가 들어갈 수 있는 종류가 다르고, 하나의 변수에는 하나의 값만 저장이 가능하다. 변수 선..

• format_list_bulleted Java
• · 2024. 3. 13.
• textsms

Java study Day 1 - TIL

데이터 엔지니어가 되기 위해 우선 백엔드 공부를 진행하고자 한다. 가장 처음 공부할 것은 바로 "Java" 이다. Python 이나 C, C++ 등 다양한 언어를 접해보았지만, Java 는 처음이다. 자바를 공부하고자 선정한 책은 바로 "혼자 공부하는 자바" 이다. 여기에서는 이클립스를 툴로 사용하고 있지만, 나는 Intellij 를 사용하고자 한다. 그 이유는 개발자들에게 더 많이 사용되기도 하고, 더 편리하다고 판단하기 때문이다. Topics Java Program 개발 과정 Program Source Analysis Java Program 개발 과정 자바 프로그램을 개발하기 위해서는 파일 확장명이 .java 인 텍스트 파일을 생성하고, 자바 언어로 코드를 작성하여야 한다. Java Source Fi..

• format_list_bulleted Java
• · 2024. 3. 8.
• textsms

[Week 14] Day 3 - TIL

Topics Topic modeling Topic modeling Topic : 문서 집합 안에서 논의되는 주제나 개념을 의미함. Modeling : 통계적인 방법으로 데이터의 패턴을 추출하는 과정을 의미함. 따라서, Topic modeling 은 대규모 텍스트 데이터 안에 존재하는 다양한 주제를 자동으로 식별하고 분류하는 과정으로, 이를 통해 데이터 안에 숨겨진 주제 구조를 발견하고 이해하려고 한다. 텍스트 마이닝, 자연어 처리, 정보 검색 등 다양한 분야에서 활용한다. Topic modeling 주제 토픽 모델링의 주제는 일반적으로 단어의 집합으로 표현한다. 텍스트 내의 특정 패턴이나 빈도를 기준으로 선택한다. 데이터 소스에 따라서 주제의 범위가 결정되고, 하나의 문서에 다수의 주제가 포함될 수 있다..

• format_list_bulleted Bootcamp
• · 2024. 3. 5.
• textsms

[Week 14] Day 2 - TIL

Topics Embedding Word embedding Sentence embedding Sentiment Analysis Embedding 언어라는 것은 특정 개념을 표현하기 위한 약속의 집합이다. 컴퓨터에게 인간의 언어를 입력하기 위해서는 컴퓨터가 이해할 수 있는 형태로 변경하여야 한다. 컴퓨터는 특정 단어를 숫자의 형태로 받아들이므로 단어를 숫자의 형태로 변형하는 과정이 필요한데 이 과정을 Embedding 이라고 한다. 즉, Embedding 의 정의는 다음과 같다. 텍스트 데이터 (글자) 를 벡터 (숫자) 로 변환하는 기술 자연어 처리에서 매우 기본적인 과정으로 글에서 유용한 정보를 추출해 분석하는 과정에서 컴퓨터가 이를 처리할 수 있도록 만듦 Embedding 을 진행하기 위한 과정 데이터 ..

• format_list_bulleted Bootcamp
• · 2024. 2. 28.
• textsms

[Week 14] Day 1 - TIL

Topics 텍스트 마이닝이란 텍스트 마이닝의 절차 텍스트 마이닝의 사례 텍스트 마이닝이란 텍스트 데이터 (Text data) 문자, 문장, 단어로 구성된 데이터 대규모 데이터는 매일 약 8200만 TB의 텍스트가 생성되는데, 그 중에서 text만 추출한 것 텍스트 데이터를 통해 시장 변화를 파악하고 대응하거나, 고객의 요구사항과 feedback을 파악할 수 있음 텍스트 데이터의 특징 텍스트 데이터를 구성하는 요소 (문장, 문자, 단어) 에서 단어는 주변의 단어들과 연관성이 존재하는데, 이 연관성을 이해하는 방향으로 텍스트 데이터를 처리하여야 함 텍스트 데이터를 처리하는 과정에서 어려움이 발생할 수 있음 1. 비구조적(비정형) 데이터 2. 다양성, 다의성이 존재함 3. 언어별로 고유한 특징이 존재 (문법..

• format_list_bulleted Bootcamp
• · 2024. 2. 23.
• textsms

[Week 11] Day 2 - TIL

Topics Data EDA Machine Learning Model 추론 과정 Data EDA 데이터 분석이나 모델링 전에 반드시 수행해야 하는 작업 데이터 특성을 확인 항상 깨끗한 데이터는 존재하지 않으므로 데이터 품질 측면에서는 항상 확인하여야 함 데이터를 의심하는 습관 들이기 (실제 Record check 하는 것이 가장 좋음) 데이터를 의심하는 습관 1. 중복 Record check (duplicates) 2. 최근 데이터 여부 파악 3. Primary key Uniqueness 4. 결측치 check 데이터 전처리 기법 1. 기술 통계 분석 숫자와 category 변수 파악 숫자는 숫자 범위, category 변수는 category 개수, 그리고 ML model encoding 방법을 결정 2..

• format_list_bulleted Bootcamp
• · 2024. 2. 6.
• textsms