전체 글 검색 결과
106 개의 검색 결과가 있습니다.
프로젝트 기록/논문 정리 웹

개발 리뷰 -1- 기능 설정

#0 개발 배경LLM 관련 기술에 흥미가 있다보니 조금씩 기술에 대해서 찾아보고 있는데, 필연적으로 논문을 많이 참고해야했다.GPT를 사용해서 번역을 부탁할 때도 있고, 요약을 부탁할 때도 있는데이 결과를 저장하지 않으면 다음에 또 찾아야하는 불편함이 있었다. 따라서 자신이 보기 위한 논문을 정리하는 웹을 개발해서 일단 내가 써보고괜찮으면 배포까지 해볼 생각에 시작하게 되었다. #1 기능 설정1. 사용자일단 혼자서 사용하는 것이 일차적인 목표이니, 기초적인 부분만 구현한다.Django로 구현하게 되면 프레임워크에서 제공해주는 기초적인 부분으로만 빠르게 구현1) 회원가입2) 로그인3) 토큰 방식 인증4) 세션 관리 2. 논문 저장내가 요약하거나 번역, 또는 정리해둔 논문을 저장하는 페이지.사람들에게 공개 ..

2024. 12. 10. 15:58
데이터분석/캐글

NLP1: Spooky Author Identification

#0 위치https://www.kaggle.com/c/spooky-author-identification#1 문제의 이해1. Spooky Author Identification공포(으스스한) 소설 작가들의 분류 문제이다. Share code and discuss insights to identify horror authors from their writings코드를 공유하고 인사이트에 대해 토의하기, 공포 작가들을 그들의 글 작품으로 분류하기 위해. 2. Description마치 공포 소설처럼 설명해두었다. As I scurried across the candlelit chamber, manuscripts in hand, I thought I'd made it. Nothing would be able t..

2024. 11. 11. 13:35
데이터분석/캐글

Must-have 캐글: 2부 7장 이진분류

#0 개요대회의 목적은 범주형 피쳐 23개를 활용해 해당 데이터가 타깃값 1에 속할 확률을 예측하는 것,또한 특이점이 세가지 있음1) 인위적으로 만든 데이터를 사용.2) 각 피처와 타깃값의 의미를 알 수 없음. 즉 배경 지식등으로 유추가 불가능. 따라서 순전히 데이터만 보고 접근해야함.3) 제공되는 데이터가 모두 범주형임. 타깃값도 범주형이면서 동시에 두개만 있으니 이진분류에 속함. 목표: 범주형 데이터 인코딩 방법을 숙달 #1 페이지 별 정리p241EDA 순서도캐글 환경설정 > 데이터 둘러보고 피쳐 요약본 생성 > 데이터 시각화(타깃값 분포, 이진/명목형/순서형/날짜 피처 분포) > 분석 정리 및 모델링 전략 p242 인덱스 지정하는 index_col = 'id'import pandas as pddat..

2024. 9. 29. 00:58
데이터분석/캐글

Must-have 캐글: 2부 6장-자전거 대여 수요 예측 (2)

#4 모델링1. 베이스 라인 모델 (p211)뼈대가 되는 가장 기본적인 모델로,  2. 모델 평가시 피처 엔지니어링에서 데이터데이터를 변환하는게 피처 엔지니어링인데, 이 때 훈련 데이터와 테스트 데이터에 공통으로 반영해야하기 때문에,피처 엔지니어링 전에 두 데이터를 합쳤다가 다 끝나면 도로 나누는 과정 필요(212p - 그림) p216 합쳤다가 피쳐엔지니어링하고 다시 나누기까지import pandas as pdfrom datetime import datetimedata_path = "/kaggle/input/bike-sharing-demand/"train = pd.read_csv(data_path + "train.csv")test = pd.read_csv(data_path + "test.csv")subm..

2024. 9. 23. 01:02
데이터분석/캐글

Must-have 캐글: 2부 6장-자전거 대여 수요 예측 (1)

#0 개요1. 사용 라이브러리numpypandasseabornmatplotlibsklearndatetime, calendar [작성 위치]https://www.kaggle.com/code/imjh99/notebooka8aee6dae3/edit#1 해당 경진대회 개요 (p169)1. 서울시 따릉이와 비슷한 자전거 대여 시스템 2. 플레이 그라운드 난이도 (낮음) 3. 피처 (독립변수) 는 대여날짜, 시간, 요일, 계절, 날씨, 실제 온도, 체감 온도, 습도, 풍속, 회원 여부. 4. 예측할 값이 범주형 데이터가 아니므로 본 대회는 회귀 문제에 속함.회귀란?자연현상이나 사회 현사에서 변수 사이에 관계가 있는 경우, 이를 추론하는 과정.독립 변수와 종속 변수 사이의 관계. 이때 종속 변수가 수치형 데이터야 관..

2024. 9. 22. 01:43
데이터분석/캐글

Must-have 캐글: 1부-3, 4장 캐글 프로세스, 시각화

#0 개요3장은 문제 해결 프로세스를4장은 EDA 단계에서 기본적인 시각화를 다룬다. #3장 문제 해결 프로세스 및 체크리스트p66: 일반적으로 정형 데이터에는 머신러닝이,  비정형 데이터에는 딥러닝이 활용된다.p68 머신러닝 문제해결 프로세스 표p69 머신러닝 문제해결 체크리스트  p72 딥러닝 문제해결 프로세스 표  p74 딥러닝 문제해결 체크리스트 #4장 주요 시각화 그래프p78 수치형 데이터 = 사칙연산이 가능한 데이터. 숫자 데이터라고 다 수치형 데이터 아님.우편번호 같은 건 사칙연산이 불가능하고, 범주형 데이터에 속한다. p81~ 수치형 데이터 시각화:histplot() : 히스토그램kdeplot() : 커널밀도추정 함수 그래프displot() : 분포도rugplot() : 러그플롯  p88~..

2024. 9. 18. 13:20