01. 나의 첫 머신러닝 인공지능과 머신러닝, 딥러닝 코랩과 주피터 노트북 마켓과 머신러닝 02. 데이터 다루기 훈련 세트와 테스트 세트 데이터 전처리 03. 회귀 알고리즘과 모델 규제 k-최근접 이웃 회귀 선형 회귀 특성 공학과 규제 04. 다양한 분류 알고리즘 로지스틱 회귀 확률적 경사 하강법 05. 트리 알고리즘 결정 트리 교차 검증과 그리드 서치 트리의 앙상블 06. 비지도 학습 군집 알고리즘 k-평균 주성분 분석 07. 딥러닝을 시작합니다 인공 신경망 심층 신경망 신경망 모델 훈련 08. 이미지를 위한 인공 신경망 합성공 신경망의 구성 요소 합성곱 신경망을 사용한 이미지 분류 합성곱 신경망의 시각화 09. 텍스트를 위한 인공 신경망 순차 데이터와 순환 신경망 순환 신경망으로 IMDB 리뷰 분류하..
나의 데이터 EDA (Exploratory Data Analysis, 탐색적 데이터 분석) 데이터 전처리 필요한 패키지 설치 데이터 읽어오기 유저 별점 테이블에 영화 정보와 장르 정보를 이너 조인으로 붙이기 유저 1001번의 별점 정보 살펴보기 나와 친구들의 데이터 EDA 나와 친구의 같은 취향 살펴보기 나와 친구의 다른 취향 살펴보기 Lasso 하이퍼파라미터 튜닝 하이퍼파라미터 튜닝 방법 Manual Search 사용자가 직관 또는 대중적으로 알려진 노하우에 의존하여 파라미터 값을 직접 넣어보며 가장 높은 성능을 발휘했던 하이퍼파라미터 값을 선정하는 방법 Grid Search 탐색의 대상이 되는 특정 구간 내의 후보 하이퍼파라미터 값들을 일정한 간격을 두고 선정하여, 이를 각각에 대하여 측정한 성능 결..
아이디어 설명 Linear Model로 유저 프로필 구성 선형 회귀 모델을 사용해 각 유저 별 특징을 가장 잘 나타내는 선형 회귀 직선을 찾도록 함 예) '조'의 정직한 후보 y = 3.5 + (0.5 * 1) + (-1 * 0) + (1.2 * 0) = 4라고 한다면 → 실제는 3.5이므로 에러는 0.5 스릴러를 좋아하지 않는다면, β2는 음의 계수 값을 가질 것으로 예상됨 이후 각 에러값을 제곱하고 평균을 내서 조의 MSE를 구하게 되고, 이 절편과 계수들이 조를 잘 판단하는지 조정하여 최적의 값을 찾음 선형 회귀 모델은 MSE가 최소값이 되는 절편과 계수를 찾며 이를 유저 프로필로 사용 Linear Model이란? x를 가지고 y를 잘 설명하는 직선을 그리는 것 최소자승법 1. 각각의 점으로부터 직..
아이디어 설명 유저 프로필 구성 장르별 평균으로 어떤 유저가 어떤 장르를 얼마나 좋아하는지에 대한 각 유저의 프로필 만들기 유저의 평점과, 유저가 평점을 준 영화들의 아이템 프로필을 사용해서 계산함 예) 조의 유저 프로필 코미디 : (3.5) / 1 = 3.5 스릴러 : (5.0 + 1.0) / 2 = 3.0 액션 : (4.5 + 4.0 + 1.0) / 3 = 3.17 영화 평점 예측 각 유저의 유저 프로필을 가지고 새로운 영화에 대한 평점 예측하기 예) 조의 '기생충' 예상 평점 (3.5 * 1) + (3.0 * 1) + (3.17 * 0) / (1 + 1 + 0) = 3.25 예) 베스의 '기생충' 예상 평점 (4.0 * 1) + (1.0 * 1 ) + (2.0 * 0) / (1 + 1 + 0) = ..
권총 탐지 모델 YOLOv5 모델 다운로드 권총 데이터셋 다운로드 테스트 데이터를 분리해 검증용 데이터 생성 데이터셋 이미지 경로들을 yaml 파일로 생성 학습 배치 크기, 학습 기간, 모델 구성, 가중치 등을 정의하여 학습 텐서보드를 통해 학습 진행 확인 추론 가장 수치가 좋았던 가중치 파일 모델을 이용해 테스트 이미지 추론 모델 내보내기 가장 수치가 좋았던 가중치 파일 모델을 구글 드라이브로 내보내기 학습된 모델을 이용해서 영상에 있는 총을 인식하기 저장된 모델을 사용해 동영상 파일 경로를 source로 정의하여 총 인식 합성 과일 탐지 모델 YOLOv5 모델 다운로드 합성 과일 데이터셋 다운로드 학습 배치 크기, 학습 기간, 모델 구성, 가중치 등을 정의하여 학습 추론 가장 수치가 좋았던 가중치 파..
다양한 탐지 모델 특정 목적에 필요한 데이터와 레이블에 대해서만 학습하도록 함 포트홀 탐지 모델 YOLOv5 모델 다운로드 포트홀 데이터셋 다운로드 데이터셋 이미지 경로들을 yaml 파일로 생성 text처럼 사용할 수 있도록 함수 정의 모델 구성 클래스 수를 1개(pothole)로 줄여 새롭게 모델 정의 학습 배치 크기, 학습 기간, 모델 구성, 가중치 등을 정의하여 학습 텐서보드를 통해 학습 진행 확인 검증 가장 수치가 좋았던 가중치 파일 모델을 이용해 검증 데이터와 테스트 데이터에 대해 검증 수행 추론 가장 수치가 좋았던 가중치 파일 모델을 이용해 테스트 이미지 추론 모델 내보내기 가장 수치가 좋았던 가중치 파일 모델을 구글 드라이브로 내보내기 연기 탐지 모델 YOLOv5 모델 다운로드 연기 데이터셋..
평가 지표 RMSE RMSE 모델을 평가하기 위한 평가 매트릭 error 영화 실제 평점 데이터와 영화 예측 평점 데이터의 차이 squared error +와 -가 상쇄되는 것을 막기 위해 모든 에러를 제곱해준 것 mse 에러의 평균인 mean squared error rmse 제곱이 아닌 원래대로 돌려주기 위해 루트를 사용한 에러의 평균인 root mean squared error 사이킷런의 mean_squared_error 편리하게 계산 가능 학습 데이터와 평가 데이터 학습 데이터 모델을 훈련하는 데이터 평가 데이터 모델의 성능을 테스트하는 데이터 사이킷런의 train_test_split 모델을 훈련하는 데이터와 성능을 테스트하는 데이터를 분리 가장 간단한 예측하기 모두 0.5점으로 예측하기 0.5 ..
정규표현식으로 문자열 다루기 정규표현식 내가 필요한 정보들만 매칭하는 일 Pandas의 lambda와 apply 함수 lambda 함수를 만드는 다른 방법 중 하나 익명의 함수 apply for문의 기능을 대신 apply(함수)에서 미리 정의해둔 함수뿐만 아니라 lambda 함수로도 써줄 수 있음 Pandas의 loc 정확하게 사용하기 loc (location) 행과 열의 데이터를 조회하거나 인덱싱하는 방법 String 값만 뽑아오도록 하거나 컬럼 정보만 뽑아오도록 할 수 있음 참고 자료 및 코드 더보기 [개념부터 실습까지] 추천 시스템 입문편 https://inf.run/keFz [추천 시스템 입문편] 정규표현식으로 문자열 다루기 https://github.com/GaGa-Kim/ML_Study/blo..
