[추천 시스템 입문편] 영화 데이터 읽고 기초 분석하기

영화 데이터 읽어오기

• 무비렌즈에서 제공하는 영화 평가 데이터 다운로드
• 다운로드 받은 데이터 파일을 구글 클라우드의 ml-latest-small 폴더에 저장
• 필요한 패키지 설치
• 데이터 읽어오기
• 데이터 저장하기

영화 메타 데이터 분석

• 개봉연도 분석
  
  
  • 개봉연도 데이터 정제하기
  • 결측값 핸들링하기
  • 결측치 채워주기
  • 데이터에 가장 많이 출현하는 개봉연도 찾기
• 개봉연도 시각화
  
  
  • 시각화 패키지 설치
  • 개봉연도에 따른 영화 갯수 시각화
• 장르 분석
  
  
  • 영화에 따른 장르 목록 분리
  • 플랫 리스트 생성
  • 중복되는 장르 제거
  • 장르 갯수 확인
• 텍스트 데이터를 숫자형으로 변환
  
  
  • 장르의 존재 여부 참거짓 설정
  • 판다스 함수로 대신하여 장르 데이터 숫자형으로 변환
  • 판다스 데이터프레임 저장
• 장르 간 관계 찾기와 시각화
  
  
  • 장르 간의 상관관계 분석
  • 상관관계 시각화

영화 평점 데이터 분석

• 기초 통계
  
  
  • 평점 데이터 배열 확인
  • 유저 데이터, 영화 데이터 갯수 확인
  • 평점 데이터 통계 확인
  • 평점 데이터 시각화
• 평점의 분포
  
  
  • 사람들이 남긴 평균 영화 평점 갯수 확인
  • 사람들이 남긴 평균 영화 평점 통계 확인
  • 사람들이 남긴 평균 영화 평점 시각화
  • 사람들이 평점을 많이 남긴 영화 갯수 확인
  • 사람들이 평점을 많이 남긴 영화 통계 확인
  • 사람들이 평점을 많이 남긴 영화 시각화
• 유저별 평점 패턴 분석
  
  
  • 평점이 많은 영화 상위 5개 확인
  • 평점이 많은 영화가 무엇인지 확인
  • 평점이 전체적으로 높은 영화의 평점 확인
  • 평점이 전체적으로 높은 영화에서 최저 평점을 준 유저의 평점 데이터 확인
  • 평점이 전체적으로 높은 영화에서 최저 평점을 준 유저의 평점 데이터 시각화
• 나의 평점 데이터 기록
  
  
  •  timestamp 컬럼 처리
  • 스프레드시트를 이용해 나의 평점 데이터 (userId, movieId, rating, timestmap) csv 파일 저장 및 업로드
    
  • 나의 평점 데이터 읽어오기
  • 나의 평점 데이터의 timestamp 컬럼 처리
  • 나의 평점 데이터 이어 붙이기
  • 데이터 저장하기

 

 

 

참고 자료 및 코드

 

[개념부터 실습까지] 추천 시스템 입문편

https://inf.run/keFz

 

영화 메타 데이터 분석

https://github.com/GaGa-Kim/ML_Study/blob/main/%EC%B6%94%EC%B2%9C%20%EC%8B%9C%EC%8A%A4%ED%85%9C%20%EC%9E%85%EB%AC%B8%ED%8E%B8/1_movies.ipynb

 

영화 평점 데이터 분석

https://github.com/GaGa-Kim/ML_Study/blob/main/%EC%B6%94%EC%B2%9C%20%EC%8B%9C%EC%8A%A4%ED%85%9C%20%EC%9E%85%EB%AC%B8%ED%8E%B8/2_ratings.ipynb