클라우드의 스토리지
- 파일을 저장하는 공간을 넘어 데이터베이스 개념을 포함
데이터베이스 예시 아키텍처
데이터 웨어하우스부터는 데이터 분석 관련 서비스
다양한 스토리지 옵션
- 부분마다 적절하게 필요한 스토리지(데이터베이스)의 종류가 필요
다양한 스토리지 서비스를 제공하는 GCP
Cloud Storage는 BLOB(binary large-object) 스토리지
- 기본적으로 파일을 저장할 수 있는 거대한 환경
- 고성능, 인터넷 규모
- 용량을 관리할 필요가 없음 - 단순한 관리
- 저장 데이터 암호화
- 기본적으로 Google에서 엔드포인트로 전송 중인 데이터 암호화
- 온라인 및 오프라인 가져오기 서비스 사용 가능
버킷으로 구성되는 Cloud Storage 파일
- 버킷은 각각의 하드디스크를 뜻하며, 버킷 안에 콘텐츠를 저장
Cloud Storage 등급 중에서 선택하기
- 자주 사용하지 않을 경우 비용을 위해서 등급 고려가 필요
- 자주 사용하지 않아 Archive 쪽으로 등급이 될 경우, 접근하는 비용이 다른 경우보다 더 비쌈
왼쪽일수록 자주 사용, 오른쪽일수록 더욱 더 자주 사용하지 않음
데이터를 Cloud Storage로 가져오는 여러 가지 방법
- Online Transfer : 명령줄 도구 또는 드래그 엔 드롭을 사용한 자체 관리형 사본
- Storage Transfer Service : 일정에 따른 관리형 일괄 전송
- Transfer Appliance : 데이터를 안전하게 전송하는, 렉 장착 가능한 어플라이언스
다른 GCP 서비스와 함께 사용되는 Cloud Storage
Cloud Bigtable은 관리형 NoSQL 스토리지
- SQL을 사용하지 않거나 테이블 형태의 데이터가 아닌 경우로 데이터를 유연하게 저장 가능
- 접근, 저장 속도가 빨라 테라바이트 규모 애플리케이션을 위한 완전 관리형 NoSQL Wide Column 데이터베이스 서비스
- 통합 - HBase API로 액세스, 빅데이터, Hadoop 에코시스템과 기본적으로 호환
Bigtable 액세스 패턴
위 3가지의 경우에 최적화되어 있음
Bigtable 성능
- 고성능을 제공하기 위해서는 확장성이 중요
Bigtable은 노드의 사용 숫자에 따라 정확히 10배, 100배의 성능 보장하여 확장성이 좋음
3개 > 30개 (3개 보다 10배의 성능) > 300개 (3개보다 100배의 성능)
Cloud SQL은 관리형 RDBMS 스토리지
- SQL을 사용하는 RDB를 자동으로 관리해주는 서비스
- MySQL 및 PostgreSQL 데이터베이스를 서비스로 제공
- 자동 복제
- 관리형 백업
- 수직 확장 (읽기 및 쓰기)
- 수평 확장 (읽기)
- Google 보안
다른 GCP 서비스와 함께 사용되는 Cloud SQL
Cloud Spanner는 수평으로 확장 가능한 RDBMS 스토리지
- RDB는 확장하기 어려운데 이것을 가능하게 하는 것이 Cloud Spanner이며 무한으로 확장 가능
- 자동 복제
- 강력한 전역 일관성 (Strong global consistency)
- 가용성이 높은 관리형 인스턴스
- SQL (ANSI 2011, 확장 포함)
Cloud Datastore는 수평으로 확장 가능한 NoSQL DB 스토리지
- 애플리케이션 백엔드용으로 설계된 NoSQL
- 완전 관리형 - 분산 아키텍처를 사용해 확장을 자동 관리
- 내장형 중복 기능 (built-in redundancy)
- ACID 트랜잭션 지원
- 스키마 없는 액세스 - 기본 데이터 구조를 고려할 필요 없음
- 로컬 개발 도구
- 무료 일일 할당량 포함
- RESTful 인터페이스를 통해 어디서나 액세스
스토리지 옵션 비교 : 기술 세부정보
- Cloud Datastore : 일반적인 NoSQL
- Cloud Bigtable : 대량의 데이터를 빠르게 저장하고 빠르게 읽어와 무한 확장이 필요한 경우
- Cloud Storage : 파일 저장
- Cloud SQL : RDB
- Cloud Spanner : RDB, 확장성이 무한하게 필요할 때
- BigQuery
