보안성이 뛰어난 휴대용 장치의 모음으로 엣지에서 데이터를 수집하고 처리하기 위해 사용하거나 AWS 안팎으로 데이터를 마이그레이션할 때 사용
엣지 컴퓨팅에는 두 개의 Snow 제품군 장치가 사용됨 (Snowcone, Snowball Edge)
데이터 마이그레이션은 세 개의 Snow 제품군 장치가 사용됨 (Snowcone, Snowball Edge, Snowmobile)
Data Migrations with AWS Snow Family
많은 데이터를 전송하는 경우 예) 100TB를 전송할 때 초당 1GB의 네트워크 회선을 이용한다면 전송을 완료하는데 12일 소요되며 전송할 데이터가 PB 이상이라면 상상 이상의 시간이 소요됨
또한 때때로 AWS에 빠르게 접속해야할 때 전송 가능한 데이터 양이 적거나, 제한된 연결 및 제한된 대역폭 문제, 네트워크를 통한 데이터 전송 비용 발생, 대역폭 공유 문제 등이 발생함 예) AWS에서 영상을 다운로드하는데 그 영상 데이터의 크기가 10TB라면 사무실 내의 대역폭을 최대화하게 되어 사무실 전체가 차단될 수 있으며 연결이 안정되지 않아서 재시도를 해야할 수 있음
위와 같은 이유들 때문에 Snow제품군이 사용됨
Snow 제품군은 오프라인에서 데이터 마이그레이션을 실행하는 장치로 AWS가 우편으로 물리적 장치를 보내주면 거기에 데이터를 끌어오고 다시 AWS로 전송
만약 데이터 전송 시 네트워크를 사용할 경우 일주일이 넘는 시간이 소요된다면 Snowball 장치를 사용해야 함
Diagrams
S3로 직접 파일을 업로드하려면 클라이언트가 S3로 데이터를 전송하지만,
Snow 제품군의 Snowball 장치가 있는 경우 클라이언트가 Snowball 장치를 요청하고 우편으로 받은 후 AWS로 다시 배송하면 AWS는 장치를 가져다 자체적인 인프라를 연결하여 S3 버킷에서 무엇을 하느냐에 따라 데이터를 불러오거나 내보내는 작업 실행 즉, AWS로 데이터를 전송할 때 네트워크가 아닌 물리적 경로를 이용하는 것임
Snowball Edge (for data transfers)
Snowball Edge는 커다란 상자로 TB 혹은 PB 크기의 데이터를 AWS 안팎으로 전송할 수 있음
네트워크를 대신해서 데이터를 옮기며 데이터 전송 건마다 비용이 청구됨
Snowball Edge 인터페이스는 블록 스토리지를 제공하거나 S3 호환 객체 스토리지를 제공
Snowball Edge에는 두 가지 옵션이 존재 1) Snowball Edge Storage Optimized 블록 볼륨으로 사용할 수 있도록 80TB의 하드웨어 디스크 용량을 제공하거나 S3 호환 객체 스토리지를 제공 2) Snowball Edge Compute Optimized 42TB의 HDD 용량을 제공
Snowball Edge를 데이터 전송에 쓰이는 경우에는 데이터 센터 폐쇄를 위한 대량의 데이터 클라우드 마이그레이션이나 AWS에 데이터를 백업함으로써 재해 복구를 하는 경우에 사용
AWS Snowcone
이름처럼 작고 귀여운 장치로 Snowball Edge보다 크기가 더 작으며 이더넷 포트가 존재하고 어디서나 컴퓨팅 가능한 작은 휴대용 장치이자 견고하고 안전하며 가혹한 환경을 견딜 수 있어 사막이든 물속이든 사용 가능
용량이 작은 엣지 컴퓨팅, 스토리지 및 데이터 전송에 사용되며 8TB를 저장할 수 있음
Snowball이 사용 불가능한 공간의 제약을 받는 환경같은 경우에 Snowcone을 사용하며 필요하면 드론 위에 설치도 가능
배터리와 케이블은 직접 준비해야하며 AWS 오프라인으로 다시 전송하거나 네트워크를 통해 AWS DataSync을 사용해 데이터를 재전송할 수 있음
AWS Snowmobile
Snowmobile은 실제 트럭으로 전송하는 데이터는 EB(1EB = 1000PB = 1000000TB)에 달하며 각 Snowmobile의 용량은 100PB이므로 데이터 1EB를 처리하려면 Snowmobile을 열 대 주문
보안성이 뛰어나고 온도 조절이 가능하며 GPS 추적 및 연중무휴 비디오 감시로 굉장히 안전한 데이터 전송 방법
그러므로 10PB 이상의 데이터를 전송하려면 Snowmobile이 Snowball보다 좋은 방법
AWS Snow Family for Data Migrations
DataSync가 있다면 네트워크 연결을 통해 AWS에 데이터를 전송할 수 있음
Snowball Edge의 경우 스토리지 클러스터링으로 15개를 함께 구축하여 스토리지 크기를 늘릴 수 있음
Snow Family – Usage Process
데이터 마이그레이션을 위해 Snow 제품군 장치를 사용하는 방법
배송을 위해 콘솔에서 장치를 요청
Snowball 클라이언트나 AWS OpsHub를 서버에 설치
Snowball을 서버에 연결하고 클라이언트를 사용해서 파일을 복사
준비가 끝나서 장치를 다시 보내면 올바른 AWS 시설로 옮겨짐
S3 버킷에 해당 데이터를 불러들이고 나면 가장 높은 보안 조치에 따라 Snowball은 전부 지워지게 됨
What is Edge Computing?
엣지 컴퓨팅을 위해 Snow 제품군 장치를 사용
엣지 컴퓨팅은 데이터가 엣지 로케이션에서 생성될 때 실시간으로 처리하는 방식이며 엣지 로케이션은 인터넷이 없는 곳이나 클라우드에서 멀리 있는 곳을 뜻함 예) 도로에 있는 트럭, 바다 위의 배, 지하의 광업소
엣지 로케이션의 경우 데이터를 만들기는 하지만 인터넷은 연결되지 않을 수 있으므로 이런 장소에서 컴퓨팅이나 데이터 처리를 해야할 경우 엣지 컴퓨팅이 필요하며 Snowball이나 Snowcone을 주문해서 엣지 로케이션에 장착시켜 엣지 컴퓨팅을 시작할 수 있음
엣지 컴퓨팅의 예시에는 데이터 전처리, 클라우드로 보내지 않고 엣지에서 머신 러닝하는 경우, 사전 미디어 스트림 트랜스 코딩 등이 존재하며 데이터를 AWS로 재전송해야 하는 경우 Snowcone이나 Snowball 장치를 AWS로 보내면 됨 즉, 데이터가 생성되는 곳에서 아주 가깝게 데이터를 처리하고 AWS로 전송
Snow Family – Edge Computing
엣지 컴퓨팅에 필요한 Snowcone, Snowball에서 Snowcone의 경우, CPU 2개와 4GB 메모리, 유무선 액세스 (Wi-Fi)를 가지고 있으며 USB-C 혹은 선택적 배터리로 작동 Snowball 중 Compute Optimized의 경우, 52개의 vCPU를 가지며 200GB의 RAM과 더불어 선택적 GPU가 존재하여 영상 처리나 머신 러닝을 할 경우 사용할 수 있고 42TB의 스토리지를 사용 가능 Snowball 중 Storage Optimized의 경우, 40개의 vCPU를 가지며 80GB의 RAM을 가지며 객체 스토리지 클러스터링이 가능
모든 장치들은 AWS IoT Greengrass라는 서비스를 통해 내부 EC2 인스턴스나 람다 함수를 실행할 수 있음
엣지 컴퓨팅을 할 때 트럭, 보트와 같은 시설에 아주 오랫동안 장치를 사용해야 할 수 있으며 이 때는 장기 배포 옵션 선택 가능 이를 통해 장치를 1년에서 3년 빌려 가격 할인을 받을 수 있음
AWS OpsHub
이전에는 장치를 사용할 때 CLI 도구를 사용해 처리했으며 방식도 매우 어려웠음
그리하여 컴퓨터와 노트북에 설치하는 소프트웨어인 OpsHub를 만들어내서 컴퓨터에 다운로드하여 사용하며 그래픽 인터페이스를 통해 Snow 장치에 연결하여 구성 및 사용 가능
단일 장치와 클러스터 장치를 잠금 해제하고 구성할 수 있으며 파일 전송이 가능해지고 Snow 장치에서 실행되는 EC2 인스턴스를 시작 및 관리할 수 있음 또한 장치 매트릭 모니터링과 AWS 호환 서비스(EC2 인스턴스, DataSync, 네트워크 파일 시스템 등) 실행이 가능해짐
<AWS Snow Family 실습>
Snow 제품군 AWS Snow Family는 대규모 데이터 전송을 선택하며 사용 용도는 두 가지로 엣지에서 데이터를 처리하거나 AWS 안팎으로 데이터를 마이그레이션할 수 있음
Snowcone, Snowball, Snowmobile 중에서 주문할 수 있으며 그 전에 job을 설정해야 함
Import into Amazon S3는 빈 장치가 배송되면 거기 데이터를 옮긴 후에 다시 배송하는 옵션 Export data from Amazon S3는 새로운 장치로 데이터를 넣어서 배송을 해주면 그 장치를 다시 보내서 삭제하는 방법 Local compute and storage only는 엣지 컴퓨팅에서 사용
Import into Amazon S3를 선택하면 주소 등을 지정해주어야 하며 장치 배송 속도를 결정할 수 있음 그리고 job detail에서 Snowball Edge Storage Optimized, Compute Optimize, Compute Optimized with GPU 등의 Snow 장치를 선택할 수 있으며 이것은 국가에 따라 가능 여부가 달라질 수 있음
그 후 데이터를 불어들일 곳인 S3 스토리지를 선택하는데 기존의 버킷을 고르거나 새 버킷을 만들 수 있으며 이 곳에 데이터를 불러오고 Snowball에 넣은 후 다시 AWS에 보내게 됨
암호화를 할 수도 있으며 서비스 역할을 생성할 수 있음
SNS Topic을 만들어서 알림을 받을 수 있음
이후 이를 생성하면 많은 비용이 부과되면서 Snowball 장치가 배송됨
추가적으로 AWS OpsHub을 다운로드해서 Snow 제품군 장치를 관리할 수 있으며 또한 UI를 사용해서 장치로 데이터를 전송하거나 인스턴스를 실행할 수 있음
순서Plan your jobChoose your shipping preferences국가에 따라 다름Choose your job detailsChoose your security pereferencesChoose your notification perferences
엣지 컴퓨팅 용도로 제품군을 주문하는 경우 Local compute and storage only를 선택하며 Snowcone과 Edge Storage 같은 Snow 장치를 사용할 수 있으며 컴퓨팅 작업을 실행하려 하거나 대량의 컴퓨팅 작업일 경우 Snowball Edge Compute Optimized를 사용
이 경우 S3 스토리지를 선택해서 데이터를 S3 버킷으로 재전송할 수도 있지만 선택 사항으로 EC2 인스턴스를 사용해 컴퓨팅을 할 수 있으므로 Snowball Edge 장치에 EC2 AMI를 불러올 수 있음
