[SAA] 대규모 데이터 세트를 AWS로 전송

Transferring large amount of data into AWS

• 대규모 데이터를 AWS로 전송하는 방법과 여러 제약에 따른 최적의 방식
  데이터를 보내는 방법에는 데이터셋의 크기에 따라 달라짐

 

• 일회성 전송 예) 200TB의 데이터를 클라우드로 옮기고 싶으며 현재 인터넷 연결 속도는 100Mbp일 때, 여러 방법이 존재
• 방법1) 공용 인터넷을 사용하거나 공용 인터넷을 사용해 사이트 간 VPN (Site-to-Site VPN) 을 설치하는 방법
  장점은 설치가 빠르고 바로 연결이 가능함
  200(TB)*1000(GB)*1000(MB)*8(Mb)/100 Mbps = 16000000s = 185일 걸리므로 반 년이 걸림
  데이터의 크기에 따라 적합할 수도 아닐 수도 있음
• 방법2) Direct Connect
  연결 라인을 통해 1Gbps로 프로비저닝한다고 했을 때 먼저 초기 설치에 시간이 오래 걸리는 것을 감안해야 함
  그러므로 Direct Connect를 사용한다면 먼저 연결을 만드는데만 한 달 정도가 걸릴 수 있고
  연결이 만들어진 후에는 첫 번째 방법보다는 10배 정도 빠른 18.5일 정도가 걸림
  많이 빨라졌지만 여전히 오래 걸림
• 방법3) Snowball
  Snowball을 주문해야 하며 2-3개 정도가 필요하므로 시설에 동시에 도착하도록 병렬 주문하면 약 일주일이 소요
  Snowball이 도착해서 로드하고 다시 싣고 AWS로 보내져서 데이터가 송신되어 종단 간 정송에 일주일 정도가 소요
  그리고 Snowball을 통해 전송되고 있던 데이터베이스가 있었다면 DMS와 결합하여 나머지 데이터를 전송
  
  
• 지속적 복제 예) For on-goingn replication / transfers 지속적 복제
  지속적 복제에 대해서는 Site-to-Site VPN 등의 기술을 사용
  지속적 복제에서는 당장 전송할 데이터양이 적기 때문에 Direct Connect, DMS, DatsSync 등의 서비스를 사용
  이들은 전부 데이터의 송수신을 도와주고 지속적이든 아니든 사이트간 VPN이나 Direct Connect처럼
  적합한 인터넷 라인을 통해 송신을 가능하도록 함