3장. 무한대로 저장 가능한 스토리지 만들기

1. 스토리지

: 컴퓨터에 데이터를 저장하는 저장소의 역할을 수행하는 부품.(HDD와 동일한 역할 수행)

스토리지를 서버에 직접 연결할 수 있으며, 대용량의 데이터를 저장하기 위해 별도의 스토리지용 네트워크를 구상할 수도 있음.

 

DAS(Direct Attached Storage): 서버에 스토리지를 직접 연결하는 방식

NAS(Network Attached Storage)& SAN(Storage Area Network): 빠른 속도의 네트워크로 스토리지를 연결하는 방식

 

- NAS는 LAN(Local Area Network)을 연결하여 사용하기 때문에 비용이 저렴함.

 

- SAN은 확장이 용이, 대규모 엔터프라이즈 환경을 구성하기 적합한 고속의 전용 네트워크를 구성하여 빠른 속도의 스토리지 서비스를 제공.

 

- SAN은 블록 수준에서 데이터를 저장하나, NAS는 파일 단위로 데이터에 접속함. 

 OS 입장에서 보면 SAN은 일반적으로 디스크로 나타나며 별도로 구성된 스토리지용 네트워크가 존재.

 반면 NAS는 OS에 파일 서버로 표시됨.

 

AWS는 AMazon S3와 Amazon Glacier 등 용도에 따라 다양한 종류의 스토리지를 이용할 수 있음.

 

2. 데이터 백업

: 데이터가 손상되거나 유실되는 것을 대비하여 데이터를 복사하고 다른 곳에 저장하는 것.

 

- 저장 장소는 동일 장비 또는 다른 장비의 HDD 공간일 수도 있고 별도의 백업 테이프 또는 장비일 수 있음.

 

- 문제가 발생할 수 있는 경우

H/W 고장, HDD 손상, Database 및 SW 손상, OS 자체 문제로 인한 데이터 손상, 운영상의 데이터 유실 및 작업자의 실수(사용자가 잘못해서 데이터를 지우거나 전원을 내려서 데이터가 손상되는 등의 실수), 개발자의 실수 및 쿼리 오류 등.

 

- 서버를 이전하거나 교체하는 경우에도 데이터 백업이 이루어져야 함.

 

- Amazon Snapshot 및 AMI 백업 등의 기능을 활용하여 데이터 백업 서비스를 제공함.

 

3. 스냅샷(Snapshot)

: 특정 시간에 데이터 저장 장치의 상태를 별도의 파일이나 이미지로 저장하는 기술.

 

- 스냅샷 기능을 통해 데이터를 저장하면 유실된 데이터 복원과 일정 시점의 상태로 데이터를 복원할 수 있음.

 

- 스냅샷은 데이터 분석, 데이터 보호 및 데이터 복제와 같은 작업을 위해 수행되며, 재해복구(Disaster Recovery)와 같은 장애 상황에서도 데이터 복원을 통해 중요하고 긴급한 상황에도 최상의 데이터 보호 수단이 될 수 있음.

 

- 스냅샷은 데이터 연속성을 요구하는 사오항에서 데이터를 보호 및 보다 높은 애플리케이션 가용성을 제공하고 대용량 데이터의 백업 관리를 단순화하여 운영 관리 비용을 최소화할 수 있음.

 

- AWS는 EBS(Elastic Block Storage)에 대한 스냅샷을 제공함으로써 손쉽게 서버의 데이터 백업/복원 및 다른 EC2 또는 다른 리전으로 EBS 복사 기능을 통해 인스턴스의 Migration을 지원함.

 

4. S3와 Glacier

4.1 Amazon S3(Simple Storage Services)

- 버킷(Bucket)이라는 리전 내에서 유일한 영역을 생성.

- 데이터를 키-값 형식의 객체(Object)로 저장.

- 스토리지 기술을 근간으로 하며, 파일 단위의 접근만 지원함.

- EBS 서비스 대체 불가능

- 사용하고 있는 저장 공간만큼 매월 비용 지불.

  저장하는 데이터 크기, 액세스 요청 횟수, 데이터 다운로드 용량 등으로 전체적인 비용 산정.

 

4.2 Amazon S3의 주요 특징

Amazon S3 활용 분야

 

활용 분야	내용
백업 및 복구(Backup & Restore)	뛰어난 내구성, 확장성 제공. 버전 관리 기능 통한 데이터 보호 기능 제공 하이브리드 구성을 통해 기업 내 데이터 백업 및 복원 기능을 제공할 수 있음
데이터 아카이빙(Data Archiving)	규제 대상 산업(금융, 의료)등을 위한 규저 ㅇ준수, 아카이브 요구사항 또는 아카이브 데이터에 드물지만 빠르게 액세스해야 하는 조직을 위한 활성, 아카이브 요구사항을 충족할 수 있도록 다양한 스토리지 클래스를 제공.
빅데이터 분석을 위한 데이터 레이크(Data Lake)	제약 또는 재무 데이터, 사진과 비디오와 같은 멀티미디어 파일과 같이 어떤 파일을 저장하든 관계없이 Amazon S3를 빅데이터 분석용 데이터레이크로 사용할 수 있음
하이브리드 클라우드 스토리지(Hybrid Cloud Storage)	AWS Storage Gateway와 연계하여 On-Premise 환경에서 클라우드 스토리지를 활용할 수 있으며, 데이터 백업 및 재해복구를 원활히 수행 가능.
재해복구 (Disaster Recovery)	S3의 내구성 및 안전성이 뛰어난 글로벌 인프라를 활용하여 탁우러한 데이터 보호 및 타 리전으로 교차 리전 복제(CRR) 서비스를 제공함,

 

* Amazon S3의 교차 리전 복제(Cross-Region Replication, CRR) 기능은 한 AWS 리전의 S3 버킷에 저장된 객체를 자동으로 다른 리전의 대상 버킷으로 복제하는 기능입니다. 이 기능은 데이터의 지리적 분산을 통해 재해 복구, 지연 시간 감소, 규정 준수 등의 이점을 제공합니다.

주요 특징:

• 자동 및 비동기 복제: 새로 업로드되거나 수정된 객체는 설정된 복제 규칙에 따라 자동으로 대상 버킷으로 비동기 복제됩니다.
• 유연한 복제 설정: 버킷 전체, 특정 접두사(prefix), 또는 객체 태그에 기반하여 복제 대상을 지정할 수 있습니다.
• 다양한 스토리지 클래스 지원: 복제된 객체를 S3 Standard, S3 Intelligent-Tiering, S3 Glacier 등 다양한 스토리지 클래스로 저장할 수 있습니다.

제약 사항:

• 기존 객체의 복제: 복제 설정 이전에 존재하던 객체는 자동으로 복제되지 않으며, 이러한 객체를 복제하려면 S3 배치 복제(S3 Batch Replication)를 사용해야 합니다.

활용 사례:

• 재해 복구: 데이터를 여러 리전에 복제하여 리전 장애 발생 시에도 데이터 접근성을 유지할 수 있습니다.
• 지연 시간 감소: 사용자와 가까운 리전에 데이터를 복제하여 데이터 접근 지연 시간을 줄일 수 있습니다.
• 규정 준수: 데이터 주권 및 규제 요구 사항을 충족하기 위해 특정 리전에 데이터를 저장해야 하는 경우에 유용합니다.

Amazon S3의 교차 리전 복제 기능을 활용하면 데이터의 가용성과 내구성을 향상시키고, 글로벌 사용자에게 일관된 성능을 제공할 수 있습니다.

 

Amazon S3 활용 분야

 

1. S3 표준(S3 Standard)

 - 자주 액세스하는 데이터를 위한 스토리지 클래스

 - 내구성, 가용성 및 성능이 뛰어난 객체 스토리지 서비스 제공

 - 높은 가용성과 내구성 제공 설계 지원

 - 전송 데이터를 위한 SSL 및 저장 데이터 암호화 지원

 

2. S3 표준-IA(S3 Standard Infrequent Access)

 - 액세스 빈도가 낮지만 필요할 때 빠르게 엑세스 해야 하는 데이터를 위한 스토리지 클래스

 - S3 Standard와 같은 내구성 및 성능과 높은 가용성 지원. 최근 백업 서비스에 많이 사용됨

 

3. S3 One Zone(S3 One Zone Infrequent Access)

 - 액세스 빈도가 낮지만 빠른 액세스가 필요한 데이터를 저장하는 스토리지 클래스

 - 최소 3개의 AZ에 데이터를 저장하는 타 S3 스토리지 클래스와 달리, 단일 AZ에 데이터를 저장함으로써 S3 Standard-IA에 비해 저렴한 비용 제공

 

4. Amazon Glacier

 - 데이터 보관을 위한 안전, 안정적이며, 비용이 저렴한 스토리지 서비스

 - S3와 같은 내구성과 성능 및 가용성 보유

 - 데이터 아카이빙 및 장기간 데이터 보관 및 오래된 로그 데이터에 대한 저장 용도로 적당한 서비스

 - S3의 수명주기 기능을 통한 객체 자동 마이그레이션을 제공.

* Amazon S3의 수명 주기(Lifecycle) 관리 기능은 버킷에 저장된 객체의 스토리지 비용을 최적화하고 데이터 관리를 자동화하는 데 사용됩니다. 이 기능을 통해 객체의 생명 주기 단계에 따라 자동으로 스토리지 클래스를 전환하거나, 일정 기간 후 객체를 삭제할 수 있습니다.

 

주요 기능:

• 전환 작업(Transition): 객체가 일정 기간이 지나면 더 저렴한 스토리지 클래스로 자동 전환됩니다. 예를 들어, 생성 후 30일이 지난 객체를 S3 Standard-IA(비정기적 액세스)로, 1년이 지난 객체를 S3 Glacier(아카이브)로 전환할 수 있습니다.
• 만료 작업(Expiration): 객체가 특정 기간이 지나면 자동으로 삭제됩니다. 예를 들어, 로그 파일과 같이 일정 기간 후 더 이상 필요하지 않은 데이터를 자동으로 제거하여 스토리지 비용을 절감할 수 있습니다.

* 객체 자동 마이그레이션은 IT 분야에서 데이터를 한 시스템이나 스토리지 환경에서 다른 환경으로 자동으로 이전하는 프로세스를 의미합니다. 이러한 마이그레이션은 수동 작업의 오류를 줄이고, 데이터 이전의 효율성과 신뢰성을 향상시키기 위해 자동화 도구나 스크립트를 활용합니다.

주요 사례:

• 데이터 스토리지 이전: 기업이 기존 스토리지 시스템에서 새로운 스토리지 솔루션으로 데이터를 이전할 때, 자동화된 마이그레이션 도구를 사용하여 대량의 데이터를 효율적으로 이동시킬 수 있습니다.
• 클라우드 마이그레이션: 온프레미스 데이터나 애플리케이션을 클라우드 환경으로 이전하는 과정에서 자동화 도구를 활용하여 마이그레이션을 수행함으로써 시간과 비용을 절감할 수 있습니다.
• 데이터베이스 마이그레이션: 한 유형의 데이터베이스에서 다른 유형으로 데이터를 이전할 때, 자동화된 마이그레이션 도구를 사용하여 데이터 변환과 이전을 신속하게 수행할 수 있습니다.

 

4.3 Amazon Glacier

- 데이터 아카이빙 및 장기 백업을 위한 안전하고 안정적이며 비용이 매우 저렴한 클라우드 스토리지 서비스

- 매우 높은 안전성 제공하도록 설계되었으며, 엄격한 데이터 보관에 대한 규제 요구사항(SEC Rule 17a-4, PCI-DSS, HIPAA/HITECH, FedRAMP, EU GDPR 및 FISMA)도 충족할 수 있는 종합적인 보안 및 규정 준수 기능을 제공.

- S3의 개별 스토리지 영역인 'Bucket'과 유사한 'Valut'라는 개별 스토리지 영역을 생성하여 데이터를 보관, 

- Console을 통한 업로드 지원

- 별도의 API 이용하여 데이터에 대한 저장 기능 제공

- 라이프사이클 옵션을 활용하여 일정 기간 이상 지난 데이터에 대해 보다 저렴한 Glacier로 이동하여 저장하는 옵션 사용 가능

 

4.3 Amazon Glacier의 주요 특징

Amazon Glacier의 접근 방법

 

1. API/SDK를 이용한 Direct 연결

 - API나 SDK를 활용한 프로그램 개발을 통해 깊게 저장된 데이터를 위한 Glacier에 직접 접속.

 

* 소프트웨어 개발 키트(Software Development Kit, SDK)는 개발자가 특정 소프트웨어 패키지, 프레임워크, 하드웨어 플랫폼, 컴퓨터 시스템, 게임기, 운영 체제 등을 위한 응용 프로그램을 개발할 수 있도록 지원하는 도구 모음입니다.

 

 클라우드 환경에서 SDK는 클라우드 서비스 제공자가 개발자에게 제공하는 도구 세트로, 클라우드 서비스와의 통합을 용이하게 합니다. 예를 들어, AWS는 다양한 프로그래밍 언어용 SDK를 제공하여 개발자가 AWS 서비스와 쉽게 상호작용하고 애플리케이션을 개발할 수 있도록 지원합니다.

 

 SDK는 일반적으로 다음과 같은 구성 요소를 포함합니다:

• API(Application Programming Interface): 특정 기능을 수행하기 위한 프로그래밍 인터페이스
• 라이브러리 및 코드 샘플: 개발에 필요한 코드 및 예제
• 문서화: SDK 사용 방법 및 참조 자료
• 디버깅 도구: 개발 중 발생하는 오류를 찾고 수정하는 도

 

2. S3 라이프사이클과의 통합

 - S3의 라이프 사이클과 통합을 통해 오래된 데이터에 대해 Glacier로 자동 이관

 

3. 서드파티 툴과 AWS Stoarge Gateway 연동

 - 기존 백업 인프라와 서드파티 툴과의 연계 및 AWS Storage Gateway 통합을 통해 거부감 없는 방식으로 데이터 백업 및 보관 기능을 제공함.