아마존웹서비스(Amazon Web Services, 이하 AWS)는 ‘AWS 리인벤트(AWS re:Invent)’ 행사에서 4가지 스토리지 혁신을 발표했다.

- 아마존 EBS io2 블록 익스프레스(Amazon EBS io2 Block Express) 볼륨 = 차세대 스토리지 서버 아키텍처는 클라우드용으로 구축된 SAN을 제공하며, 최대 25만 6000 IOPS, 초당 최대 4000MB 처리량, 최대 64TB 용량(표준 io2 볼륨 대비 모든 메트릭에서 4배 향상)으로, 가장 I/O 집약적인 비즈니스 크리티컬 애플리케이션의 성능 요구사항을 충족한다. 

이 아키텍처는 프리뷰 신청을 통해 이용 가능하다. 

- 아마존 EBS Gp3(Amazon EBS Gp3) 볼륨 = 아마존 EBS용 차세대 범용 SSD 볼륨은 스토리지를 추가할 필요없이 추가 IOPS와 처리량을 프로비저닝할 수 있는 유연성을 제공하는 동시에 3000 IOPS 및 초당 125MB 처리량으로 높아진 기본 성능 뿐 아니라 최대 1만 6000 IOPS 및 초당 1000MB의 피크 처리량(Gp2 볼륨 대비 4배 향상)을 기존 Gp2 볼륨보다 스토리지 GB당 20% 저렴한 가격으로 프로비저닝할 수 있는 기능을 제공한다.

‘아마존 EBS Gp3 볼륨’은 현재 이용 가능하다.

- 아마존 S3 인텔리전트 티어링(Amazon S3 Intelligent-Tiering) 자동 데이터 아카이빙 = 2가지 새로운 티어 아카이브 액세스(Archive Access)와 딥 아카이브 액세스(Deep Archive Access)를 통해 기업은 사용하지 않는 객체를 아카이브 액세스 티어로 자동 이동, 거의 액세스하지 않는 객체 스토리지 비용을 최대 95%까지 절감할 수 있다.

‘아마존 S3 인텔리전트 티어링’은 현재 이용 가능하다.

- 아마존 S3 레플리케이션(Amazon S3 Replication)(다중 대상) = 동일한 AWS 리전의 여러 S3 버킷에 데이터를 복제해 리전 간 콘텐츠를 배포, 컴플라이언스 및 데이터 공유 니즈를 보다 효과적으로 관리할 수 있는 새로운 기능이 기업에게 제공된다. 현재 이용 가능하다.

◆클라우드용으로 구축된 SAN을 제공하는 ‘EBS io2 블록 익스프레스 볼륨’ = 기업이 SAP HANA, 마이크로소프트 SQL 서버, IBM DB2, MySQL, 프소트그레(Postgre)SQL, 오라클 데이터베이스와 같은 중요한 성능 집약적 애플리케이션을 실행하기 위해 io2 볼륨(최신 세대 프로비저닝된 IOPS 볼륨)을 선택하는 이유는 99.999%(파이브 나인)의 내구성과 범용 EBS 볼륨 대비 4배 높은 IOPS를 제공하기 때문이다.

일부 애플리케이션은 단일 io2 볼륨에서 제공하는 것보다 더 높은 IOPS, 처리량 또는 용량을 필요로 한다.

필요한 성능을 해결하기 위해 기업은 여러 io2 볼륨을 함께 스트라이프(stripe)하는 경우가 많다. 

그러나 가장 까다로운 애플리케이션을 위해서는 기업이 관리하고자 하는 것보다 더 많은 io2 볼륨을 함께 스트라이프해야 한다.

이처럼 매우 까다로운 애플리케이션의 경우, 대다수 기업이 기존에 온프레미스 SAN(로컬 네트워크를 통해 액세스되는 디스크 세트)을 사용해 왔다.

문제는 SAN에는 수많은 단점이 있다.

높은 초기 구매 비용으로 인해 비용이 많이 들고, 충분한 용량을 보장하기 위해 복잡한 예측이 필요하며, 관리가 복잡하고 어렵고, 귀중한 데이터 센터 공간과 네트워킹 용량을 소비한다.

SAN 용량을 초과하면 전체 SAN을 하나 더 구입해야 해 비용이 많이 들고, 사용하지 않은 용량에 대한 비용을 기업이 부담해야 한다.

기업SAN의 강력한 기능을 원하지만, 지금까지는 가능하지 않았던 클라우드에서 SAN 기능을 구현할 수 있기를 바란다.

‘EBS 블록 익스프레스’는 기업에게 클라우드용으로 구축된 SAN을 제공하는 완전히 새로운 스토리지 아키텍처다.

특히, EBS 블록 익스프레스는 대용량 IOPS, 높은 처리량, 높은 내구성, 큰 스토리지 용량 및 짧은 대기 시간의 이점을 제공하는 오라클, SAP HANA, 마이크로소프트 SQL 서버 및 SAS 애널리틱스의 가장 크고 I/O 집약적이며 미션 크리티컬한 구현을 위해 설계됐다.

이제 io2 볼륨을 블록 익스프레스에서 실행하면, 단일 io2 볼륨을 최대 25만 6000 IOPS로 프로비저닝하고, 초당 최대 4000MB의 처리량을 구동하며, 모든 파라미터에서 기존 io2 볼륨보다 4배 큰 64TB의 용량을 제공할 수 있다.

또한 io2 블록 익스프레스 볼륨을 사용하면 대기 시간에 민감한 애플리케이션에 대해 밀리초 미만의 일관된 대기 시간을 달성할 수 있다.

기업은 또한 여러 io2 블록 익스프레스 볼륨을 함께 스트라이프 해 단일 볼륨이 제공할 수 있는 것보다 훨씬 뛰어난 성능을 얻을 수 있다.

블록 익스프레스는 기본 EBS 하드웨어, 소프트웨어 및 네트워킹 스택을 완전히 재창조해 io2 볼륨이 이같은 성능을 달성할 수 있도록 돕는다.

‘EBS 블록 익스프레스’는 하드웨어 계층의 스토리지에서 컴퓨팅을 디커플링(분리)하고, 이같은 디커플링을 활용하기 위해 소프트웨어를 다시 작성, 새로운 수준의 성능을 구현하고 혁신에 소요되는 시간을 단축한다.

아울러 블록 익스프레스는 고성능 SRD (Scalable Reliable Datagrams, 확장 가능한 신뢰할 수 있는 데이터그램) 네트워킹 프로토콜 활용을 위해 네트워킹 스택을 다시 작성, 지연시간을 줄인다.

이 개선 사항은 io2 블록 익스프레스 볼륨 사용에 대한 사전 약정 없이 바로 제공되며, 기업은 SAN의 초기 비용 없이 프로비저닝하고 용량을 확장할 수 있다.

향후 수개월안에 새로운 SAN 기능이 볼륨 익스프레스 볼륨에 추가될 예정이다.

여기에는 한 번에 여러 인스턴스를 단일 볼륨에 안전하게 연결할 수 있게 하는 I/O 펜싱을 제공하는 다중 연결(Multi-Attach), 빠른 스냅샷 복원(Fast Snapshot Restore), EBS 볼륨 크기, 유형 및 성능을 높일 수 있는 엘라스틱 볼륨(Elastic Volume) 등이 포함된다.

블록 익스프레스가 지원하는 io2 볼륨에 대한 자세한 내용은 https://aws.amazon.com/ebs에서 확인할 수 있다.

◆스토리지 용량에서 IOPS를 분리하고 추가 성능을 제공하며 이전 세대 볼륨보다 20% 낮은 가격의 ‘EBS Gp3 볼륨’ = 기업은 EBS 볼륨을 사용해 관계형 및 비관계형 데이터베이스(예: 마이크로소프트 SQL 서버 및 오라클), 엔터프라이즈 애플리케이션, 컨테이너형 애플리케이션, 빅 데이터 분석 엔진, 분산 파일 시스템, 가상 데스크톱, 개발/테스트 환경, 미디어 워크플로우 등 광범위한 워크로드를 운영한다.

‘Gp2 볼륨’은 기업이 대부분의 워크로드에 대한 IOPS 및 처리량 요구사항을 쉽고 비용 효율적으로 충족할 수 있게 해 주었지만, 일부 애플리케이션은 단일 Gp2 볼륨이 제공할 수 있는 것보다 더 많은 IOPS를 요구한다.

새로운 ‘Gp2 볼륨’을 사용하면 스토리지 용량에 따라 성능을 확장할 수 있어 기업은 더 큰 스토리지 볼륨 크기를 프로비저닝해 애플리케이션에 대한 IOPS 및 처리량을 높일 수 있다.

그러나 일부 애플리케이션은 더 높은 성능을 요구하지만 더 많은 스토리지 용량을 필요로 하지 않는다(예: MySQL 및 카산드라-Cassandra와 같은 데이터베이스).

이 경우, 기업은 필요한 IOPS 성능을 얻는 데 필요보다 더 많은 스토리지를 구입하게 될 수 있다.

또 이같은 워크로드를 실행하는 기업은 더 큰 스토리지 볼륨에 대한 프로비저닝과 비용 지불 없이 필요한 성능을 충족하기를 원한다.

차세대 ‘Gp3 볼륨’은 고객이 스토리지 용량과 별도로 IOPS 및 처리량을 독립적으로 프로비저닝할 수 있는 기능을 제공한다.

애플리케이션에 더 많은 성능이 필요한 워크로드의 경우 고객은 스토리지 용량을 추가하지 않고도 Gp3 볼륨을 수정, 필요한 IOPS 및 처리량을 프로비저닝 할 수 있다.

‘Gp3 볼륨’은 3000 IOPS와 125MB/초의 지속적인 기본 성능과 최대 1만 6000 IOPS와 1000MB/초의 피크 처리량(Gp2 볼륨 대비 4배 향상)을 프로비저닝할 수 있는 기능을 제공한다. 

스토리지와 관계없이 IOPS를 확장할 수 있도록 해 기업의 비용을 절감하는 것 외에도, Gp3 볼륨은 기존 Gp2 볼륨보다 GB 당 20 % 더 저렴하다.

기업은 또 ‘아마존 엘라스틱 컴퓨트 클라우드(Amazon Elastic Compute Cloud, EC2)’ 인스턴스의 중단없이 기존 EBS 볼륨의 볼륨 유형, IOPS, 스토리지 용량 및 처리량을 수정할 수 있는 EBS의 기존 기능 엘라스틱 볼륨을 사용해 Gp2 볼륨을 Gp3 볼륨으로 쉽게 마이그레이션할 수 있다.

덧붙여 기업은 AWS 관리 콘솔(AWS Management Console), AWS CLI 또는 AWS SDK를 사용하여 Gp3 볼륨을 쉽게 새로 생성하고 성능을 확장할 수 있다.

‘Gp3 볼륨’은 https://aws.amazon.com/ebs/에서 시작할 수 있다.

◆2가지 새로운 아카이브 티어가 추가된 ‘아마존 S3 인텔리전트 티어링’으로 최대 95%의 스토리지 비용 절감 = ‘S3 인텔리전트 티어링 스토리지’ 클래스는 알 수 없거나 변화하는 액세스 패턴을 가진 데이터에 대한 스토리지 비용을 자동으로 최적화한다.

이는 스토리지 내 개별 객체의 변화하는 액세스 패턴을 기반으로 다이나믹 프라이싱을 자동으로 제공하는 클라우드 스토리지 솔루션이다.

‘S3 인텔리전트 티어링’은 다양한 액세스 패턴(예: 데이터 레이크) 또는 알 수 없는 스토리지 액세스 패턴(예: 새로 출시된 애플리케이션)의 데이터 세트를 가진 고객들에 의해 널리 사용됐다.

또 ‘S3 인텔리전트 티어링’은 빈번한 액세스를 위한 티어(실시간 데이터 쿼리용)와 빈번하지 않은 액세스를 위한 비용 최적화된 티어(배치 쿼리용)의 두 가지 가격으로 책정된 티어의 스토리지에 대해 요금을 부과한다.

그럼에도 많은 AWS 이용 기업은 거의 액세스하지 않는 스토리지를 가지고 있으며, S3 글래시어(S3 Glacier) 또는 S3 글래시어 딥 아카이브(S3 Glacier Deep Archive)를 사용해 이렇게 아카이브된 데이터에 대한 스토리지 비용을 절감하고 있다.

지금까지 기업은 개별 객체에 대한 액세스를 모니터링하고 기록하기 위해 자체 애플리케이션을 수동으로 구축, 어떤 객체에 대한 액세스가 거의 없고 아카이브로 이동해야 하는지를 결정한 후, 그 객체들을 수동으로 이동해야 했다.

아카이브 액세스와 딥 아카이브 액세스 티어가 추가된 S3 인텔리전트 티어링은 다이나믹 티어링과 프라이싱을 클라우드에서 제공하는 스토리지 클래스가 됐다.

‘S3 인텔리전트 티어링’은 4가지 액세스 티어(프리퀀트, 인프리퀀트, 아카이브, 딥 아카이브)를 통해 자동 티어링 및 다이나믹 프라이싱을 제공한다.

또 ‘S3 인텔리전트 티어링’을 사용하는 기업은 180일 이상 프리퀀트 액세스에서 딥 아카이브로 자동 이동되는 스토리지에 대해 최대 95%까지 비용을 절약할 수 있다.

기업이 아카이브 액세스 티어 중 하나 또는 둘 모두를 활성화하면 S3 인텔리전트 티어링은 90일 동안 액세스하지 않은 객체를 아카이브 액세스 티어로, 180일 후에는 딥 아카이브 액세스 티어로 자동으로 이동한다.

‘S3 인텔리전트 티어링’은 S3 인벤토리(S3 Inventory)와 같은 기능을 지원, 객체의 액세스 티어에 대해 보고하고, S3 복제(S3 Replication)는 모든 AWS 리전으로 데이터를 복제한다.

‘S3 인텔리전트 티어링’ 사용 시 검색 요금은 없으며, 액세스 티어 간에 객체를 이동할 때 추가 티어링 수수료가 발생하지 않는다.

새로운 아카이브 액세스 티어가 추가된 S3 인텔리전트 티어링은 현재 모든 AWS 리전에서 이용 가능하다.

S3 인텔리전트 티어링은 https://aws.amazon.com/s3/storage-classes/에서 시작할 수 있다.

◆아마존 S3 레플리케이션, 동일한 AWS 리전 내에서 또는 서로 다른 AWS 리전에 걸쳐 다중 대상 데이터 복제 기능 추가 = 현재 기업은 S3 복제를 사용해 컴플라이언스 요구사항, 짧은 지연 시간의 성능 또는 계정 간 데이터 공유를 위해 동일한 AWS 리전 내에서 또는 서로 다른 AWS 리전 간에 데이터 복제본을 생성할 수 있다.

일부 기업은 데이터 주권 요건을 충족하거나, 지리적으로 분산된 팀 간의 협업을 지원하거나, 복원성을 위해 여러 AWS 리전에서 동일한 데이터 세트를 유지하기 위해, 실제 데이터를 다중 대상(동일한 AWS 리전의 S3 버킷 또는 여러 리전의 S3 버킷)에 복제해야 한다.

이를 위해 기업은 새로 생성된 객체를 식별하기 위해 S3 이벤트를 모니터링하는 방식으로 자체적인 다중 대상 복제 서비스를 구축해야 한다.

기업은 이후 이같은 이벤트를 여러 대기열로 분산시키고, AWS 람다(AWS Lambda) 함수를 호출해 각 대상 S3 버킷에 객체를 복사하고, 각 API 호출의 상태를 추적하고, 결과를 집계한다.

또 기업은 이같은 시스템을 모니터링하고 유지해야 해 추가 비용과 운영 오버헤드가 발생한다.

S3 복제(다중 대상)를 사용하면 기업은 더 이상 여러 AWS 리전에 걸쳐 데이터를 복제하기 위한 자체 솔루션을 개발할 필요가 없다.

이제 기업은 S3 복제를 사용, 데이터 복제를 모니터링하기 위한 이벤트 및 메트릭이 포함된 동일한 정책 기반의 관리형 솔루션을 통해 AWS 리전 내에서나 여러 AWS 리전에 걸쳐, 또는 두 가지의 조합에 대해 데이터를 여러 버킷에 복제할 수 있다.

예를 들어, 기업은 이제 데이터를 기본 스토리지용, 아카이빙용, 재해 복구용 등 다양한 AWS 리전에 있는 여러 S3 버킷에 쉽게 복제할 수 있다.

또 기업은 데이터 세트와 업데이트를 모든 AWS 리전에 배포해 짧은 대기 시간의 성능을 달성할 수 있다.

덧붙여 기업은 S3 복제(다중 대상)를 통해 스토리지 비용을 절감하고 데이터 컴플라이언스 요구사항을 충족하기 위해 대상마다 서로 다른 스토리지 클래스를 지정할 수 있다.

예컨대, 두 AWS 리전의 데이터에 S3 지능형 티어 스토리지 클래스를 사용하고 저비용 복제본을 위해 S3 글래시어 딥 아카이브에 다른 복사본을 가질 수 있다. 

S3 복제(다중 대상)는 서비스 수준 계약(SLA)에 포함되는 예측 가능한 복제 시간을 제공하기 위해 복제 시간 제어(Replication Time Control)와 같은 기존 S3 복제 기능을 완벽 지원, 기업의 컴플라이언스 또는 비즈니스 요구사항을 충족한다.

이 밖에도 기업은 아마존 클라우드워치(Amazon CloudWatch) 메트릭스, 이벤트, 객체 수준 복제 상태 필드를 사용, 복제 상태를 모니터링할 수 있다.

S3 복제(다중 대상)는 S3 관리 콘솔이나 AWS 클라우드포메이션(AWS CloudFormation)을 사용하거나 AWS CLI 또는 AWS SDK를 통해 구성할 수 있다.

AWS의 S3 복제(다중 대상)는 https://aws.amazon.com/s3/featureshttps://aws.amazon.com/s3/features/replication에서 시작할 수 있다.

마이란 톰슨 뷰코벡(Mai-Lan Tomsen Bukovec) AWS스토리지 부문 부사장은 “지난 30년간 생성된 데이터보다 향후 3년 안에 더 많은 데이터가 생성될 것”이라며 “클라우드는 개발자와 기업이 이렇게 많은 데이터를 생성하고 보존하는 데 큰 역할을 하며, 데이터 스토리지는 재창조가 필요한 상황이다. 이번에 발표한 스토리지 혁신은 클라우드를 위한 새로운 SAN을 구축하고, 기업의 방대한 데이터를 자동으로 티어링해 자주 액세스하지 않는 데이터에 대한 비용을 절감하며, 필요에 따라 전 세계 어디든지 데이터를 쉽게 복제하고 이동, 기업이 이같은 뉴노멀을 보다 효과적으로 관리할 수 있게 돕는다”고 말했다.

◆글로벌 사례는 = 잘란도(Zalando)는 3500만명 이상의 활성 고객을 보유한 유럽을 대표하는 패션 및 라이프스타일 온라인 플랫폼이다.

맥스 슐체(Max Schultze) 잘란도 리드 데이터 엔지니어는 “아마존 S3에 15PB의 데이터 레이크를 구축해 직원들이 이전에는 접근하지 못했을 과거의 판매 및 웹 추적 데이터를 작업하고 분석할 수 있게 됐다. 프리퀀트 액세스(Frequent Access) 티어와 인프리퀀트 액세스(Infrequent Access) 티어 간에 객체를 자동으로 이동시키는 S3 지능형 티어를 사용, 데이터 레이크에 대한 연간 스토리지 비용의 37%를 절감할 수 있었다. 새로운 S3 지능형 티어 아카이브 액세스(Archive Access)를 통해 장기간 액세스되지 않는 객체에 대해 비용을 추가 절감할 수 있을 것으로 기대한다”고 말했다.

스머그머그(SmugMug)+플리커(Flickr)는 사진작가 중심 플랫폼이다.

앤드류 시(Andrew Shieh) 스머그머그+플리커 엔지니어링/운영 부문 디렉터는 “우리는 S3 복제는 처음이지만 초기부터 아마존 S3를 사용해 왔다. 다중 대상을 위한 S3 복제는 우리 회사의 글로벌 데이터 처리를 위한 훌륭한 옵션을 제공한다. 이제 기존 S3 오브젝트 태그를 사용, 최적화된 복제 전략을 계획하면서 S3 복제를 새로운 방식으로 활용할 수 있다. 다중 대상을 지원하는 S3 복제가 어려움을 덜어주어 이제 우리가 운영과 개발에 더 시간을 소비할 수 있게 됐다. S3에서 몇 줄의 코드로 완전 관리되는 페타바이트급 데이터는 우리 비즈니스의 핵심이다. 이같은 S3의 지속적인 개선 덕분에 스머그머그와 플리커가 AWS에서 당사의 파트너들과 함께 성장할 수 있게 됐다”고 말했다.

<김동기 기자>kdk@bikorea.net