아마존웹서비스(아마존 Web Services, 이하 AWS)는 클라우드 컨퍼런스 ‘AWS 리인벤트 2019’에서 현재와 미래의 방대한 데이터를 간편하게 처리할 수 있도록 지원하는 최신 분석 기술들을 발표했다. 

AWS는 대규모 데이터 스토리지, 데이터 웨어하우스, 운영 데이터베이스 처리 시 대폭 향상된 쿼리 성능과 유연성을 제공하는 최신 ‘레드시프트(Redshift)’ 기술을 선보이고, 아마존 ‘엘라스틱 서치 서비스(Amazon Elastic Search Service)’를 위한 ‘웜(Warm) 스토리지’ 제품군을 새롭게 발표했다. 

◆‘아마존 레드시프트 RA3 인스턴스’ = 데이터 용량이 점차 커져가면서(매주 PB 단위로 증가), 기업은 아마존 ‘레드시프트 데이터 웨어하우스’를 통해 더 많은 데이터를 처리하고 있다. 

또 데이터 웨어하우스를 확장하기 위해, 레드시프트의 ‘엘라스틱(Elastic)’ 사이즈 조정기능을 사용해 새로운 인스턴스를 추가한다. 

레드시프트 인스턴스에는 컴퓨트와 스토리지 용량이 고정돼 있어, 둘 중 하나가 과도한 프로비저닝을 갖게 되거나, 사용하지 않는 용량에 대해 비용을 지불해야 할 가능성이 있다. 

기업은 컴퓨트를 과도하게 프로비저닝하지 않으면서 스토리지를 늘려서 스토리지 비용 부담을 줄이거나, 스토리지 비용을 늘리지 않으면서 컴퓨트 용량을 탄력적으로 운용하기를 원한다. 

관리형 스토리지 기능이 탑재된 최신 아마존 ‘레드시프트 RA3(Amazon Redshift RA3) 인스턴스’는 컴퓨트와 스토리지의 개별적 확장을 통해 데이터 웨어하우스 최적화를 가능케한다. 

아마존 ‘레드시프트 RA3 인스턴스’ 사용 기업은 데이터 웨어하우스 워크로드의 성능에 따라 인스턴스 물량을 결정하고 관리형 스토리지는 사용량에 따라 비용을 지불하게 된다. 

‘레드시프트 관리형 스토리지’는 고속 로컬 스토리지를 위해 아마존 ‘레드시프트 RA3 인스턴스’에서 대용량, 고성능 SSD를 사용하고, 장기적이고 견고한 스토리지를 위해 아마존 S3를 사용한다. 

인스턴스 데이터가 대형 로컬 스토리지 용량을 초과하면, 레드시프트 관리형 스토리지는 초과 용량을 아마존 S3에 자동으로 오프로드한다. 

데이터가 로컬 스토리지에 있든 아마존 S3에 있든, 레드시프트 관리형 스토리지는 저비용으로 사용할 수 있고, 로컬 RA3 스토리지에서 사용한 용량에 대해서만 비용을 지불한다. 

즉, 미사용 분에 대한 비용 낭비가 없다는 의미다. 

고 스토리지 용량, 저 컴퓨트 용량의 경우, 인스턴스 추가나 추가 비용 지불 없이 데이터 웨어하우스 스토리지 용량을 자동 확장할 수 있다. 

‘레드시프트 관리형 스토리지’는 다양한 관리 기술을 이용해 데이터를 효과적으로 아마존 S3에 오프로드하거나 회수할 수 있게 한다. 

덧붙여 ‘AWS 니트로 시스템(AWS Nitro System)’을 기반으로 구축돼 대역폭이 커서 데이터 저장 및 회수 시간이 최소화된다. 

관리형 스토리지 기능이 탑재된 최신 아마존 ‘레드시프트 RA3 인스턴스’의 이와 같은 성능들은 타 클라우드 데이터 웨어하우스 대비 3배 빠른 성능을 제공하고, 덴스 스토리지(Dense Storage, DS2) 인스턴스를 사용하는 아마존 레드시프트 사용자들은 같은 비용으로 2배 빠른 성능과 2배 큰 스토리지 용량을 사용할 수 있다. 

‘RA3 16xlarge 인스턴스’는 지난 6일부터 시판되는데, PB급 데이터(최대 8PB 압축 데이터)를 지원하고, 내년 초부터 RA3 4xlarge 인스턴스도 출시된다. 

레드시프트 RA3 인스턴스에 대한 보다 자세한 내용은 https://aws.amazon.com/redshift에서 확인할 수 있다.

◆아마존 레드시프트용 AQUA(Advanced Query Accelerator) = 이 솔루션은 스토리지 레이어에 컴퓨트를 탑재, 여타 클라우드 데이터 웨어하우스 대비 최대 10배 빠른 성능을 구현한다.

데이터 웨어하우스에서 처리해야 하는 데이터 용량이 급증하면서, 성능과 확장성 비용 간의 균형 문제가 대두된다. 

보편적인 해결책으로는 중앙집중식 스토리지의 상당부분을 대기 중인 컴퓨트 노드로 전송해 처리하는 아키텍처 방식이다. 

여기서 문제는 데이터와 컴퓨트 노드 간 이동이 급증한다는 것. 데이터 용량이 급증하면, 데이터 이동으로 가용 대역폭이 포화상태에 도달하고 성능이 저하된다. 

또한, 스토리지 노드 상의 SSD 처리량이 지난 7년 간 CPU 메모리 기반 데이터 처리 능력에 비해 6배 더 빨라져서 네트워킹 병목현상이 해결돼도 CPU가 스토리지 속도 성능을 따라가지 못해 그 자체가 병목현상을 발생시키거나, 처리속도를 높이기 위해 컴퓨트를 증설해야 하므로 비용 증가를 초래할 수 있다. 

아마존 ‘레드시프트용 아쿠아(AQUA)’는(2020년 중반 출시 예정) 아마존 레드시프트를 위한 새로운 분산형 하드웨어 가속 캐시로 스케일이 다른 데이터 증가 속도에 발맞춰 성능과 혁신면에서 새로운 차원의 솔루션을 제공한다. 

‘아쿠아’는 스토리지 레이어에 컴퓨트를 탑재해 데이터가 이 둘 사이를 거치지 않아도 돼 레드시프트가 여타 클라우드 데이터 웨어하우스 대비 10배 빠른 속도로 작동할 수 있게 한다. 

특히, ‘아쿠아’는 아마존 S3상에 구현된 대규모 고속 캐시 아키텍처로, 많은 노드의 데이터를 동시에 확장하고 처리할 수 있다. 

각 노드는 데이터 압축, 암호화, 데이터 처리(필터링, 집계 포함)을 가속화하는 AWS 분석 프로세서로 구성돼 있다. 

이 새로운 아키텍처는 기존 클라우드 데이터 웨어하우스 보다 훨씬 더 빠르게 쿼리를 실행해 로우 데이터(raw data)를 직접 쿼리할 수 있어, 최신 대시보드를 제공하고, 개발 시간을 단축하며, 유지보수를 쉽게 할 수 있게 한다. 

또 ‘아쿠아’로 구현된 아마존 레드시프트는 현재의 아마존 레드시프트 버전과 100% 호환 가능해 기존 데이터 웨어하우스를 코드 변경없이 마이그레이션 할 수 있다. 

‘아쿠아’는 새로운 차원의 분석 성능 혁신을 새로운 규모의 데이터와 함께 제공하며, 2020년 중반 출시될 예정이다. 

AQUA에 대한 보다 자세한 내용은 https://pages.awscloud.com/AQUA_Preview.html에서 확인할 수 있다.

◆아마존 ‘레드시프트 데이트 레이크 엑스포트’ = 이 솔루션은 데이터레이크에 쿼리 결과를 간편하게 직접 저장 가능하도록 지원한다.

기업은 데이터 웨어하우스와 데이터레이크에 저장된 데이터를 결합해야 하고, 데이터가 사일로(silo)나 자체 포맷에 묶이는 것을 원치 않는다. 

예를 들어, 어떤 기업은 고객이 제품을 구매하기 전에 뭘 검색했는지 알고 싶어 할 수 있다. 

데이터 웨어하우스에 있는 주문 기록을 아마존 ‘S3 데이터레이크’에 있는 ‘클릭 스트림(clickstream) 데이터’와 결합해야 한다. 

아마존 레드시프트는 고객들이 아마존 레드시프트 데이터 웨어하우스와 아마존 S3 데이터레이크에 있는 데이터를 직접 쿼리하고 결합할 수 있게 해 데이터 웨어하우징에 ‘레이크 하우스’ 접근법을 적용할 수 있게 한다. 

데이터가 아마존 레드시프트와 아마존 S3에 각기 저장된 레이크 하우스의 세상에서 기업은 아마존 레드시프트 쿼리 결과를 아마존 S3에 다른 서비스에서도 사용가능한 ‘오픈 포맷(open format)’으로 쉽게 가져올 수 있는 방법이 필요하다. 

배포되는 아마존 ‘레드시프트 데이터레이크 엑스포트(Amazon Redshift Data Lake Export)’는 기업이 데이터를 분석에 최적화된 오픈 데이터 포맷(아파치 파케이, Apache Parquet)으로 아마존 레드시프트에서 아마존 S3로 엑스포트 하도록 지원한다. 

기업은 이제 아마존 레드시프트에서 실행한 쿼리 결과를 자신의 데이터레이크에 오픈 포맷으로 저장해 데이터를 아마존 세이지메이커(Amazon SageMaker), 아마존 아테나(Amazon Athena), 아마존 EMR(Amazon EMR) 등과 같은 분석 서비스와 함께 분석할 수 있다. 

현재 간편하게 데이터를 쿼리하고, 오픈 포맷으로 데이터레이크에 데이터를 쓸수 있는 클라우드 데이터 웨어하우스는 아마존 레드시프트 데이터레이크 엑스포트 뿐이다. 

아마존 레드시프트 데이터레이크 엑스포트 사용법에 대한 보다 자세한 내용은  https://aws.amazon.com/redshift에서 확인할 수 있다. 

◆아마존 레드시프트 페더레이티드 쿼리 = 이 솔루션은 데이터 웨어하우스, 데이터레이크, 운영 데이터베이스 전반의 데이터 분석기능 제공한다.

관계형(relational) 데이터베이스에서 방대한 양의 데이터를 데이터 웨어하우스로 집계, 변경, 업로드 하는 일은 많은 리소스와 시간이 필요한 일이기 때문에, 많은 기업이 이 업무를 하루에 단 한번만 진행한다. 

그런데 이같은 방식은 기업이 원래 운영(operational) 데이터베이스에 저장됐던 특정 유형의 시의적절한 정보를 찾기 위해 데이터 웨어하우스에 쿼리해야 할 때 문제가 될 수 있다. 

예를 들어, 최근 주문한 제품과 관련된 문제에 대해 고객 상담중인 직원이 고객의 주문내역을 확인해야 하는데 하루 지난 관련 없는 정보만 볼 수 있게 될 수 있기 때문이다. 

기업은 맞춤형 애플리케이션 코드를 써서 운영데이터베이스에 직접 쿼리해 이 문제를 해결할 수 있다. 

하지만, 여기에 필요한 통합 시스템을 구축하려면 많은 비용과 시간이 소요되고 유지보수도 쉽지 않다. 

아마존 ‘레드시프트 페더레이티드 쿼리(Amazon Redshift Federated Query)’는 기업이 아마존 레드시프트 데이터 웨어하우스, 아마존 S3 데이터레이크, 아마존 RDS, 아마존 오로라(PostgreSQL) 운영데이터베이스 전반의 라이브 데이터에 대해 아마존 레드시프트로 쿼리를 실행할 수 있는 기능을 제공한다. 

기업은 익숙한 SQL 명령어를 사용해 다양한 데이터 저장소의 데이터를 통합할 수 있어 애플리케이션 개발 과정을 단순화할 수 있다. 

이제, 아마존 레드시프트 쿼리를 통해 운영데이터베이스에서 시의적절한 최신 데이터를 추출해 향상된 인사이트와 결정을 도출할 수 있다. 

최상의 성능을 위해서, 레드시프트 쿼리 옵티마이저(optimizer)가 최대한 많은 작업을 기본 데이터베이스에 지능적으로 분배한다. 

아마존 레드시프트 페더레이티드 쿼리에 대한 보다 자세한 내용은  https://aws.amazon.com/redshift에서 확인할 수 있다.

◆아마존 엘라스틱서치 서비스를 위한 울트라웜 = 이 솔루션은 10%의 비용으로 빠르고 인터랙티브한 로그 데이터 분석을 지원한다.

마이크로서비스, 컨테이너, 특정 목적을 위한 데이터 저장소를 활용해 구축되는 애플리케이션이 점차 증가하면서 방대한 양의 로그 데이터가 생성되고 있다. 

아마존 ‘엘라스틱서치 서비스’는 웹사이트, 모바일 디바이스와 센서에서 생성되는 로그 데이터를 쉽게 수집, 분석, 시각화 한다. 

덧붙여 아마존 ‘엘라스틱서치 서비스’는 완전 관리형으로, 기업은 생산 준비된(production-ready) 클러스터를 단 몇 분 안에 적용하고, 클러스터를 확장•축소하며, 유휴•사용 데이터를 안전하게 보관할 수 있다. 

그러나 로그 데이터의 양이 기하급수적으로 증가한다는 점을 고려하면, 수개월 또는 수년간 축적된 데이터를 대규모로 저장하고 분석하는 데는 막대한 비용이 든다. . 

기업은 여러 분석 툴을 사용하거나 소중한 데이터를 삭제해 장기 데이터가 제공할 수 있는 중요한 인사이트를 잃어버리는 것을 감수해야 했다. 

기업의 이같은 문제를 해결하기 위해 AWS는 아마존 엘라스틱서치 서비스에 활용될 수 있는 새로운 스토리지 제품군 ‘울트라웜(UltraWarm)’을 개발했다. 

엘라스틱서치 사용객은 웜 스토리지 제품군(warm storage tier)에 방대한 양의 데이터를 비용 효율적인 방식으로 저장하고 기존의 엘라스틱서치가 제공했던 빠르고 인터랙티브한(interactive) 경험도 누릴 수 있다. 

‘울트라웜’은 자주 사용되는 데이터에는 분산 캐시를 제공하는 한편, 고급 배치(placement) 기술을 통해 활용 빈도가 낮은 데이터 블록을 파악해 캐시 바깥의 아마존 S3으로 오프로드 한다. 

아울러 ‘울트라웜’은 고성능 EC2 인스턴스를 사용해 S3에 저장된 데이터와 상호작용하며 경쟁사의 웜 제품군 솔루션 대비 50% 빠른 쿼리 실행 속도를 제공할 뿐 아니라, 기업이 로그 데이터를 사용할 때 동일한 수준의 인터랙티브한 분석 경험을 제공한다. 

덧붙여 ‘울트라웜’은 기존 엘라스틱서치 대비 동일한 양의 데이터를 저장할때 최대 90%의 비용 절감 효과가 있으며, 타사의 관리형 엘라스틱서치 제품에 활용되는 웜 제품군 스토리지 대비 80% 낮은 가격으로 제공된다. 

‘울트라웜’ 사용 기업은 최대 3PB의 로그 데이터를 단일 아마존 엘라스틱서치 서비스 클러스터에서 관리할 수 있으며, 다수의 클러스터에서 쿼리할 수 있는 역량을 활용해 현재 및 과거 로그 데이터를 크기에 상관없이 효과적으로 보관해 추후 인터랙티브 운영 분석이나 시각화에 활용할 수 있다. 

현재 ‘울트라웜’은 아마존 엘라스틱서치 서비스가 매끄럽게 확장된 버전이다. 

기업은 장•단기 운영 데이터로 손쉽게 쿼리하고 시각화할 수 있으며, 모든 작업은 키바나(Kibana) 인터페이스에서 기존보다 훨씬 낮은 비용으로 이뤄진다. 

아마존 엘라스틱서치 서비스를 이용하는 개발자, 데브옵스(DevOps) 엔지니어, 정보보안(InfoSec) 전문가들은 수일을 들여 아카이브 ‘아마존 S3 또는 글래시어(Glacier)’에서 데이터를 엘라스틱서치 클러스터에 검색 가능한 상태로 복원할 필요 없이 몇 주에서 몇 달, 몇 년에 거치는 장•단기 운영 데이터를 분석할 수 있다. 

울트라웜에 대한 보다 자세한 내용은 https://aws.amazon.com/elasticsearch-service/features에서 확인할 수 있다.

라주 굴라바니(Raju Gulabani) AWS 데이터베이스 서비스 부문 부사장은 “기업은 PB나 심지어 EB에 달하는 데이터를 주기적으로 처리해야하는데 기존 분석 시스템으로는 이와 같이 방대한 양의 데이터를 처리할 수 없다. 기업은 또 데이터 웨어하우스와 데이터레이크 전반에 위치한 로우 데이터를 빠르게 분석하고, 비즈니스 운영에 도움을 줄 수 있는 정보를 보존하기 위해 방대한 양의 로그 데이터를 비용 효율적으로 다루고 싶어 한다. 오늘 발표를 통해 AWS는 기업이 이 모든 것들을 구현하고, 방대한 데이터도 부담없이 처리할 수 있게 지원할 것”이라고 말했다.

NTT 도코모(NTT DOCOMO)는 7300만명의 소비자를 보유하고 있는 일본 이동통신사다. 

사토 다카기(Takaaki Sato) NTT 도코모 서비스 혁신부 총괄 매니저는 “2014년에 아마존 레드시프트로 마이그레이션 한 이후 데이터 용량을 10TB에 달하는 압축 데이터로 확대하고 기존 온프레미스 시스템 대비 성능을 10배 이상 향상했다. 레드시프트는 현재 자사 분석 환경의 구심점 역할을 한다. 아마존 레드시프트를 활용한 이래 데이터 양과 유저 수가 증가했으며, 이 과정에서 놀라운 유연성과 사용 편의성을 경험했다. 최신 아마존 레드시프트 데이터레이크 엑스포트로 업무흐름을 간소화해 데이터레이크 전반의 데이터를 보다 잘 활용할 수 있다. 컴퓨트와 스토리지를 분리해 확장할 수 있게 하는 아마존 레드시프트 RA3 인스턴스와 관리형 스토리지에 거는 기대도 크다. 아마존 레드시프트 데이터 웨어하우스를 지속적으로 확장하고 성능 향상을 도모하는 가운데 아마존 레드시프트용 아쿠아가 가져다 줄 혜택을 기대한다”고 말했다.

<김동기 기자>kdk@bikorea.net