수년간 빅데이터를 말하면서, 하둡(Hadoop) 얘기는 빼놓지 않고 회자되고 있다.

구글이 ‘하둡’을 활용해 빅데이터를 실현하고 있다는 사실만으로, 하둡은 왠지 빅데이터 구현의 유일한 해법처럼 연결고리가 되고 있는 것이 현실이다.

그럼에도 국내외 기업이 이 하둡을 활용하는데 대해서는 인색한 것이 최근 상황이다.

SAS코리아 이진권<사진> 상무는 “기업에는 이미 DW를 구축해 놓았고, 이를 빅데이터 분석용 하둡으로 연계하는데 대한 담당 부서의 고민이 늘고 있다. 당분간 기업에서는 DW와 빅데이터를 혼용해 사용할 것으로 보인다. 글로벌 보고서에 따르면, 빅데이터에 하둡을 도입한 기업은 60% 가량 증가했고, 설문에 응한 73%의 기업은 이미 하둡을 사용하고 있거나, 향후 도입할 계획인 것으로 전해진다”고 설명했다.

이 상무는 이어 “그러나, 여전히 기업 내부에서는 하둡에 대해 잘 모르거나 어떻게 접근해야 할지 난감해 하고 있다. SAS 데이터 로더 포 하둡을 사용하면, 분석 전문가가 아니어도 하둡을 어떻게 활용할 지 손쉽게 접근할 수 있다”고 덧붙였다.

◆데이터 프로파일링, 관리, 정리, 이동 지원 ‘SAS 데이터로더 포 하둡’ 주목 = 흔하게 설명하면, 하둡은 하둡 파일 시스템을 통한 데이터 수집 및 저장, 맵리듀스를 이용한 데이터 처리 일련의 과정을 말한다.

기업이 가진 모든 데이터를 빅데이터 기법으로 분석을 할 때, 이 분석용 데이터만 따로 모아 분석 속도를 끌어올리는 저장소라고 해도 이해가 쉽다.

▲ 그림1 ‘SAS 데이터로더 포 하둡 주요기능’

이 하둡은 그러나 라이브러리를 사용한다고 해도 전문적인 코딩 기술이 요하기 때문에 기업에서 이를 도입, 활용하는데 제약이 많다.

ETL과 비슷한 성격의 ‘SAS 데이터로더 포 하둡(SAS Data Loader for Hadoop)’은 사용자 스스로 PC에 설치, 데이터 속성을 분석하도록 지원하는 솔루션이다. <그림1 ‘SAS 데이터로더 포 하둡 주요기능’ 참조>

데이터 프로파일링, 관리, 정리, 이동을 모두 지원한다.

이진권 SAS코리아 상무는 “SAS 데이터로더 포 하둡은 기업내 전체 ETL의 서브셋”이라며 “데이터의 가공 전치(transpose), 39개국 글로벌 QKB지원, 데이터 속성분석, 병렬 데이터 프로세싱, 인메모리 초고속 분석 등 기능을 가진 솔루션”이라고 설명했다. <그림2 ‘SAS 데이터로더 포 하둡 마법사 기능’ 참조>

▲ 그림2 ‘SAS 데이터로더 포 하둡 마법사 기능’

‘SAS 데이터로더 포 하둡’은 IT부서 도움없이 일반 사용자가 직접 데이터 통합, 품질, 준비 등 작업을 수행할 수 있도록 지원한다.

특히 하둡 환경에서 데이터 정제는 ‘SAS 데이터 로더 포 하둡’의 가장 큰 특징.

즉 데이터를 프로파일링 해 데이터 품질의 전반적인 상태를 파악할 수 있고, 이를 통해 데이터의 표준화, 파싱, 매칭 등 기능을 수행할 수 있다. <그림3 ‘SAS 데이터 로더 포 하둡을 활용한 데이터 클린징 화면’ 참조>

▲ 그림3 ‘SAS 데이터 로더 포 하둡을 활용한 데이터 클린징 화면’

◆‘SAS 포럼 코리아 2015’ 성황 = SAS코리아는 이 ‘SAS 데이터 로더 포 하둡’ 발표를 포함한 빅데이터 분석 컨퍼런스 ‘SAS 포럼 코리아 2015’를 성황리에 마쳤다고 14일 밝혔다.

이번 행사에는 삼성동 그랜드인터컨티넨탈호텔에서 약 2000여명의 기업, 정부기관 및 학계, IT관계자들이 참석했다.

‘SAS 포럼 코리아 2015’ 행사는 ‘더 애널리틱스 오브 씽스(The Analytics of Things)’라는 주제로, 사물인터넷(IoT)과 클라우드(Cloud) 시대의 애널리틱스(Analytics)의 역할과 하둡(Hadoop)이라는 패러다임에 대응하는 비즈니스 전략 그리고 애널리틱스 비전을 제시했다.

행사에서 SAS코리아는 빅데이터 저장소이자 대규모 데이터 처리를 위한 최신 인프라인 하둡 환경에서의 분석을 위해 ‘SAS 하둡 분석 플랫폼(SAS Analytics Platform for Hadoop)’ 전략을 발표했다.

SAS의 전략은, 클라우데라, 호튼웍스, KT넥스알 등 하둡 벤더와 더불어 한국HP 파트너십을 통해 국내 시장에서 빅데이터 분석을 위한 하둡, 하드웨어, SAS솔루션(SAS Solutions for Hadoop)을 하나의 스위트(One Suite)로 제공하겠다는 것이 주요 골자다.

더불어 행사장에서 SAS코리아는 대용량, 초고속으로 유입되는 스트리밍 데이터 실시간 처리 제품 ‘SAS 이벤트 스트림 프로세싱 엔진(SAS Event Stream Processing Engine)’, 빅데이터 탐색과 시각화 분석을 위한 ‘SAS 비주얼 애널리틱스(SAS Visual Analytics) 및 SAS 비주얼 스태티스틱스(SAS Visual Statistics)’의 통합 버전을 업그레이드 출시, 소개했다.

SAS코리아는 이어 클라우드 인프라 상에서 전세계 많은 고객들에게 SAS의 분석 솔루션을 제공하고 있다고 밝혔다.

SAS 솔루션은 프라이빗과 퍼블릭 클라우드 환경은 물론 하이브리드(Hybrid) IT 등 고객이 원하는 인프라 상에서 구축이 가능하다.

최근에는 아마존 웹 서비스(AWS) 등 퍼블릭 클라우드 벤더들과 파트너십을 통해 클라우드 환경에서 지원할 수 있는 솔루션을 확대했다.

이에 SAS는 클라우드 상에서 ‘SAS 데이터 로더 포 하둡’ 제품의 무료 90일 평가판과 ‘SAS 유니버시티 에디션(SAS University Edition)’ 무료 소프트웨어를 제공하고 있다.

현재 레노버(Lenovo)와 판클(FANCL) 등의 고객들이 AWS에서 SAS를 실행하고 있으며, 클라우드 환경에서 유연하고 확장성이 분석 인프라를 구축하고 있다.

이같은 성과에 힘입어 2014년 SAS의 전세계 클라우드 매출액은 전년대비 24%의 성장세를 기록하기도 했다.

SAS코리아의 조성식 대표는 “모바일의 등장으로 데이터가 급증하고, 2020년까지 300억개의 기기들이 서로 연결되면서 이제 우리는 ‘Internet of Things(IoT)’가 아닌 ‘애널리틱스 오브 씽스(Analytics of Things)’에 대해 고민해야 한다”며 “SAS는 이를 위해 하둡, 클라우드 환경의 최신 분석 플랫폼을 꾸준히 제공하고, 데이터 사이언티스트 양성에도 적극 노력, 빅데이터와 함께 등장한 새로운 기술과 함께 지속적으로 혁신, 성장해 나아갈 것”이라고 말했다.

14일 열린 ‘SAS 포럼 코리아’ 행사에는 클라우데라, 호튼웍스, 한국HP, KT넥스알, 코오롱베니트, 바이텍씨스템 등 SAS파트너사가 후원해 총 4개 트랙과 20개 발표 세션, 전시 행사에 함께 참여했다.

SAS 솔루션을 직접 체험할 수 있는 별도의 핸즈온(Hands-On) 세션에 SAS 인-메모리 분석(SAS In-Memory Analytics) 기술 기반의 데이터 시각화 솔루션 ‘SAS 비주얼 애널리틱스’와 ‘SAS 비주얼 스테이틱스’를 일반사용자가 쉽게 사용 할 수 있도록 DIY(Do It Yourself) 환경의 실습 기회를 제공해 큰 호응을 얻었다.

한편 SAS코리아가 지난해부터 무료 제공하는 ‘SAS 유니버시티 에디션(University Edition)’이 작년 한해 전세계에서 총 25만 2000명이 다운로드 했다고 밝혔다.

국내의 경우 1만 847명이 사용 중으로, 올해는 사용 가능한 기능이 늘어났고 AWS 상에서도 사용할 수 있어, 학계 및 연구계에서 보다 쉽게 ‘SAS 우유니버스티 에디션 소프트웨어를 활용할 수 있게 됐다.

AWS 마켓플레이스에서는 무료 프로그램을 적용, 최초 AWS 가입자는 1년간 매월 최대 750시간까지 ‘SAS 유니버시티 에디션’ 소프트웨어를 무료로 이용 가능하다.

<김동기 기자>kdk@bikorea.net