“하둡, NoSQL, R, 맵리듀스…” 빅데이터 시대, 주목받는 기술들이다.

이들 기술의 공통점은 대용량 데이터 처리에 적합하면서, 가격은 저렴하거나 운영에 있어 손쉬운 편의성이 돋보인다는 장점이다.

그러나, 세간의 관심은 이들 기술만 이용하면 빅데이터를 구현할 수 있을 것 같다는 다소 불편한 진실 속에 있다.

한국오라클 장성우 상무는 “빅데이터는 전통적 데이터 운용방식과 새로운 기술의 적절한 조화를 통해 대응해야 한다”고 강조했다.

즉, 정형 데이터이지만 규정을 준수해야 하거나 기업의 일정한 요건하에서 이미 관리되는 데이터 셋은 전통적인 방식으로 관리하면 된다.

새로운 기술들은 이들 비즈니스 데이터와 빅데이터를 효과적으로 저장 및 분석할 수 있는 확장된 데이터에 활용하면서, 기업의 전략방향에 맞게 운용하면 된다.

예를 들어, 금융회사의 경우 고객원장 등 그동안 전통적으로 취급해 온 고객데이터는 기존 관계형 데이터 베이스 구조에서 처리한다. <그림1 ‘관계형 데이터베이스, NoSQL, 하둡의 기능적 성격’ 참조>

▲ 그림1 ‘관계형 데이터베이스 NoSQL 하둡의 기능적 성격’

바젤II, 바젤III 같이 규제에 대응해야 하지만, 고객원장 데이터의 일정부분 가공이 필요하거나 시장리스크 데이터 같이 비정형 구조의 데이터를 처리하기 위해서는 하둡, NoSQL, 맵리듀스 등 기술을 활용하면 된다는 것이다.

실제로, 시중은행들의 경우 전통적 CRM 기법을 탈피, 빅데이터를 활용하는 방법으로 이같이 일부 데이터 마트를 만들고 이 마트에 BI툴을 얹어 분석용으로 활용하는 사례가 적지 않게 나타나고 있다.

◆오라클의 4단계 접근법으로 빅데이터 대응 ‘OK’ = 한국오라클 장성우 상무는 이에 따라 “기존 DW 아키텍처에 빅데이터를 포함하도록 점진적으로 확산하는 방식이 바람직할 것”이라고 제안했다.

이를 위해 총 4단계의 접근법을 제시했다.

오라클의 제안은 1단계 기존 DW 상에서 고급 분석, 2단계 빅데이터 처리 아키텍처 추가, 3단계 실시간 처리 구조로의 확장, 4단계 탐색을 통한 새로운 정보 발견 등으로 설명할 수 있다.

우선, 1단계는 오라클 엑사데이터 머신을 활용, 데이터 웨어하우스 기본 구조를 완성한다.

이는 데이터의 이동없이 데이터가 있는 곳에서 고급 분석 수행이 필요하거나 이용할 수 있어야 한다는 것이다.

장성우 상무는 “빅데이터 시대 하지 말아야 할 두 가지가 있다. 그것은 ‘중복과 이동’”이라며 “막대한 데이터를 이동하지 않고 DW에서 직접 분석하는 기술이 중요하다”고 강조했다.

이 과정에서 오픈소스 랭귀지 ‘R’을 손쉽게 활용하도록 오라클은 ORE(Oracle R Enterprise)를 제공한다. <그림2 ‘오라클 R 엔터프라이즈 아키텍처’ 참조>

▲ 그림2 ‘오라클 R 엔터프라이즈 아키텍처’

장성우 상무는 “개인의 PC에서 활용하는 R 랭귀지가 막상 분석에 나서고자 할때는 일종의 메모리 부족현상을 발생시킬 수 있다”며 “ORE는 이를 서버로 끌고 와 분석 후 결과값만 PC에 던져줘 리소스 부족현상 등을 극복할 수 있게 설계됐다”고 말했다.

2단계로 DW를 위한 비정형 ODS(Operational Data Store)로 ‘하둡’을 활용하기 위해 오라클 ‘빅데이터 어플라이언스(BDA)’를 구축한다. <그림3 ‘2단계 : 빅데이터 처리 아키텍처 추가’ 참조>

▲ 그림3 ‘2단계 빅데이터 처리 아키텍처 추가’

한 캐비닛 안에 최대 680테라바이트 이상의 x86 서버를 사전 설계해 제공하는 오라클 빅데이터 어플라이언스는 클라우데라 하둡 배포판, NoSQL DB, 하둡 파일시스템을 손쉽게 연계한다.

3단계 실시간 처리 구조로의 확장 방식 관련, 오라클은 ‘오라클 이벤트 프로세싱(Oracle Event Processing, OEP)’을 제안한다.

OEP는 빅데이터의 실시간 처리를 위해 개발된 기술로 다양한 곳에서 발생하는 방대한 양의 실시간 이벤트를 빠르게 처리해 의미있는 이벤트를 실시간으로 감지하고 대응하는 기술이다.<그림4 ‘빅데이터의 실시간 처리를 위한 OEP’ 참조>

▲ 그림4 ‘빅데이터의 실시간 처리를 위한 OEP’

마지막 4단계 ‘탐색을 통한 새로운 정보 발견’을 위해 오라클은 ‘엔데카 인포메이션 디스커버리(Oracle Endeca Information Discovery)’ 솔루션을 제안한다.

엔데카는 결과 분석과 비즈니스 인텔리전스(BI)를 가미한 기업용 검색 솔루션이다.

이 솔루션은 사용자가 다양한 소스로부터 모은 데이터를 상용성있는 인텔리전스로 변환, 정확한 비즈니스 의사결정을 내릴 수 있도록 돕는다.

특히, 솔루션이 지정한 질문뿐 아니라 사용자가 원하는 질문을 검색창에 직접 넣으면 질문의 맥락을 파악해 정확한 데이터 결과를 찾아준다.

사용자는 원하는 질문을 검색창에 입력해 빠르게 데이터를 뽑아볼 수 있으며 그 밖에 전통적인 BI가 가진 장점도 고스란히 갖고 있다.

정리하면, 오라클은 1단계 기존 DW 상에서의 고급 분석->엑사데이타+ORE(오라클 R 엔터프라이즈), 2단계 빅데이터 처리 아키텍처 추가 ->BDA(빅데이터 어플라이언스), 3단계: 실시간 처리 구조로의 확장 ->OEP(오라클 이벤트 프로세싱), 4단계: 탐색을 통한 새로운 정보 발견 -> 엔데카 등 단계적으로 빅데이터 시장을 공략할 방침이다.

여전히 고객들이 혼란스럽게 느끼는 빅데이터 시장. 비교적 자사 솔루션 로드맵을 제대로 정리한 오라클의 전략적 승부수가 기대된다.

<김동기 기자>kdk@bikorea.net