부제 : ‘찐’ 마이데이타 분석 플랫폼의 자격 요건

지속적으로 변화하게 될 제도적·기술적 환경변화속에서 재구축 (또는 고도화) 고민이 필요 없는 마이데이타 데이터 분석 플랫폼은 어떤 요소를 지녀야 할까?

20년 하고도 몇년을 데이터 분석 시장에만 있으면서, 그동안 수많은 IT 유행과 트렌드, 기술의 변화 그리고 각종 기업의 흥망성쇠를 지켜보면서 드는 하나의 생각이 있다면 ‘새로움’도 ‘성숙함’에 언젠가는 수렴된다는 것이고, ‘성숙함’은 그 ‘새로움’을 자양분삼아 ‘진화’해왔다는 것이다.

갑자기 마이데이타 얘기하다 웬 뜬금없는 철학 얘기냐고 할 수 있겠으나, 굳이 꺼낸 이유는 이렇다.

마이데이타는 정보주체인 개인과 데이터 보유기업, 사업자 모두에게 득이 되는 새로운 비즈니스 모델이지만, 결국 마이데이타의 핵심은 분석이고, 이 분석 플랫폼은 지난 세월동안 고도로 검증된 그러나 새로운 기술을 수렴해 진화된 바로 그 플랫폼이다.

전혀 다른 새로운 기술의 등장이 아니라는 점이다.

물론 마이데이타 사업을 위해서는 ‘서비스 플랫폼·API 연계 시스템’ 등 새로운 처리계 시스템이 필요하지만, 이 또한, 새로운 기술적 특징을 지녀야하는 하는 시스템은 아니다.

지난 10여년간 특히 최근 5년 동안, 많은 새로운 기술들이 요란하게 등장했었고, 각자의 등장은 수많은 프로젝트를 양산했으며, 이제 이러한 시스템들은 원래의 용도를 잃고 겨우 명맥을 유지하거나 거의 사장됐다(아무도 실패라고 부르진 않지만).

금융권에도 이같은 일시 유행(Fad) 시스템들이 많이 등장했었다. 대표적인 예로 하둡기반의 VOC시스템이나 오픈소스 기반의 각종 단위 분석 프로젝트 등을 들 수 있다. 

이렇게 제도적·기술적 변화에 관계없이, 도입 후 재구축 또는 재구축 수준의 고도화가 필요없이  지속적으로 활용하기 위해서는 보안이나 암호화등 기본적인 DB플랫폼의 요소외에 어떠한 기술적인 특징과 강점을 가져야 하는지 살펴보고자 한다.

첫번째, ‘데이터 사이언티스트-시티즌 데이터 사이언티스트-분석현업-IT분석가-리포팅 툴 사용자’ 등 다양한 사용자 그룹의 스킬셋과 요구조건을 수용할 수 있어야 한다.

마이데이타 기업은 오직 데이터를 주요 자산으로, 핵심 로직과 비즈니스 케이스, 의미있는 이벤트, 결과값이 담긴 데이터 세트과 같은 데이터 상품을 생산해내는 미래형 공장이다.

이 일터에서 일하는 전문일꾼들은 그들의 교육수준·경력수준에 따라 다양하게 테크닉으로 각종 데이터 상품을 생산할 수 있는 스킬을 지니고 있다.

따라서 그들의 전문도구 SQL·R·파이썬(Python)·마이닝(Mining)·BI 등 다양한 종류의 분석 언어·도구·툴을 지원해야 한다.

두번째, 양질의 데이터 상품을 지속적으로 만들기 위해서는 생산에 참여하는 모든 전문일꾼들에게  똑같이 접근 가능한 한 벌의 데이터가 필요하다.

이를 위해 기준정보 체계를 마련하고, 구축과 활용시에도 체계적인 활용이 가능한 한 벌의 데이터를 제공해야 한다.

다른 한 벌의 데이터에 근간한 활용이 지원 가능한 DB기술도 필요한다.

금융권에서 자연스럽게 받아들여지고 있는 ADW, RDW, EUC 마트(Mart), 다수의 부서별 마트 등은 한 벌의 데이터로 지원하기 힘든 DB 기술 도입의 산물이다. 많은 자원과 노력이 중복되고 낭비되고 있는 것이다.

세번째, 융복합 쿼리를 지원할 수 있어야 한다.

‘융합형 쿼리’라 함은, 정형과 비정형 데이터 타입을 아우르는 쿼리를 얘기하며, ‘복합형 쿼리’라 함은, 온-프레미스와 클라우드에 있는 각각의 데이터 소스를 아우르는 쿼리를 말한다.

기존의 온-프레미스 기반의 정형 데이터 이외에 각종 피드백과 평가가 담긴 비정형 데이터와 클라우드에 있는 데이터를 분석하는 일은 시간이 지남에 따라 늘어나게 될 것이 자명하다.

따라서 이를 융복합 쿼리의 지원은 고도의 데이터 제품생산에 필수적인 요소이다. 

네번째, 데이터 패브릭 기능을 제공해야한다.

데이터 패브릭은 비단 융복합 쿼리 지원을 위한 필요한 요소만이 아니다. 성숙한 데이터 패브릭은 동일 기업내의 이기종 DB플랫폼간 예를 들어, 테라데이타-오라클 엑사데이타-SAP HANA와 같은 SQL시스템끼리의 ‘연합’쿼리를 지원할 수 있으며, 테라데이타 - 하둡 등과 같은 ‘융합형’과 테라데이타 온-프레미스-테라데이타 클라우드와 같이 ‘복합형’ 쿼리를 지원할 수 있다.

아직 마이 데이타 분석이 초기 단계인 만큼, ‘SQL + 하둡’ 정도의 융합쿼리 정도가 대부분으로 예상되지만, 클라우드가 성숙된 마이데이타 본격단계에 있어서의 데이타 패브릭 기능은 ‘연합+융합+복합’ 쿼리를 모두 지원할 수 있어야 한다.

또한 향후 제도·법규 등이 지원될 경우, 동일 기업내의 데이터 패브릭을 넘어 제휴 기업간의 범 제휴사 데이터 패브릭도 운영이 가능해 질 수도 있다.

이 경우, 예컨대 비정형-하둡에 기반을 둔 제휴사A, 테라데이타 온-프레미스에 기반을 둔 제휴사B, 오라클 엑사데이터에 기반을 둔 제휴사C와 테라데이타 클라우드에 기반을 둔 주관 기업 D를 아우르는 융복합 쿼리가 가능해짐에 따라, 민감한 데이터 이동 없이도 고도의 데이터 제품 생산이 가능해진다.

따라서 처음부터 데이터 패브릭 기술 수준을 가늠해보는 것은 매우 중요하다.

다섯 번째, 능동형·자율운영 워크로드 관리기능을 가지고 있어야 한다.

만일, 누군가가 아침부터 새로운 산업간 교차분석을 위한 알고리즘 로직 발굴을 위해 ‘비용값 혹은 부하’가 높은 실험적인 분석 업무를 개시하더라도, 그와 다른 사용자들의 통상적인 업무는 아무런 성능의 간섭없이 지원돼야 한다.

예를 들어 아침에 분석결과가 담긴 각종 보고서(리포트)를 받아 아침을 시작하고, 이후 밖에서 하루를 보내야 하는 영업지점 일선 근무자들에게는 어떠한 일이 있더라도 아침 시간에 보고서가 나와야 한다.

뿐만 아니라, 바쁘게 돌아가는 과정에도, 국회 감사보고용이나 금융위 등 감독당국 요구한 자료들을 제출하기 위한 사용자·태스크는 가장 우선순위로 지원할 수 있어야 한다.

여섯 번째, 하이브리드 및 멀티 클라우드를 지원할 수 있어야 한다. 

그동안 하드웨어 기종 선택에 있어, 아무런 제약없이, 선호와 전략적인 방향에 따라, 하드웨어 기종을 선택할 수 있듯이, 앞으로 중심으로 부각할 클라우드 분석 플랫폼의 선택에 있어서도 선택권이 보장돼야 한다.

따라서 분석 플랫폼은 온-프레미스 뿐만 아니라, 다양한 클라우드 상에서도 지원이 가능해야 해야 한다.

주요 퍼블릭 클라우드 기업 AWS, 마이크로소프트 애저(Azure), 구글(Google), 네이버비즈니스플랫폼(NBP), KT 클라우드 등 클라우드상에서 모두 지원이 가능해야만 벤더 락-인(Lock-in) 등 직접 폐해와 일방적인 라이선스 감사 등 간접 폐해를 줄일 수 있다. 

일곱 번째, 전수 데이터를 이용한 파일럿 프로젝트 기능을 제공해야 한다.

그동안 많은 빅 데이터 프로젝트가 실패하거나 투지비용대비 효용이 크게 낮은 것으로 나타나고 있다.

한 곳에 일단 대용량 데이터를 모으는 것이 주 목적이었던 만큼 예상할 수 있는 실패였으나, 실제로는 효용이 없던 데이터를 일단 모으고 보는 측면도 있다.

데이터 관련 프로젝트를 본격적으로 진행하기 위해서는 실제 파일럿을 운영할 당위성이 있으나, 파일럿 프로젝트를 위해 별도의 시스템을 구성하거나, 일부 데이터만 사용하여 전반적인 통찰을 얻지 못하는 것을 당연시할 필요는 없다.

현재 운영 시스템으로 전수 데이터를 활용해 파일럿을 할 수 있는 강력한 파일럿 지원(테라데이타의 경우, 데이터 랩)을 제공, 예산·기간 단축 및 전문가급 분석가들의 극대화된 창의성을 보장해줄 필요가 있다.

여덟 번째, 최고 수준의 안정성과 고가용성을 지녀야 한다.

구축형 시스템에 있든 클라우드상에 있든 이 새로운 유형의 데이터 컴퍼니의 유일한 공장은 분석 플랫폼이다.

따라서 안정성과 가용성은 반드시 보장이 돼야 한다.

사용자는 실제 시스템 기동이 불가능한 불용 상태뿐만 아니라 기존 성능예상수준(성능SLA)을 넘어설 경우, 서비스 장애로 인식한다.

따라서 수백-수천명에 이르는 사용자가 수십-수백만개의 쿼리를 동일 시간대에 던지더라도 성능 SLA을 크게 벗어나지 않는 범위내에서 지속적인 서비스를 제공할 수 있어야 한다.

물론 선형적 확장성이나 최고의 분석 성능, 보안 등은 굳이 말할 필요가 없는 기본 조건이다. 

이와 아울러, 마이데이타 분석은 여러 산업이 결합하는 산업간 교차 분석이 가장 궁극적인 형태이다.

만일 산업별 데이터 모델(Industry Data Model)이 있고, 이를 활용해 업무간(예, 고객), 산업간 융합 분석을 위해 필요한 데이터와 연관 데이터 구조를 효과적 지원할 수 있다면 이는 마이데이타 분석모델의 발전에 큰 도움을 줄 수 있다.

예를 들어, 테라데이타는 15개에 이르는 주요 산업 (금융-은행, 카드, 보험, 증권, 통신, 유통, 항공 등)의 데이터 모델을 확보, 각 산업별 데이터에 대한 정리기준과 가시성을 제공할 뿐만 아니라, 고객(Customer)등 마이데이타에 필요한 특정 ‘엔티티(entity)’를 포함한 유니버설 데이터 모델을 제공함에 따라, 새로운 분석 요구에 의한 데이터 구성 및 분석에 들어가는 시간과 노력을 대폭 감소시킬 수 있다. 

이상 미래형 마이데이타 분석 플랫폼의 필요 기능에 대해 살펴보았다.

특정 제품을 떠나, 우리는 지금 클라우드로의 전환과 데이터 컴퍼니와 새로운 데이터 비즈니스 모델 탄생이라는 큰 변곡점에 서있다.

그 어느때 보다도 금융회사 및 빅테크, 핀테크 기업의 올바른 플랫폼의 판단이 중요하다.

지난 10여년간 많은 투자가 됐으나 결국 수렴되고만 기술을 포함, 이제 데이터를 통한 본격적인 생존과 성장을 위해, 도입 후 계속 진화할 수 있는 데이터 플랫폼이 필요하다.

<한국테라데이타 김희배 지사장>HB.Kim@Teradata.com