맵알테크놀러지스(지사장 김점배 www.mapr.com)는 21일 본사 발표를 인용, 존 슈뢰더(John Schroeder) 창립자 겸 이사회 의장의 ‘2017년 6가지 주요 시장 동향 및 전망’을 발표했다.

다음은 존 쉬뢰더 의장의 올해 빅데이터 전망 발표 내용.

◆트렌드로 자리잡은 인공지능(AI) = 1960년대 레이 솔로모노프(Ray Solomonoff)는 AI의 수학적 이론의 기반을 다지고 귀납적 추론 및 예측을 위한 베이지안(Bayesian) 방법론을 소개한 바 있다.

1980년 퍼스트 내셔널 컨퍼런스(First National Conference)의 미국 인공 지능 학회(American Association for Artificial Intelligence, AAAI)가 스탠포드(Stanford)에서 개최돼 이러한 이론을 소프트웨어에 적용하는 것을 논의했다.

AI는 다시 트렌드로 자리 잡았고 머신 인텔리전스(machine intelligence), 머신 러닝(machine learning), 인공신경망 네트워크(neural networks), 인지 컴퓨팅(cognitive computing)을 포괄하는 유행어가 됐다.

왜 AI가 트렌드로 다시 부상했을까?
속도(Velocity), 다양성(Variety) 및 볼륨(Volume)을 일컫는 3V가 그 이유일 것이다.

전통적인 플랫폼에 비해 10~20배의 비용 효율성을 제공하고, 수평 확장되며, 최신 및 기존 프로세싱 모델을 겸비한 3V를 처리할 수 있는 플랫폼이 필요하다.

구글은 “대규모의 데이터 셋을 잦은 빈도로 처리하는 단순한 알고리즘이”, 더 작은 셋을 사용하는 접근법에 비해 얼마나 간단한지를 설명한 바 있다.

맵알은 인간의 직관이 개입해 발생하는 오류 및 손실을 보완할 수 있는 AI를 대규모의 반복되는 업무에 적용해 높은 가치를 창출할 수 있을 것이라고 전망했다.

◆데이터 거버넌스(Governance)와 경쟁우위간 빅데이터 논쟁 = 2017년 데이터 거버넌스와 데이터 가치 간의 논쟁이 더욱 치열해질 전망이다.

기업은 고객 및 파트너에 대한 풍부한 정보를 보유하고 있다. 또 기업은 거버넌스 방식 또는 그렇지 않은 방식으로 데이터를 관리하게 된 것이다.

통제 방식은 데이터 품질 및 생성계보를 관리해 규제 기관이 출처 및 발생하는 모든 변형 데이터를 보고 및 추적할 수 있게 한다.

이같은 통제는 의무적이고 필수적이지만 때로는 높은 카디널리티(cardinality), 실시간성, 정형·비정형 혼합형 데이터의 특성을 활용한 맞춤형 오퍼링 서비스, 360도 고객 서비스 등과같이 통제하지 않은 사례들이 더욱 효과적인 결과를 가져오기도 한다.

◆데이터 레이크(Data Lake)에 빠지지 않기 위한 기업의 노력 = 2017년 기업은 “지어놓으면 수요가 뒤따른다(build it and they will come)”라는 데이터 레이크에 대한 기존 접근 방식에서 벗어나 현업 주도적인 데이터 접근 방식으로 전환할 것이다.

최근 시장에서 분석 및 운영 기능은 고객 요청, 클레임 처리, 기기 인터페이스 등을 실시간으로 개별 차원에서 처리하는 도구로 활용되고 있다.

예를 들어 전자상거래 사이트 경우, 고객 맞춤 추천 및 가격 확인이 실시간으로 제공돼야 한다.

의료 기관은 분석과 운영 시스템을 결합해 보험 승인을 처리하고 부정 수급을 방지할 수 있다.

미디어 기업은 셋톱 박스를 통해 제공되는 맞춤 콘텐츠를 제안한다. 자동차 생산업체 및 렌탈 업체는 자동차와 운전자 간의 상호작용을 강화한다.

이같은 활용 사례를 구현하기 위해서는 백오피스에서 데이터 분석 기능과 현업의 운영 기능을 아우르는 가치 발굴 과정이 요구된다.

기술적으로는 애널리틱스, 운영 프로세싱을 함께 운영할 수 있는 애자일 플랫폼이 요구된다.

2017년 기업은 “질문을 던지는” 접근방식을 넘어 장단기적 비즈니스 가치 창출을 위한 아키텍트 구축에 집중할 것이다.

◆기업 성패를 좌우할 데이터 민첩성 = 소프트웨어 개발 과정은 데브옵스를 통해 더욱 지속적이고 민첩하게 진행되고 있다.

2017년 처리 및 분석 모델은 더욱 진화해, 기업이 데이터 민첩성 인지에 상응하는 수준의 민첩성을 제공하게 될 것이다.

데이터 맥락(context)을 이해하고 이에 대한 비즈니스 조치를 취할 수 있는 역량인 데이터 민첩성은 단순히 거대한 데이터 호수를 보유하는 것을 넘어 경쟁 우위를 확보할 수 있는 요소다.

애자일 프로세싱 모델의 등장은 데이터의 동일 데이터 인스턴스로 배치 애널리틱스(batch analytics), 쌍방향 분석, 글로벌 메시징 그리고 데이터베이스 및 파일 기반 모델 지원을 가능하게 한다.

또한 애자일 분석 모델의 확장은 데이터의 단일 인스턴스가 더욱 광범위한 툴 셋을 지원할 수 있도록 한다.

이를 통해 기업은 광범위한 처리 및 분석 모델을 지원할 애자일 개발과 애플리케이션 플랫폼을 확보할 수 있다.

◆블록체인(Blockchain)을 통한 금융 서비스 애플리케이션 고급화 = 블록체인은 데이터를 저장하고 트랜잭션(transaction)을 처리하는 방법을 변화시키는 글로벌 분산 원장(distributed ledger)을 제공한다.

블록체인은 전세계에 분산된 컴퓨터에서 구동되며, 누구나 체인(chain)을 조회할 수 있다. 트랜잭션은 블록 내에 저장되며, 각 블록은 이전의 블록과 연결된다.

데이터가 저장된 블록에는 타임스탬프(Timestamp)가 부여돼 변경할 수 없는 형태로 저장된다. 모든 블록체인이 조회되기 때문에 이론적으로 해커들의 블록체인 해킹이 불가능해졌다.

블록체인은 소비자 관점에서도 매우 효율성이 높은 방식이다.

예를 들어 금융이용자는 ‘스위프트(SWIFT)’ 거래를 위해 대기하지 않아도 되고, 중앙 데이터센터 해킹에 대해 걱정하지 않아도 된다.

기업에게 블록체인은 비용 절감 효과 및 경쟁 우위 확보를 위한 기회를 제공한다.

2017년 금융 서비스 분야에서 더욱 광범위한 데이터 저장 및 트랜잭션 처리 방법에 대한 혁신적인 활용 사례가 나올 것으로 기대된다.

◆머신 러닝의 마이크로서비스 효과 극대화 = 올해 머신 러닝 및 마이크로서비스의 통합을 위한 액티비티가 점점 증가하는 것을 볼 수 있다.

이전에 마이크로서비스 도입은 비교적 가벼운 서비스 영역에서 집중적으로 이뤄졌으며, 이를 머신 러닝과 통합하는 것은 패스트 데이터(fast data) 통합으로 스트리밍 데이터의 좁은 대역폭에 적용되는 수준으로 제한됐다.

2017년에는 빅데이터를 활용한 상태기반 애플리케이션으로 확장되고, 머신 러닝과 통합도 대량의 기록 데이터를 활용하는 방향으로 사용돼 신규 스트리밍 데이터의 맥락을 잘 이해할 수 있는 방식으로 전환될 것이다.

존 슈뢰더(John Schroeder) 창립자 겸 이사회 의장은 “기술 계층보다 데이터 계층에 대한 논의가 더 활발하게 이뤄지고 있다”며 “데이터의 신뢰성, 가능성 및 안전성을 어떻게 확신할 수 있을까? 어떻게 애플리케이션에 데이터 신뢰성을 보장하는 동시에 적정 수준의 스케일 및 속도를 제공할 수 있을까? 하는 고민이 이어지고 있다. 맵알은 기업의 이같은 이슈를 해결하는 것은 물론 컨버지드 데이터 플랫폼으로 비즈니스 운영 프로세스에 분석적 인사이트를 실시간으로 적용할 수 있도록 적극 지원하고 있다”고 전했다.

<김동기 기자>kdk@bikorea.net