기업은 기업의 규모와 상관없이 점차 더 많은 데이터를 수집하고 활용할 수 있는 새로운 방법들을 모색하고 있다.

이번 2016년에는 빅데이터를 주류로 끌어올리려는 기업의 노력이 한층 강화될 것으로 보인다.

오라클이 전망하는 엔터프라이즈 빅데이터 10대 전망이다.

◆데이터 전문가로 거듭나는 데이터 사용자 = 복잡한 통계 작업은 여전히 데이터 전문가들의 몫이겠지만, 데이터에 기반한 의사결정의 경우는 다소 달라질 것으로 보인다.

내년에는 보다 간단한 빅데이터 탐색 툴이 등장, 비즈니스 분석가들이 엔터프라이즈 하둡(Hadoop) 클러스터에서 데이터세트를 살펴보며 새롭게 재조합하고 심지어 실험적인 머신 학습 기법을 사용해 이들을 분석할 수 있도록 해줄 것이다.

보다 광범위한 사용자에게 이같은 방식들이 확대되고, 따라서 빅데이터에 대한 셀프서비스 액세스가 향상될 뿐만 아니라 보다 다양한 가설 수립과 실험이 가능하게 되어 다음 단계의 혁신이 촉진될 것이다.

◆실험적인 데이터 랩의 시작 = 검토해야 할 더 많은 가설이 생겨나 능숙한 데이터 전문가들에 대한 기존 기업들의 수요가 늘어날 전망이다.

예를 들어, 은행, 보험회사, 신용평가사들은 보다 효과적으로 위험을 산출하고 사기를 예방하기 위해 다양한 알고리즘을 사용할 것으로 보인다.

현명한 판단이 아니라 현명한 규칙으로 의사결정의 기반을 갑자기 바꾼다는 것은 쉽지 않은 일이지만, 경쟁 업체보다 발 빠르게 채무불이행의 위험, 사기감지 분야에서 기업들의 실험적인 알고리즘 사용이 대폭 늘어날 것이다.

◆자체 해결에서 솔루션으로 = 빅데이터의 초기 수용자들은 선택의 여지가 없었기 때문에 자체적으로 빅데이터 클러스트와 환경을 구축했다.

그러나 하둡, 스파크 및 기타 최신 기술에 구축된 이러한 고유 시스템을 구축, 관리 및 유지한다는 것은 비용과 노력이 많이 드는 일이다.

실제로 평균 구축 시간이 6개월이나 되는데 그렇게 오래 기다릴 수 있는 기업이 몇이나 될까?

2016년에는 사전 설정되고, 자동화 및 표준화된 어플라이언스와 클라우드 서비스들이 등장해 기술이 성숙 단계에 이르고 주류에 합류하는 것을 볼 수 있게 될 것이다.

◆데이터 가상화의 실현 =  기업들은 더 다양한 데이터를 수집하고 있을 뿐 아니라 더 다양한 알고리즘, 분석 및 앱들을 사용하고 있다.

그러나 개발자와 분석가들은 이제껏 어떤 데이터가 어디에 있는지 알 필요가 없었거나, 저장을 지원하는 액세스 방식에만 집중하면 됐다.

2016년에는 중심이 NoSQL, 하둡, 상관, 공간 또는 그래프 등 단일한 기술의 사용에서 데이터 가상화로 이동해 가는 것을 볼 수 있게 될 것이다.

사용자와 애플리케이션은 SQL, REST 및 스크립팅 언어를 통해 가상화된 데이터와 연결이 된다.

성공적인 데이터 가상화 기술은 네이티브 방식에 맞먹는 성능 그리고 완전한 역호환과 보안을 제공할 것이다.

◆물꼬터진 데이터플로우(Dataflow) 프로그래밍 = 초기의 빅데이터 수용은 코드 작업을 통한 데이터 처리에 중점을 뒀다.

2016년에는 새로운 관리 도구들이 등장해, 빅데이터의 기반 기술과 보다 고차원적인 데이터 처리에 대한 필요가 서로 분리될 전망이다.

또한 데이터플로우(Dataflow) 프로그래밍이 대두돼 극단적인 병렬 처리를 가능하게 하고, 함수 연산자의 재사용을 수월하게 해주며, 통계 및 머신 학습 기능에 대한 플러그 가능한 지원을 제공하게 될 것이다.

◆인공지능에 손 내미는 빅데이터 = 2016년은 머신 학습, 자연 언어 처리, 속성 그래프 등 인공지능(AI)기술이 일상적인 데이터 처리에 적용되는 한 해가 될 것으로 보인다.

머신 학습, 자연 언어 처리 및 속성 그래프는 이미 빅데이터에서 API 라이브러리를 통해 액세스가 가능하지만 이 기술들은 새로운 변화의 일부로 애플리케이션, 실시간 분석 및 데이터 과학을 지원하는IT 툴에 광범위하게 적용 될 것이다.

◆방대한 데이터 늪에서 살아남기 위한 노력 = 기업의 대시보드로 흘러 들어오는 방대한 양의 데이터는 신뢰할 수 있는 데이터 웨어하우스로부터 전송되기 때문에, 지금까지 데이터 계보는 있으면 좋은 기능 정도로 여겨졌었다.

그러나 빅데이터 시대에서 데이터 계보는 꼭 필요한 기능이다. 고객이 기업 데이터를 제3자 데이터 세트와 재조합해서 사용하고 있기 때문이다.

일부 새로운 조합에는 공급업체가 검증한 고품질 데이터가 통합되겠지만 나머지 조합에는 완벽하지는 않아도 실험적으로 사용하기엔 충분한 데이터가 사용될 것이다.

필요에 따른 이러한 즉각적인 시도로부터 상당히 가치 있는 결과가 나타나고 있기 때문에, 관리자들은 이를 실제 환경 수준으로 끌어올리려면 얼마나 많은 작업이 필요한지 알아보기 위해 계보로 눈을 돌리게 될 것이다.

◆'사물인터넷 + 클라우드 = 빅데이터 킬러 앱' = 빅데이터 클라우드 서비스는 사물인터넷(IoT)의 마법이 실현될 수 있도록 적극 지원한다.

2016년에는 클라우드 서비스가 확장돼 단순히 센서로부터 데이터를 수집할 뿐 아니라 빅데이터 분석과 알고리즘에 이를 전달, 다양한 활용을 가능하게 해 줄 전망이다.

높은 수준의 보안을 제공하는 IoT 클라우드 서비스들은 또한 제조업체들이 분석된 데이터에 기반하여 작업자의 개입 없이 안전하게 조치를 취해주는 새로운 제품들을 개발할 수 있도록 지원해줄 것이다.

◆데이터를 통한 하이브리드 클라우드로의 전환 = 어떤 센서나 시스템에서 데이터가 나오는지 뿐만 아니라 데이터가 어떤 국가에서 생성되는지를 안다면 정부는 국가적인 데이터 정책을 보다 쉽게 시행할 수 있을 것이다.

클라우드로 이동하는 다국적 기업들은 여러 가지 이해 관계 속에서 갈등을 겪는다.

그 과정에서 다국적 기업들은 점차적으로 더 큰 클라우드 서비스의 역할을 수행하는 하이브리드 클라우드로 이동할 것이고, 이를 통해 기업들은 비용 절감과 규제 준수 문제 모두를 충족할 수 있게 될 것이다.

◆새로운 보안 구분 체계로 방어와 접근간의 균형 수립 = 데이터가 수집, 공유 및 저장되는 방법, 그리고 도난 당할 수 있는 방법에 대한 소비자들의 인식이 커지면서, 개인 정보의 규제적 보호 장치에 대한 요구가 증폭될 전망이다.

이 때문에 정치인, 학자, 기고가들이 경계와 윤리 사이에서 고군분투하는 모습을 볼 수 있게 될 것이다.

또한 문서와 데이터를 사전에 지정된 접근, 개정 및 마스킹 정책에 따라 분류하는 분류 시스템을 사용하는 기업들이 늘어날 것이다.

보다 정교해진 해커들의 지속적인 위협으로 인해 기업은 데이터의 사용과 감사를 위한 액세스는 물론 보안을 한층 더 강화할 것이다.

<한국오라클 이형배 부사장>hyungbae.lee@oracle.com