엔터프라이즈 데이터 클라우드 전문 기업 클라우데라(지사장 강현준 kr.cloudera.com)가 에지(Edge) 데이터 기반 분석결과에서 인사이트를 수집하고, 전송, 관리할 수 있는 2가지 에지 데이터 관리 소프트웨어를 출시했다고 29일 밝혔다. 

하나는 IoT와 스트리밍 데이터를 위한 에지 관리 솔루션 ‘클라우데라 에지 매니지먼트(Cloudera Edge Management, CEM)’이며, 또 하나는 추가 개발(코딩) 작업이 필요없는 방식의 대규모 데이터 처리 및 관리 솔루션 ‘클라우데라 플로우 매니지먼트(Cloudera Flow Management, CFM)’이다.
 
톰 라일리(Tom Reilly) 클라우데라 CEO는 “클라우데라는 복잡한 데이터 관리를 해결해야 하는 기업을 위해 엔터프라이즈 데이터 클라우드와 에지부터 AI까지에 이르는 분석 활용 사례를 제공하는데 주력하고 있다. 우리가 새로 개발한 솔루션들은 기업이 에지 컴퓨팅의 장점을 최대한 활용해 수천 개의 소스에서 발생한 어마어마한 양의 복잡한 IoT 데이터를 통합해 명확하고 실행 가능한 인사이트를 이끌어내 궁극적으로 혁신을 가져올 수 있도록 끊임없이 지원한다”고 말했다.
 
◆‘클라우데라 에지 매니지먼트’ = ‘클라우데라 에지 매니지먼트’는 IoT 개발자와 설계자가 IoT 데이터를 처리하는 방법을 개선하는데 도움을 준다. 

에지 디바이스에서 데이터를 수집하는 에이전트를 관리, 제어 및 모니터링한 다음 인텔리전스를 에지로 보낸다. 

이 솔루션은 두 가지 주요 구성 요소로 이뤄져 있다. 

에지에서의 데이터 수집 및 처리를 맡은 경량의 에지 에이전트 그리고 추가 개발 없이 드래그-앤-드롭 개발 환경을 갖춘 에지 플로우 매니저(Edge Flow Manager)라는 새로운 에이전트 관리 허브가 있다. 

CEM의 플로우 배포 기능을 사용하면 수천 개의 에이전트에 데이터 수집 애플리케이션을 쉽게 배포하고 관리할 수 있을 뿐만 아니라, 머신러닝(Machine Learning) 모델도 쉽게 에지 에이전트에 보낼 수 있다. 

따라서 데이터가 회사로 왕복하는 과정에 비용을 많이 들이지 않고도 에지가 스스로 의사 결정을 내릴 수 있을 만큼 역량을 향상시켜준다.
 
◆‘클라우데라 플로우 매니지먼트’ = ‘클라우데라 플로우 매니지먼트’는 추가 개발작업이 필요없는 데이터 수집 및 관리 솔루션이다. 

직관적인 사용자 인터페이스, 300개 이상의 프로세서 및 아파치 나이파이(Apache NiFi) 레지스트리를 갖춘 CFM은 확장성이 뛰어난 데이터 이동, 변환 및 관리 기능을 기업에 제공한다. 

CFM은 페타바이트 단위의 데이터를 데이터 센터 사이에 또는 온프레미스(on-premises)에서 클라우드로 신속하게 이동시켜 데이터 통합 시간을 단축해 준다. 

민감한 데이터는 데이터 정책에 준수, 에지에서 엔터프라이즈로 안전하게 옮겨진다. 

이번 출시를 통해 클라우데라 매니저(Cloudera Manager), 아파치 임팔라(Apache Impala) 및 아파치 쿠두(Apache Kudu)와 아파치 나이파이(Apache NiFi)가 통합됐다. 

한편, 새로운 솔루션 CEM과 CFM은 클라우데라 데이터플로우(Cloudera DataFlow, CDF)의 일부로 포함된다. 

클라우데라 데이터플로우는 핵심 인사이트와 즉각 실행가능한 인텔리전스를 얻기 위해 데이터를 수집, 선별 및 분석하는 작업 ‘스트리밍 분석’을 위한 오픈소스 데이터-인-모션(스트리밍 데이터) 플랫폼이다. 

▲ 클라우데라 데이터 플로우.(출처 : 클라우데라 코리아 제공)

클라우데라 데이터플로우는 대량의 실시간 스트리밍 데이터를 처리하고 데이터의 출처 및 발생계통을 추적하며, 에지 어플리케이션과 스트리밍 소스를 관리한다.  

<김동기 기자>kdk@bikorea.net