지난달 SAS코리아(대표 조성식)가 출시한 SAS 팩토리 마이너(Factory Miner) 솔루션에 대한 업계 관심이 쏟아지고 있다.

SAS 팩토리 마이너(Factory Miner)는 머신 러닝 기법을 이용해서 단 수 분 만에 최적의 예측 모델 수백여 개를 개발, 테스트, 결정(identify)할 수 있게 해주는 자동화 툴이다.

이 솔루션은 세그먼트 별로 최적화된 양질의 예측 결과물을 보장할 뿐 아니라, 머신 러닝을 이용한 자동화 툴로 분석 인력 부족 문제 완화에도 기여할 것이라고 기대된다.<그림1 ‘SAS 에코시스템-생산성 애플리케이션’ 참조>

▲ 그림1 ‘SAS 에코시스템-생산성 애플리케이션’

아울러 SAS 팩토리 마이너는 간단한 클릭만으로 수백여 개의 세그먼트에 가장 적합한 예측 모델을 자동으로 학습(Training), 테스트, 결정할 수 있도록 한다.

지난 10여 년 간 고급 분석 영역에서 요구돼 온 세 가지 과제를 먼저 이해하면, 팩토리 마이너의 중요성을 이해할 수 있게 된다.

◆[과제1]= 고도의 세분화(segmentation) 기법을 수용하라.

기업이 고객, 제품, 지역 또는 기타 변수들을 총망라해 더 정밀한 세분화 기법을 적용하기 시작했다.

이같은 고도의 세분화 기법은 추가판매(upselling), 고객 이탈 예측, 리스크 감지 등 어떤 모델에서도 예측의 정확성을 획기적으로 높인다.

하지만 더 많은 세그먼트를 적용하는 만큼 더 많은 모델을 개발, 테스트, 최적화, 유지 관리해야 하는 불편함이 뒤따랐다.

◆[과제2] = 가용한 모든 데이터를 활용하라.

투입되는 데이터의 양이 많을수록 분석의 정확도는 그만큼 높아진다. 이에 따라 오랜 시간 동안 가용 데이터의 모든 단편들을 활용하는 방식으로 분석을 해왔으며, 이 같은 관행은 분산 시스템 환경에 흩어져 있는 빅데이터의 경우에도 동일하게 적용됐다.

하지만 데이터의 규모가 늘어나는데 반면 여전히 시간 소모가 많은 데이터 이동이나 분석 정확도를 떨어뜨리는 샘플링 방식에 의존할 수는 없는 노릇.

이런 이유 때문에 SAS를 비롯한 일부 벤더들은 인-데이터베이스, 인-메모리 그리고 최근에는 인-하둡 모델링 및 스코어링 기법으로 방향을 전환하고 있다.

즉 데이터가 있는 곳으로 분석을 가져와야 한다는 것이다.

◆[과제3] = 인력 부족 문제를 극복하라.

조직의 입장에서 수요와 공급의 법칙에 따라 분석 전문 인력이 부족하면 인건비는 상승한다.

더욱이 앞서 설명한 두 가지 과제로 분석 인력이 더 많은 모델을 생성하고, 더 많은 데이터를 사용해야 하는 부담을 떠안게 됨에 따라 상황은 더 악화되고 있는 실정이다.

결국 예측 모델 생성, 텍스트, 배치, 유지하기 위해서는 더 많은 시간과 전문 인력이 필요하다는 것.

SAS 팩토리 마이너는 이 모든 과제를 해결할 수 있도록 설계됐다.

이 솔루션은 수백 개의 세그먼트 그리고 심지어 수천 개의 서브 세그먼트에 대해 모델 생성을 자동화함으로써 고도로 정밀한 세분화를 가능하게 한다.

또한 강력한 모델링 성능의 중심에는 회귀, 신경망, 의사결정 트리, 랜덤 포레스트(Random Forest), 그래디언트 부스팅(Gradient Boosting), 베이지안 네트워크(Bayesian Network) 및 SVM(Support Vector Machine) 등을 비롯한 머신 러닝 기법이 있다.

이 기법은 기존 블랙박스 기능과는 달리 사용자가 세그먼트 별 최적의 모델을 찾아내고, 모델별로 작동과 조율을 가능하게 하는 주요 요인을 파악해 필요에 따라 수정해 성능을 극대화할 수도 있다.

아울러 SAS 팩토리 마이너는 데이터 정리(data cleansing), 변환, 변수/모델 선정 등, 모델 생성 워크플로(workflow)의 각 단계를 구성하는데 필요한 템플릿을 제공하며, 사용자는 간편하게 기본 설정을 사용하거나 내부 업무 관행 및 기준이 적용된 템플릿을 사용할 수도 있다.

또 SAS 팩토리 마이너는 HTML5 기반 애플리케이션으로, SAS 서버(Server) 및 SAS 하이퍼포먼스 애널리틱스(High-Performance Analytics)에서 구동된다.

따라서 고 가용(high-scale) 데이터베이스 또는 하둡 클러스터의 모든 데이터를 대상으로 모델링이 가능하다.

이와 유사하게 모든 모델이 인-데이터베이스/인-하둡 호환 스코어 코드를 생성, 사용자는 SAS 모델 매니저(Model Manager) 및 SAS 디시전 매니저(Decision Manager)와 같은 통합 환경에서 보다 효율적으로 예측 모델을 배치하고 유지·관리할 수 있다.<그림2 ‘SAS 팩토리 마이너–자동화 모델과 비즈니스 룰을 동시에 수행’ 참조>

▲ 그림2 ‘SAS 팩토리 마이너–자동화 모델과 비즈니스 룰을 동시에 수행’

SAS 팩토리 마이너는 대규모 에코시스템과 통합되며, 여기에는 확장성을 고려한 고 가용(high-scale)데이터베이스 및 하둡의 데이터 소스와 배치 옵션이 포함된다.

일례로 수많은 호텔 소유권과 170만 명이 넘는 고객들에 관한 마케팅 데이터베이스를 보유하고 있는 모 일류 카지노 호텔을 들 수 있다.

이 호텔의 어떤 고객은 식음료 서비스 제공에 호의적 반응을 보이고, 어떤 이들은 접대·엔터테인먼트 행사를 마음에 들어 하고, 또 다른 고객들은 시종일관 카지노에만 열중한다.

어떤 고객들은 최고급 호텔을 선호하는 반면, 어떤 고객들은 상대적으로 비용이 저렴한 호텔을 즐겨 찾기도 한다.

4~5년 전, 이 회사는 고객층을 12개 부류로 세분화했고 타깃 이메일 캠페인을 통해 매 분기 마다 수백만 달러 규모의 매출과 30%의 수익률을 기록했다.

지금은 세분화된 고객층이 160여 종류 이상 늘어난 상태이고, 예측 능력의 정확성 향상으로 매 분기 천만 달러 이상의 매출과 50%를 상회하는 수익률을 올리고 있다.

비교적 선도적인 방식을 적용한 이 호텔도 분석 모델 전체를 개발하고 유지 관리하기 위해 여러 곳에 흩어져 있는 분석 인력을 동원해야 한다는 난제를 안고 있다.

이런 상황에서 SAS 팩토리 마이너는 몇 번의 클릭만으로 두 배, 세 배, 네 배 더 많은 수의 모델을 개발하고 평가할 수 있는 길을 제시한 것이다.

앞으로 머신 러닝에 기반한 자동화 툴을 활용한 SAS 팩토리 마이너를 통해 더 많은 조직에서 더 정밀하게 고객을 세분화하고 분석할 수 있기를 기대한다.

<김동기 기자>kdk@bikorea.net