김경태 본부장 AIMWARE 컨설팅 담당 본부장이다. Oracle, Accenture 등 Global Firm을 거쳐 현재 Global EMM 솔루션인 UNICA와 마이닝 자동화(Mining Automation) 솔루션인 KXEN을 국내에 공급하고 있는 AIMWARE에서 CRM 전략컨설팅을 담당하고 있다.

최근 업계에서는 마이닝 관련 인력을 구하기가 하늘에 별을 따는 것처럼 힘들어 졌다. 과거에는 마이닝이 “도깨비 방망이가 아니다”라고 강조하며 지나친 기대를 경계하였으나 이제는 “도깨비 방망이”임을 알게된 일부 기업에서는 요구가 급격히 증가하어 수많은 컨설턴트들이 고객사로 이동하게 되었다.

그런데 실제 고객사들을 만나보면 그다지 많은 마이닝 모델이 개발되고 활용되는것 같지 않다. 마이닝 인력도 충분하지 않았고 1년에 개발되는 모델이나 운영되는 모델 수 자체가 제한적인 것 같다.

이제 좀더 구체적으로 국내외 사례를 통해 데이터 마이닝의 현주소를 파악해 보고 마이닝 자동화를 통한 마케팅 최적화를 어떻게 접근하여야 할지 알아보도록 하곘다.

국내현황
◆산업별 현황=A유통사에서는 1명의 마이닝 전문가가 있었으며 마이닝 도구를 데이터 추출용 수준으로 사용하고 있었다. 아직은 실무에 마이닝을 적용하지는 못하고 있었으며 마이닝에 의존하기 보다는 수작업 분석을 통한 인사이트 확보가 중요하다고 믿고 있었다. 국내 대형 유통사인 B사는 마이닝 도구를 데이터 추출 전용으로 사용하고 있으며 마이닝을 통해 어떻게 하면 반응율을 올릴까 고민하며 간편하게 마이닝을 적용하기 위한 방안을 찾고 있었다.

C 패션사는 27개 브랜드가 있는데 브랜드 별 마이닝 모델을 2명의 마이닝 인력으로 지원하는 방안에 대해 고민하고 있었다. D카드사는 마이닝 모델 개발기간이 장기화 됨에 따라 실제 업무에 적용되지 못하고 인사이트 수준에서 머무르는데 대한 이슈로 ‘Actionable Mining’을 요구하고 있었으며, E보험사의 한 사업부에서는 소수의 인원이 마이닝을 담당하고 있었는데 적은 인력이 다양한 상품 별 모델 개발에 대응하는데 대한 한계성과 모델유지관리 문제로 마이닝 자동화에 대한 니즈가 있었다. 또 F보험사는 마이닝 도구를 2개나 도입하였으나 보직변경으로 업무자체가 없어졌다. 이에 비해 G전자는 기존 마이닝의 한계를 극복하고자 마이닝 자동화를 구체적으로 추진하는 등 다른 기업의 사례와 매우 대조적인 현상을 보였다.

◆마이닝 프로세스 별 주요 현황=국내에서 CRM을 목적으로 마이닝을 도입한 사례를 보면 대부분 특정사의 솔루션을 많이 도입하여 사용하고 있고, 최근에는 TCO(Total Cost of Ownership)에 대한 부담으로 좀더 저렴한 솔루션 도입이 증가하고 있다. 그러나 마이닝을 도입해서 사용하고 있는 현황을 보면 데이터 추출 용도가 많았고 저렴한 솔루션을 도입한 경우는 분석용 데이터 생성에 어려움을 겪으며 활용도 또한 낮았다.

공통점이자 핵심이슈는 도구가 좋고 나쁘고의 문제 보다도 마이닝 모델 개발 프로세스가 너무 길어 실무 적용에 많은 한계를 느끼고 있다는 점과 인력들의 역량 부족으로 인한 요인이 많았다. 대부분 1개의 모델을 개발하기 위해 데이터에 접근해서 분석용 마트를 만들고 모델을 개발하여 배치하는 데까지 3개월이 소요되었고 5개월에 10개 모델을 개발한 경우는 매우 빠른 경우였다. 물론 부적합하게 많은 단계를 건너뛴다면 1시간에도 모델을 개발할 수 있다고 주장하기도 한다.

◆분석용 데이터 생성=분석용 데이터 생성부터 상세하게 살펴 보도록 하겠다. MCIF(Marketing Customer Information File), CAR (Customer Analytic Record)등으로 불리던 마이닝을 위해 데이터 마트를 만드는 일은 DW가 많이 보급되기 이전에는 3~4개월이 소요되던 일이었으나 이제는 1~2개월이면 충분히 구축이 가능해 졌다. 그러나 시점 별 마이닝 모델 개발을 위해서 매번 데이터를 만들거나 시점별로 데이터를 유지하는 것은 마이닝 담당자나 IT담당자들에게 매우 곤혹스러운 일들이다. 새로운 변수를 추가하게 되는 경우 과거시점 자료에도 반영해야 하고 향후 유지할 데이터에도 반영해야 하기 때문에 한번의 변화가 기하급수적인 업무 부하로 연결되었다. 또한 고객에 대한 인사이트가 중요하게 인식되면서 뭔가 대단한 의미있는 파생변수(Derived Variable)에 대한 기대가 과도해짐으로써 때로는 부담스럽기까지 한 상태이다. 2000년대 초에는 인사이트에 대한 개념조차 미흡한 시점이었다. 이때는 저자가 만든 고객이 주로 거래하거나 통화를 하는 지역정보를 이용한 ‘주활동 지역’, 구매상품 구성을 통해 가족구성원 및 성/연령을 파악한 ‘Life Stage’ 또는 ‘전업주부/취업주부’ 예측, 캠페인에 대한 반응비유를 통한 ‘캠페인 민감도’는 많이들 사용되고 있지만 시간이 지남에 따라 이런 변수를 발굴하는 일이 점점 어려워지고 있다. 이로 인해 마이닝 마트를 만드는 일이 지연되고 있기도 하다. 변수개발에 대한 양적인 측면도 대부분 대형 신규모델 개발 프로젝트의 경우는 300~500개 정도를 만들게 되고, 작은 프로젝트에서는 100개 이내의 변수를 만들게 되지만 마이닝 모델 개발을 지연시키는 주요 원인이 되고 있다.

◆모델 개발=모델 개발과정을 보면, 마이닝 알고리즘에 대한 최적화와 안정성에 대한 요구로 인해 수작업으로 수많은 반복작업을 수행하게 되는 경우가 대부분이다. 때로는 Oversampling이 필요하고 Training, Validation, Test단계를 다양한 Decision Tree 알고리즘과 Logistic Analysis, Neural Network 등을 반복해서 돌려보고 앙상블 모델을 활용하기도 한다. 여기에 보고용 문서작성을 위해 마이닝 도구에서 나오는 그래프나 표를 엑셀로 다시 가공하고 파워포인트로 보고서를 만들다 보면 아무리 빨리 작업을 해도 모델개발에 몇주가 걸린다. 특히 데이터가 잘못 생성되어 다시 모델을 개발하려고 하면 모델 1개 개발에 1개월이 넘어서는 경우가 많고, 최종보고서 작성하는 전일에 잘못된 절차를 발견하고 모델링을 다시 실행해서 문서를 수정하는 일도 가끔 발생한다.

마이닝 모델도 대부분 고객행동 예측/반응고객 예측이 주로 활용되고 있고 세분화를 위해 K-Means를 이용하는 경우도 매우 제한적이었고 연관성분석을 하는 경우도 실무에 적용되는 사례는 거의 없었다. 왜 이러한 기법들이 실무적용성이 낮았을까?

세분화를 보면 매우 전략적인 분야이다. 단순히 마이닝 모델을 실행시켜서 인사이트를 준다고 해결되는 부분이 아니라 전략이 매핑 되어야 하는데 마이닝 전문가 영역이 아니라 전략담당자의 영역에 가깝다. 그러다 보니 K-Means같은 목적성이 없는 세분화는 흥미롭기는 하나 활용도가 매우 낮다. 그리고 대부분 세분화가 1차로 가치기반 세분화를 수행하고 일부에서는 행동기반 세분화를 2차로 진행한 다음에 프로파일링을 하는데 이 부분이 전통적인 마이닝 도구로 하기에는 어려움이 많았다. 또한 이런 부분에 대해 전략담당 디렉터 수준에서도 잘 이해하지 못하는 경우도 많아 설명하는데만 1개월이 걸려 프로젝트를 지연시키는 웃지 못할 사례도 있다. 그래서 결국 수작업으로 세분화 기준변수를 정하면 SQL로 고객을 나누어서 인원수를 파악하고, 설명하기 어려우면 다시 변수 및 구간을 조정하고서 미리 지정한 프로파일링 변수로 확인을 하게 되는데 진행하는 순서상 프로파일링이 제대로 되기가 어려워 다시 이러한 단계를 반복하다가 일정수준에서 마무리를 하게 된다. 결국 실행이 어려운 ‘Logical Fiction’의 산출물이 나오게 된다.

연관분석(Association Analysis)은 오랜 기간 동안의 대용량 데이터를 신속하게 처리하는데 있어서의 어려움과 생성된 룰을 효율적으로 배치할 수 없는데 치명적인 문제가 있다. 특히 유통분야에서는 단품단위의 추천이 필요한데 국내에서 이런 사례는 없는 것으로 알고 있다. 설혹, 하드웨어에 많은 투자를 해서 64 Bit에 메모리를 64GB까지 설치한다고 해도 1,000개의 룰이 Support, Confidence, Lift측면에서 적합하다 해도 1,000개의 룰을 계속해서 유지 보수하는 일도 큰 부담이다.

해외 선진기업은 전략적 도구로 마이닝 활용
저자는 해외사례를 다양하게 접하게 되면서 매우 당황스러웠다. 순간 내가 우물안의 개구리구나 하고 느껴지는 것이다. 해외 주요 기업들은 마이닝을 전략적 도구로 CRM에 제대로 쓰고 있었다.

◆일본사례=우선 가깝게 일본의 사례를 들어 보겠다. E 신용카드사는 6개월에 한 개 정도로 의미 없는 ‘Decision Tree’ 모델을 만들기 급급했다가 이를 해결하기 위해 POC를 통해 솔루션을 선정하게 되었다.

POC에서 전통적인 솔루션은 2주간 2명이 과제를 완료했으나 마이닝 자동화 솔루션은 49분에 완료하였다. 결국 마이닝 자동화 솔루션을 도입하여 이제는 한달에 10개의 모델을 개발하고 30개의 모델을 적용하고 있고, 이전보다 여유가 생긴 시간에는 마이닝 결과에 대한 해석에 좀더 시간을 투자하여 비즈니스 가치를 줄 수 있는 메시지 전달에 집중하고 있다. 유통업체인 M사는 마이닝 자동화 솔루션을 통해 상품추천을 위해 1명이 일주일에 2번 마이닝 모델을 갱신하여 매출액은 1.5배가 되었으며 Cross-Sell 및 Up-Sell을 위해 마이닝 마트에 변수를 1,300개를 개발하였고 1주일에 4개 모델을 개발하여 적용하고 있었다.

글로벌 유통회사는 H사는 250만개의 제품에 대해 온라인 상의 상품추천을 위해 마이닝 자동화 솔루션을 도입하였고 추천으로 인해 구매로 이루어지는 비율은 1%에서 1.4%로 40% 향상되었다. 이러한 기업들이 국내 대형 유통업체들에 비해 큰 회사들도 아니라고 판단되는데 모델 개발이나 활용측면에서 우리를 훨씬 앞서가고 있었다.

◆기타 해외사례=아시아 이외의 사례로는, 마이닝 마트 변수를 900~16,000개를 개발하여 사용하였고, 모델 개발도 연간 9,600~460,000개를 개발하여 사용하고 있다. 대표적인 기업으로 <그림1>과 같은 기업들의 사례를 예시로 들 수 있다.

<그림 1> 마이닝 자동화 도구 적용기업 사례

◆마이닝 자동화 및 최적화 방안=바로 앞에서 알아본 해외 사례가 가능한 것은 왜 일까? 근본적으로 접근방법과 솔루션의 특성이 전통적 마이닝 솔루션과 틀리다. <그림 2>와 같이 전통적인 마이닝 모델 개발을 위한 Analytical Dataset을 생성하고 Model Creation을 거쳐 Model Scoring을 하는 단계에서의 불필요한 단계와 Automation과 Optimization이 필요한 프로세스를 해결함으로써 대부분의 업무가 자동화 되었다.

<그림 2> 마이닝 프로세스

결국 이러한 접근이 가능한 <그림 3>과 같이 마이닝 자동화 도구로 인해 전통적 기법으로 모델을 만드는데 4주가 소요되던 일이 1주면 가능해 지고 이러한 모델개발이 증가함에 따라 그 효과는 기하급수적으로 개선되게 되어 해외 사례와 같이 방대한 모델이 캠페인 단위, 상품단위로 개발이 가능해지는 것이다.

<그림 3> 마이닝 프로세스 개선 비교

마이닝 자동화가 언급되면 논리적으로는 이해는 되지만 많은 측면에서 확인하지 않으면 안되는 사항이 많다. 과연 어떻게 가능하게 되는지 다각적인 측면에서 알아보자.

1. Robustness
마이닝 자동화 솔루션인 KXEN은 Vladimir Vapnik의 SVM을 이용하고 있어서 Decision Tree, Logistic, Neural등 다양한 알고리즘이 필요없다. 너무 어려운 이야기라 보다 핵심인 SRM(Structured Risk Minimization)을 설명하겠다. 

<그림 4> SRM

SRM은 모델의 복잡성이 커질 수록 정확도는 높아지나 위험도가 커지는 점에 착안하여 Quality와 Reliability를 모두 만족시키는 최적의 모델을 제시하는 기법이다. 결국 품질은 전통적 마이닝 도구 수준이면서 새로운 데이터에 대해서도 동일한 품질을 제공하는 매우 Robust한 모델이 단일 알고리즘에 의해 신속하게 개발되는 것이다.

2. Automatic Data Management
데이터 측면에서는 어떠한가. 최근 서베이에 의하면 아직도 마이닝 업무 비중에서 데이터 준비가 36%에 해당한다. 그렇다면 요약변수는 물론이고 파생변수도 자동화가 가능한가?

파생변수부터 보면, 정말 이런 변수가 반응고객을 예측하고 고객행동을 예측하는데 그렇게 중요한 것일까. 다년간의 경험으로 본다면 다양한 니즈에 대응하기에는 상대적으로 생산성이 낮다고 생각된다. 도리어 구매금액과 구매회수, 상품관련 속성을 다양하게 만들어서 대응하는 것이 더 효율적이었다. 이런점에 착안하여 이를 표준화된 접근으로 자동화한 방식이 Data Factory이다. 구매회수, 구매금액 등 연속형 변수에 대해 년/분기/월/주 단위로 자동으로 Summery하고, 단품별로 구매한 순서로 구매여부를 비트맵으로 만들어 마이닝 마트에 변수를 수천 개에서 수만 개를 단 2주에 만드는 일이다.

<그림 5> 요약정보 자동생성 화면 예시

ADM의 기능 중 하나인 연속형 변수의 요약정보를 만드는 화면으로 년/반기/분기/월/주 등의 시간기준을 정하고 회수, 합, 평균 산출은 물론 얼만큼 줄었는지에 대한 절대값 및 %비율도 산출하는 일을 자동화 해준다. 거래정보만 있어도 이러한 변수를 만드는데 2주면 충분히 100개 이상의 변수를 만들 수 있고 모델성능도 거창한 파생변수 없이도 좋은 성과를 보였으며, 특히 SQL로 생성이 되어 IT환경에 적용하기가 편리하다는 점이 차이점이라고 할 수 있다.

3. Deployment Automation
모델을 개발하고 코드를 생성했는데 즉각적으로 사용할 수 없고 다시 IT전문가가 SQL을 가다듬어야 되는 일이 생긴다면 어떨까? 대부분 수정하는데 1개월 정도가 걸리고 모델이 잘못되었거나 보완작업이 이루어지면 동일한 시간이 소요된다. 이러한 점을 개선하여 ANSI SQL이나 Oracle, DB2, Teradata, MS SQL SERVER 등의 UDF로 생성하여 곧장 적용가능하게 Deploy하거나 Shell Script를 통해 모델 개발 및 Scoring Process를 자동화 할 수 있으면 수천개의 모델이 개발되어도 유지보수하는데 문제가 없어지게 된다.

4. Documentation Automation
모델 개발 및 테스트 마케팅이 완료되면 수많은 문서화를 해야 되는데 대부분 매우 단순하고 반복적인 작업이다. 이런 작업을 버튼하나로 마이닝 업무와 관련된 수많은 통계와 그래프를 자동으로 MS Office와 호완되는 형태의 Object로 자동으로 만들어 주며, 원하면 부분적으로 만들 수 있고 이를 PDF, RTF 등 다양한 형식으로 자동생성이 가능하다.

<그림 6> 리포트 생성 자동화 예시

6. 캠페인 최적화
마이닝 프로세스가 자동화 될 수 있다면 지금까지 불가능 했던 많은 일들을 할 수 있게 된다. 우선 캠페인 별 반응고객 모델 개발이 가능해지고 더 나아가서는 세분집단 별 캠페인 반응고객을 예측할 수도 있어진다. 또한 상품별 구매가망고객 예측 모델링도 가능해지며, 매우 상세한 상품단위로 매출예측을 월 단위로 자동화하여 매출이 사업계획 수준과 큰 차이가 없을 것인지, 차이가 발생한다면 캠페인을 어느정도 하면 계획대로 목표를 달성할 수 있는지를 결정하는 모든 프로세스가 자동화 된다.

결국 마이닝 자동화를 통해 단순반복적인 의미없는 일에 사용하던 시간을 보다 최신 데이터를 생성하고, 보다 최근 모델을 신속하고 상세하게 개발함으로써 기업의 니즈에 적시 대응할 수 있는 환경을 마케터에게 제공함으로써 캠페인 최적화를 통한 비즈니스 가치 증대가 가능하게 되는것이다.

◆결론=마이닝 자동화를 통한 캠페인 최적화 또는 마케팅 최적화 사례는 해외에서 비용의 절감과 캠페인 실행의 증대 및 ROI의 개선으로 입증되었고 국내에서도 이러한 요구가 지속적으로 증가하고 있어 매우 좋은 현상이라고 판단된다.

마지막으로 마이닝 자동화 및 캠페인 최적화에 대해 전달하고 싶은 메시지는 마이닝은 학문이 아니고 실행가능한 전략적 도구가 되어야 된다는 점이다.