기업 데이터와 관련, 데이터 품질, 데이터 분석, 데이터 공유, 데이터 보안 등 데이터가 화두이다. 잘못된 데이터는 기업의 경쟁력을 떨어뜨릴 뿐만 아니라 회사의 대외 신인도까지 하락시킨다. 뿐만 아니라 중요한 정책 결정의 의사 판단능력도 저하시킨다. 이 같은 이유는 잘못된 데이터가 주 요인이기도 하지만, 미래 예측을 위한 마이닝 기술 부재에서도 원인을 찾을 수 있다. 기업의 경쟁력 제고를 위한 데이터 품질, 분석, 공유, 보안에 대한 최근 이슈를 조명해보고 관련 업체의 전략 및 솔루션을 알아본다.<편집자 주> 

낮은 품질의 데이터는 새롭게 등장한 문제가 아니며 이를 해결해야 하는 것이 시급하다. 고객들은 목표가 잘못 설정된 마케팅 활동에 불만을 제기하고 있으며 시의 적절하지 못한 데이터에서 기인하는 서비스를 더 이상 감내하지 않는다. 바로 여기에 기업들이 고객의 성향 파악을 위해 CRM 애플리케이션에 막대한 투자를 단행하고 있는 이유가 있다.

힐튼 호텔의 고객 솔루션 담당 부사장인 척 스코진스는 “힐튼 호텔의 효율적인 마케팅은 효율적인 영업으로 이어지고 이는 다시 효율적인 서비스로 연계된다. 데이터 품질은 이를 위한 성공의 핵심”이라면서 “품질이 높은 데이터를 보유하지 않는다면 이러한 가치 사슬 전체가 붕괴된다”고 설명했다.

잘못된 데이터는 잘못된 의사결정 초래
최근 관리자들과 고용주들이 성능 관리 애플리케이션과 정보의 ‘계기판’을 통해 제공되는 통찰력을 근거로 의사를 결정하는 비율이 증가하고 있다. 하지만 비즈니스 인텔리전스 툴은 양질의 데이터나 그만큼의 가치가 있는 데이터가 제공될 경우에만 효력을 발휘하며 잘못된 데이터는 잘못된 의사 결정을 초래한다.

품질이 떨어지는 데이터는 고객의 이탈을 초래할 뿐만 아니라 투자자들의 ‘오판’을 야기하며 법률을 위반하게 만드는 결과를 이끈다. 잘못된 회계나 금융 데이터로 인해 사베인 옥슬리 법을 위반, 경영진을 범죄자로 만들 수도 있다. 불량한 데이터는 운영과 고객 목록을 통합하는 것을 어렵게 한다는 점에서 기업 합병을 진행하는데 있어 비용과 시간을 크게 증가시키기도 한다.

기업들로부터 생성되는 데이터가 급증함에 따라 불량 데이터로 인한 문제의 심각성이 커지고 있다. 또한 많은 기업들이 외부 협력사와 고객사들과 정보를 공유하면서 불량 데이터가 다른 업체에 노출될 우려도 높아지고 있다. 이메일을 사용해 본 사람들은 불량 데이터를 잘 알고 있을 것이다. 신용 카드를 갖고 있는 소비자들의 경우 카드 발행 업체가 동일한 이메일을 여러 통이나 보내는데다 수신자의 이름 철자가 잘못되어 발송되는 경우를 겪은 적이 있거나 자동차를 보유하고 있지 않은데도 딜러로부터 관련 메일을 받은 적이 있을 것이다.

불량 데이터는 소비자들에게는 다소 불편한 감정만을 초래하지만 기업들에게 적용될 경우는 그렇지 않다. 잘못된 데이터는 그보다 심각한 상황으로 이어져 기업들이 내부 데이터의 장애에 대해 공개적으로 질타하게 된다. 기업들은 소비자의 개인 정보 노출로 이어질 수 있는 보안 침해 사건에 대한 정보를 법적으로 공유하고는 있지만 불량 데이터에는 적용되지 않는다. 그 결과 문제가 지속되더라도 무슨 일이 발생했는지 알아내기가 힘들다.

이러한 문제를 해결하는데 있어 가장 큰 장애 요인은, 비즈니스 프로세스가 중단되는 사고가 발생하더라도 기업 매니저들이 데이터 품질을 기술적인 문제로 치부한다는 점이다. 영업 담당자들이 주문 내역의 고객 주소를 잘못 입력하거나 제조 관리자들이 재고 데이터베이스에 부품 번호를 잘못 기입하더라도 IT 관리자들은 이에 대한 통제 권한이 거의 없다. 지난해 11월 가트너가 600명의 경영진들을 대상으로 실시한 설문조사 결과, 응답자의 49%가 기업의 데이터 품질에 대해 IT 부서에 권한을 부여하고 있다고 대답했으며, 그보다 훨씬 적은 응답자가 톱 경영진이나 데이터 품질 팀, 부서 매니저 등에 권한을 부여하고 있다는 결과가 나왔다.

BT 그룹의 데이터 품질 프로그램 프로젝트 매니저인 나이겔 터너는 “기업들이 데이터 품질에 대한 책임을 져야 한다는 사실을 받아들여야 한다”고 말했다. 가트너는 대기업의 중요한 데이터 중 25% 이상이 다소 부정확하거나 불완전한 것으로 추정하고 있다. 또한 그러한 부정확한 데이터가 장애를 일으킬 수 있다. 데이터 웨어하우징 협회(DWI)가 지난해 750명의 IT 전문가들 및 경영진들을 대상으로 한 조사 결과, 응답자의 53%가 불량한 데이터로 인해 피해를 입거나 비용 손실을 경험했던 적이 있는 것으로 나타났으며 이는 2001년에 실시했던 조사 결과인 44%보다 증가한 수치이다.

불량 데이터를 처리할 수 있는 권한이 IT 담당자들에게 부여되지 않더라도 이들은 데이터 품질을 향상시키는 프로세스의 변화를 추진할 수 있다. 또한 프로세스 향상을 위한 기술과 불량 데이터를 규명하고 바로 잡을 수 있는 프로세스를 자동으로 실행하는데 필요한 툴을 구동할 수 있다.

BT, 데이터 품질 ‘챔피언’ 선정
BT의 경우 20여 년 전부터 데이터 품질의 향상을 추진해왔지만 고객 과금에서의 실수를 줄이고 잘못된 상품 재고 정보를 없애기 위해 1997년부터 대대적인 개편 작업에 돌입했다. EDI와 셀프 서비스 애플리케이션을 사용해 공급 업체 및 고객들과의 상호 작용을 개선하기 위한 시도 역시 불량한 데이터에 의해 제대로 이루어지지 못했었다.

당시 BT의 기업 전략 부서에 근무했던 터너는 통신 회사들이 데이터를 바로 잡는데 많은 시간과 비용을 투자하고 있다는 점을 인식했다. 그는 하향식의 전사적인 프로그램 형태로 접근하는 방법을 버리고 현업 부서별로 수평적으로 접근해 정보 관리 포럼을 추진, 데이터 품질에 대한 ‘챔피언’을 선정했다. 이 그룹들은 잘못된 사람들에게 발송되는 건수를 줄이기 위해 마케팅 데이터의 이름과 주소를 개선하는 등 투자 회수율(ROI)이 입증될 수 있는 특정 프로젝트를 목표로 했다.

데이터 품질 개선에 처음 편성된 예산은 3만 달러에 불과했다. 프로젝트가 확대되면서 기업 내부에서 외부로까지 적용되며 중앙에서 데이터 품질을 관리할 수 있는 데이터 품질 방법론이 개발되었다. 최대한 노력해도 데이터베이스에서의 에러가 발생할 수 있음을 인식한 BT는 에러가 있는 데이터를 밝혀내고 제거할 수 있도록 트릴리움(Trillium)의 데이터 프로파일링 및 클린징 툴을 사용했다.

그러한 시도는 큰 효과를 거두었다. BT는 재고 관리를 향상시키고 고객 및 공급업체와의 커뮤니케이션을 자동화함으로써 생산성을 높일 수 있게 되었으며 보다 정확한 과금을 통해 매출의 손실을 줄임으로써 8억 달러 이상의 비용 절감 효과를 거둘 수 있게 되었다. BT는 데이터 품질의 ‘노하우’를 터너가 맡고 있는 컨설팅 사업부로 전환시켰다.

데이터 품질 문제는 많은 양의 정보를 관리하는 기업들에게 여전히 일정 부분 존재하고 있다. 비즈니스 오프젝트의 제품 마케팅 담당 이사인 대런 커닝험은 어떤 기술 제조 업체의 경우 반송되는 카탈로그와 고객의 불평이 늘어나는 것을 매니저가 지적하기 전까지 잘못된 주소로 카탈로그의 절반 가량을 보낸 적이 있다고 밝혔다. 커닝험은 해당 회사가 이 문제를 해결함으로써 연간 1,200만 달러를 절감했다고 말했다.

데이터 품질 문제 데이터 거버넌스의 일부로 발전
데이터 품질 관리는 더 광범위한 데이터 거버넌스(governance) 프로그램의 일부가 될 수 있다. 비교적 새로운 개념인 데이터 거버넌스는 정보가 어떻게 조직간에 관리되고 보호되며 사용되는지에 대한 최적의 실행 방안을 적용한다. 이를 위해서는 정형화된 비즈니스 프로세스와 정책이 수립되어야 한다.

프라이스워터하우스쿠퍼스에서 기업 데이터 관리 실행을 총괄하고 있는 테리 하스 이사는 “데이터 거버넌스는 정확한 고객 정보와 데이터 품질 측정을 위한 방법 등 전사적으로 사용되는 데이터 구성 요소에 대한 표준화된 정의를 포함하고 있다”고 말했다. 데이터 거버넌스는 또한 관리자와 직원의 데이터 관리 역할과 책임, 데이터 변경에 대한 권한을 규정하고 있다.

데이터 품질을 측정하는데 있어서 표준화된 방법은 없다. 뱅크 오브 아메리카(BOA)와 신타스(Cintas)는 식스 시그마를 사용하고 있다(식스 시그마는 데이터에서부터 제조된 상품에 이르는 모든 것의 결함을 측정하고 제거하는 방법론이다). 힐튼 호텔은 신뢰성을 토대로 데이터에 대해 1~9까지의 순위를 부여하는 정확도 지수 가능성(PCI)을 사용하고 있다.

뱅크 오브 아메리카는 다양한 마케팅 및 교차 판매 애플리케이션을 위해 중앙에서 관리되는 데이터 웨어하우스에서 고객 및 계좌 데이터를 수집해왔다. 이 은행은 911 테러에 대응해 발효된 법률인 미국 애국법(USA PATRIOT Act)에 규정된 돈세탁 방지 법안을 따르기 위해 2002년부터 본격적으로 데이터 품질을 강화하기 시작했다. 돈세탁 방지 프로그램을 총괄하고 있는 도날드 칼슨은 새로운 계좌의 데이터는 여러 사업부로부터 생성되는 테라바이트급 웨어하우스에 수집되기 때문에 이를 통합하고 관리하기 위해 공통된 실행 방안을 수립했다고 말했다.

뱅크 오브 아메리카는 데이터 담당자를 각 사업부와 IT 부서에 파견했으며, 일부에게는 전사적인 권한을 부여했다. 데이터 품질 매니저는 문제 해결을 위해 정기적인 회의를 가졌다. 상용 및 맞춤형 데이터 프로파일링 툴을 사용해 검사하며 필요할 경우 웨어하우스로 전송된 데이터를 수정한다. 현재는 규제에 따르기 위해서뿐만 아니라 여러 채널의 고객 데이터를 관리하고 교차 판매를 실행하기 위한 시도로 이어지고 있다.

중복된 데이터의 위험성
신타스의 경우, 주력 사업인 유니폼 제작에서 문서 저장 및 서비스로 사업이 확장되면서 여러 사업부에서 생성되는 데이터를 통합하는 것이 당면 과제였다. 신타스의 데이터베이스 마케팅 매니저인 베키 베셀은 “그 결과 전사적으로 고객 데이터를 하나로 만들 수 있게 되었다”고 말했다.

교차 판매를 지원하기 위해, 모든 부서에서 생성되는 데이터가 데이터 웨어하우스에 수집되지만 약간 변화되어 중복된 형태로 저장되는 경우도 있다. 일부 고객 목록이 여러 데이터베이스에 등록되어 있지만 서로 다른 사람으로 식별되기 위해서는 이름이나 주소에 큰 차이가 있어야만 가능하다. 이럴 경우 같은 사람도 다른 고객으로 저장되어 교차 판매에 있어 어려움이 발생할 가능성이 있다. 또한 유사한 고객 이름으로 인해 영업 담당자들이 동일인으로 착각해 실제 판매로 이어질 수 있는 가능성이 줄어들 수도 있다.

신타스는 데이터 웨어하우스에 대한 정밀 분석을 위해 고객의 중복된 데이터를 밝혀내고 각 부서의 데이터베이스에서 매월 수집되는 고객 데이터를 표준화하기 위해 데이터플럭스(Dataflux)의 품질 관리 소프트웨어를 도입했다. 파일럿 시스템 구축 이후, 데이터 품질이 크게 개선되었다는 결과를 얻을 수 있었다.

신타스가 월별로 한번씩 고객 데이터를 통합하는데 반해 다른 기업들의 경우 실시간으로 통합하고 있어 데이터 품질 유지가 어려워지고 있다. 또한 많은 기업들이 에러가 있을 수도 있는 다른 업체들의 정보를 공유하는 것도 우려가 되는 요인이다. 뱅크 오브 아메리카의 칼슨은 비즈니스 및 데이터 소스의 글로벌화 역시 문제를 더욱 어렵게 만들고 있다고 강조했다.

호텔 업계에서는 고객들이 예약할 때 실제 이름을 사용하지 않아도 된다는 점에서 데이터 품질 관리가 훨씬 어려운 문제로 대두되고 있다. 힐튼 호텔 체인의 4테라바이트에 이르는 데이터 웨어하우스는 지난 2년 동안 힐튼 호텔에 여러 번 머문 고객들 2,200만 명의 이름과, 아주 드물게 방문하는 고객으로 등록되어 있는 사람들 6,000만 명이 저장되어 있다. 힐튼 호텔의 손님 중 약 20%를 차지하고 있는 힐튼 오너스(Hilton Honors) 게스트 프로그램 멤버 데이터는 2,200만 건이며 이들의 이름은 실제 이름과 동일한 것으로 파악되고 있다.

갈수록 어려워지는 품질 유지
하지만 다른 손님들이 예약할 때 어떤 카테고리에서 검색해야 할지 어려움을 겪고 있다. 힐튼은 데이터베이스에 있는 정보에서 투숙객들의 이름과 주소를 검색하기 위해 그룹원의 맞춤형 툴과 소프트웨어를 사용하고 있다. 여기에는 철자가 아닌 발음을 토대로 이름을 검색하는 사운덱스(Soundex) 알고리즘이 포함되어 있다. 모든 고객의 40%만이 기존 프로파일과 일치하며 새로운 프로파일이 생성된다.

AMR 리서치의 빌 스완튼 분석가는 “CRM과 ERP, 공급망 관리 시스템에 연계된 마스터 데이터 관리 프로젝트는 데이터 품질 프로그램에서 최근 높은 관심을 받고 있는 분야”라고 말했다. 마스터 데이터 관리는 고객의 이름과 제품 번호 등 중요한 데이터에 대한 중앙 관리 데이터베이스를 이용한다.

BMW 그룹 캐나다의 경우, 고객 데이터는 대리점과 콜 센터, 기업이 후원하는 이벤트, 다이렉트 메일과 인터넷 마케팅 캠페인을 통해 생성된다. 지난해 6월부터 시벨 CRM 시스템에 있는 고객 데이터를 모두 중앙화하고 트릴리움의 데이터 매칭 소프트웨어를 사용해 고객 데이터의 중복을 막고 이름과 주소를 표준화하며 불완전한 데이터를 없애는 작업을 진행해왔다.

마케팅 서비스 매니저인 켈리 람은 시스템이 도입되기 전에는 딜러와 BMW 회계 서비스 및 기타 운영 부서별로 각자 고객 데이터베이스를 갖고 있었으며 고객들은 컨택 지점이 중앙화되어 있지 않은 점에 대해 불만을 제기했었다고 말했다. 이 회사는 또한 캐나다 우체국이 규정한 주소 표준을 따름으로써 발송 비용을 줄일 수 있게 되었다.

데이어 웨어하우징 협회의 리서치 및 서비스 매니저인 필립 러섬은 “하지만 데이터 품질 향상의 궁극적인 목표는 입력 단계에서의 실수를 잡아내고 발생 단계에서부터 실수를 막는 것”이라고 말했다. 일부 기업들은 현재 이를 위한 솔루션 도입을 고려하고 있다. 신타스는 데이터플럭스 시스템의 데이터 매칭 기능을 사용, 데이터 웨어하우스로 들어가기 전인 개별 시스템에 직원들이 데이터를 입력할 때 바로 잡을 수 있는 방안을 모색하고 있다. 정확한 데이터는 입력 단계에서 시작되며 이를 그대로 유지하는 것은 ‘완료’ 지점이 없다. 비셀은 “백 엔드에서 교정을 하는 한 문제를 바로잡는 것은 불가능하다”고 말했다.
Rick Whiting

내부 정보 품질 보호에 나선 어바이어
어바이어는 100테라바이트가 넘는 고객과 벤더, 서비스, 회계 데이터를 관리하고 있다. 통신 장비와 서비스를 제공하는 회사로서 내부 데이터 표준을 준수하기 위해, 어바이어는 지난해 데이터 품질 센터를 설립했다. 어바이어의 글로벌 데이터 품질 담당 이사인 리치 트랩은 “불량 데이터는 비용 증가로 이어진다”고 말했다.

데이터 품질 센터의 직원들은 중복되는 데이터가 발생하지 않도록 하는 등 데이터 품질 관리의 최적 실행 방안을 구현하는 책임을 맡고 있다. 전략 기획과 비즈니스 아키텍처 담당 부사장인 게리 라디어리는 “낡은 시스템을 SAP과 시벨 시스템의 기업용 애플리케이션으로 교체하는 프로젝트로부터 파생되어 2005년 4월에 품질 센터가 설립되었다”고 밝혔다.

레거시 시스템의 경우, 결함이 있는 데이터로 인해 비용 상승과 수익 감소의 한 원인이 되었다. 어떤 경우에는 어바이어의 통신 장비 고객이 장비 가격을 지불하지 않았음에도 과금이 이루어지지 않는 경우도 있었다. 또한 표준형 서비스만 구매한 고객들이 데이터베이스의 에러로 인해 프리미엄 서비스를 제공 받는 경우도 발생했었다. 어바이어의 데이터 품질 센터는 불량 데이터를 밝혀내는 비즈니스 오브젝트의 IQ 인사이트 프로파일링 툴을 포함해 데이터 품질을 향상시키고 관리하는 툴을 제공하고 있다. 최고 경영진들로 구성된 데이터 품질 경영 협의회는 데이터 품질을 최대한 지원하며 각 부서별로 데이터 품질에 대한 책임과 권한을 부여하고 있다.

데이터 품질 관련 벤더의 인수 합병
데이터 품질 관리를 위한 소프트웨어 툴의 종류는 각양각색이며, 대형 기술 벤더들은 완벽한 제품을 구성하기 위해 전문 업체에 대한 인수 합병에 나서고 있다. 비즈니스 오브젝트(Business Objects)와 IBM, 인포매티카 등은 데이터 품질 관리 기능을 통해 보다 광범위한 IT 및 비즈니스 프로세스를 강화할 수 있다고 보고 소프트웨어 업체의 인수에 적극적이다.

최근 비즈니스 오브젝트는 6,900만 달러에 데이터 품질 소프트웨어와 서비스 공급 업체인 퍼스트로직(Firstlogic)의 인수를 완료했다. 퍼스트로직의 기술은 비즈니스 오브젝트가 얼마 전 비즈니스 인텔리전스와 성능 관리 애플리케이션의 토대를 위해 개발을 완료하고 발표했던 정보 관리 제품과 서비스에서 중요한 역할을 담당하고 있다.

IBM은 지난해 프로파일스테이지 데이터 프로파일 소프트웨어와 퀄리티스테이지 데이터 매칭 툴을 포함해 어센셜 소프트웨어(Ascential Software)를 인수했다. 이 소프트웨어는 현재 IBM의 웹스피어 정보 통합 시스템의 일부가 되었다. 지난 1월에 인포매티카는 데이터 프로파일과 표준화 소프트웨어를 개발하는 시뮬레리티 시스템즈(Similarity Systems)의 인수를 통해 자사의 파워센터 데이터 통합 소프트웨어에 데이터 품질 툴을 추가했다. 2년 전에는 피트니 보우즈(Pitney Bowes)가 또 다른 데이터 툴 벤더인 그룹원 소프트웨어를 인수하고 주소 교정 및 고객 데이터 통합을 위한 기술을 제공하고 있다.

데이터 품질 툴을 다른 제품으로 통합하는데 있어서의 위험성은 문제의 가시성이 줄어들 우려가 있다는 것이다. 하지만 최근의 추세를 보면 데이터 품질에 대해 IT 프로세스와 비즈니스 프로세스 모두에서 중요하게 받아들이고 있다는 점에서 다행스러운 일임에 틀림 없다. 가트너의 테드 프리드먼 분석가는 “데이터 품질과 통합 사이에 시너지 효과가 발생하게 될 것”이라고 밝혔다.

"고품질의 데이터, 수익 창출과 직결된다"
데이터 품질 관리를 위한 소프트웨어 툴의데이터 품질은 모든 기업들에게 중요하지만 데이터베이스 마케팅 업체인 경우 그 중요성은 이루 말할 수 없다. 인포메이션 리소스(IRI)는 40,000여 상점과 약국, 편의점에서 수집되는 판매시점관리(POS) 정보와 매주 상품과 의료 제품 구매자들로부터 생성되는 6억 건의 기록 등 170여 테라바이트에 이르는 데이터를 보유하고 있다. 또한 소비재 제조 업체와 유통 업체들의 프로모션 활동에 대한 정보와 10만 가정이 제공하는 데이터도 보유하고 있다. 이러한 데이터들은 시장 점유율을 계산하고 마케팅 캠페인을 기획하며 여러 분석 활동을 실행하기 위해 소비재 제조 업체 및 유통 업체들에게 판매된다.

IRI의 CIO인 마샬 깁스는 1,850개의 포맷으로 유통 업체들로부터 생성되는 데이터를 교정하고 표준화한다고 말했다. 이 회사는 품질 제어와 관리를 위해 IBM의 데이터스테이지를 사용하고 있으며 필요한 비즈니스 규칙을 데이터에 적용하기 위해서는 아이로그(Ilog)의 JRules 엔진을 도입했다. IRI의 성공은 데이터 품질 자동화 소프트웨어를 구현하기 전에 수집된 데이터와 관리 프로세스를 분석하기 위해 식스 시그마를 사용한다는 점에 있다. 깁스는 “프로세스 작업을 자동화하는 것은 프로세스 리엔지니어링을 완료한 뒤에 실행하는 것이 보다 효과적”이라고 말했다.

기업 고객의 방대한 데이터를 재가공하는 액시움(Acxiom)은 1990년대 후반에 자체적으로 개발한 시스템과 메트릭스를 사용해 고객의 데이터 품질을 유지 및 관리하고 있다. 고객들로부터 유입되는 데이터는 정확성과 완벽성을 더해 적절하게 세분화되어 최적의 마케팅 수단이 될 수 있도록 제공하고 있다.

고객이 특정 프로젝트를 위해 데이터를 요청하면 해당 프로젝트에 맞는 고객을 선별해 데이터베이스로 구성하고 적절한 형태로 가공한 다음 마케팅에 적용하게 된다. 즉, 양질의 데이터가 수익으로 직결되는 사업 모델을 갖고 있다. 이를 위한 고객의 데이터에 대한 정확성은 액시움의 최우선 순위이다. 고품질의 데이터는 애플리케이션 업체들뿐만 아니라 마케팅 업체와 서비스 업체들 모두에게 수익 창출을 위한 ‘토대’가 되고 있다.