줄리아나 드루아(Julianna DeLua) 인포매티카 마케팅 이사

많은 기업들이 데이터 품질을 분석 업무와 의사 결정 과정에 있어 가장 중요한 과제 중 하나라고 인식하고 있다. 그러나 이는 기업들이 데이터를 어떻게 관리하느냐에 따라 독이 될 수도 있고 약이 될 수도 있다. 어떤 기업에서는 무분별한 BI(Business Intelligence)의 확산으로 이기종 시스템이나 애플리케이션 상의 데이터 품질이 더욱 악화되고 이로 인해 BI 리포팅의 신뢰도가 추락하고 있는 반면, 어떤 기업에서는 우수한 품질의 데이터에 기초한 BI를 통해 더욱 효과적으로 경쟁력을 확보하고 있다. 이번 기고를 통해 데이터 품질이 가장 일반적인 형태의 BI에 어떠한 영향을 미치는지, 데이터 품질을 완벽하게 모니터링하고 관리하는 방법에 대해 알아보고자 한다.

오늘날 기업들은 경쟁 우위를 강화하고 운영 성과를 높일 수 있는 기술에 투자해야 한다는 압력이 더욱 가중되고 있다. 성공적인 BI의 구축을 통해 매출 성장은 물론, 기업 건전성 평가, 지속 가능한 KPI(Key Performance Indicators)의 확립, 일상 업무에 대한 모니터링 등을 지원해 기업 수지 개선에 도움을 준다. 결과적으로 BI를 위한 정확한 데이터에 대한 요구는 정보의 사용자와 공급자 측면 모두에서 계속 높아지고 있다.

업무에서 보다 많은 데이터를 필요로 함에 따라 경영진부터 최종 사용자에 이르기까지 여러 다양한 사용자 계층 전반에서 BI 기능이 채택되고 있다. 이와 같은 광범위한 확산을 통해 BI의 지원 범위는 전통적인 쿼리, 분석 리포팅 및 OLAP(Online Analytical Processing) 기능을 넘어 운영 대시보드, 사용자 지정 스코어카드, 보다 발전된 시각화를 지원하기에 이르렀다. 이는 정보 공급망의 관점에서 사용자가 필요로 할 때마다 BI에서 사용될 수 있도록 형식에 관계없이 데이터의 액세스, 결합, 최적화가 가능해야 한다는 것을 의미한다.

쿼리와 분석 위주의 전통적인 BI 애플리케이션과 달리 최근에는 많은 BI들이 운영 의사 결정과 후속 조치에 중점을 두고 있다. 이는 데이터의 정확성과 신뢰도가 사용자가 보고서와 알림을 토대로 수행하는 모든 조치에 영향을 준다는 것을 의미한다. 데이터가 이상하다고 느끼거나 BI 보고서를 신뢰할 수 없다고 느낀 적이 있는가? 이치에 맞든 맞지 않든 이와 같은 기분 나쁜 경험은 업무에 필요한 작업을 지연시키거나 심지어 중단시키기도 한다.

어디에서든 신뢰가 반드시 필요한 덕목인 것처럼 데이터에 대한 신뢰도 예외는 아니다. BI 팀과 BI 보고서 사용자들 간에 데이터의 신뢰도를 확보하는 것은 매우 중요하다. 데이터가 완벽하지 않거나 정확하지 않고 상당 수가 중복되어 있다면, 신뢰 체계 전반에 부정적인 영향을 줄 것이고 BI의 실효성에 의문을 제기할 수 있다. 그러나 기업 전반에 걸쳐 데이터가 지속적으로 순환할 수 있도록 데이터 웨어하우스, 운영 저장소 및 기타 시스템, 애플리케이션을 아우르는 신뢰할 수 있는 네트워크를 구축하는 것은 단순한 데이터 정제나 매칭을 넘어서는 중요한 의미를 가진다. 이러한 이유에서 많은 기업들이 자사의 엔터프라이즈 BI 전략의 핵심 과제로 데이터 품질 프로젝트를 추진하고 있다.

◆데이터 품질은 무엇이며 왜 중요한가?=“데이터 품질”은 우리가 이야기하고 있는 대상을 정의하는 데 필요한 것을 논의하는 것처럼 쉬운 용어다. TDWI는 데이터 품질을 데이터의 내용과 (다양한 기준에 따른) 구조를 비롯하여 이름 및 주소 정제, 매칭, 저장, 중복 제거, 표준화, 타사 데이터 첨부 등과 같이 데이터를 향상시키는 표준 기술 및 업무 관행이라고 정의한다. (출처: TDWI March 2006, “Taking Data Quality to the Enterprise Through Data Governance”, Phillip Russom) 기업은 데이터 품질을 특정 규칙 및 기준에 의해 정의된 비즈니스 기대치에 대해 데이터 자산의 가치를 지정하는 수단으로 활용할 수 있다. 데이터 품질 차원 프레임워크(그림 1)에는 데이터 품질 문제를 파악하고 범주화하는 데 이용할 수 있는 다양한 매개변수가 포함될 수 있다. 만약 데이터 품질이 좋지 않다고 한다면 즉각적으로 조사 및 분석하여 데이터 품질 수준을 수치로 나타낼 수 있다. 예를 들어 데이터 품질이 80%라고 한다면, 적합성이나 중복성과 같은 주요 속성이 얼마나 완벽한지를 종합적으로 나타내는 것이다.

일반적으로 기업들은 아래의 프레임워크로 시작하며, 필요에 따라 성숙도와 우선 순위를 조정해나간다. 또한 업무 부서와 IT팀이 측정대상이 될 지표에 대해 합의하는 것도 중요하다.

BI 프로젝트가 점차 여러 부서들을 연결하는 프로젝트로 확대됨에 따라 단순한 고객 데이터 이외에 다양한 마스터 데이터를 위한 데이터 품질 관리가 성공 사례로서 등장하게 되었다. 마스터 데이터에는 제품 데이터, 회계 데이터, 자산 및 기타 금융 데이터, HR 데이터 등이 포함되며 이들은 ERP 시스템과 관계형 데이터베이스에서 반정형 데이터 소스에 이르는 여러 플랫폼상에서 다양한 형태로 존재하고 있다. 그 중 특히 데이터 품질 관리에 필요한 성능과 확장성이 중요하며, 이는 모든 종류의 BI를 위한 데이터를 결집, 통합한 후 데이터의 양이 방대해지기 때문이라고 볼 수 있다.

즉, 성공적인 BI를 위해 데이터의 양과 복잡성에 관계 없이 항상 높은 수준의 품질을 유지하기 위한 모든 유형의 데이터를 프로파일링하고 정제, 제공하는 능력이 전제된다. 그리고 그 효과는 실로 엄청나다.

BI를 통해 확보된 비즈니스 통찰력은 데이터 품질 관리를 통해 기존에 비해 수 배 이상 신속하게 실행에 옮길 수 있게 되었다. 데이터의 신뢰도가 향상됨에 따라 임원과 관리자, 부서의 데이터 사용자들은 보다 세분화되고 정확한 비즈니스 프로세스상의 경보는 물론, 새로운 패턴이나 추세를 신속하게 인식하고 조치를 취할 수 있다. 데이터 사용자들이 리포팅 및 알림으로부터 정확한 데이터를 사용할 수 있게 됨에 따라 비용이 필요 이상 많이 들어간 부분이나 비용 절감의 기회를 파악할 수 있다. 완벽한 데이터 품질 관리는 감사 수행 능력과 BI 리포팅의 가시성을 높이며 규제 준수와 위험 관리를 위해서는 특히 중요하다.

그러나 긍정적인 측면만 있는 것은 아니다. 연구 결과, 취약한 데이터 품질이 광범위하고 치명적인 영향을 미칠 수도 있다고 한다. 대표적인 사례는 다음과 같다.

 데이터 검사, 정제 및 조정에 엄청난 수준의 IT 시간 및 리소스 소요
 분석을 위해 수동으로 데이터를 가져오고 수정하는데 추가 운영 오버헤드 발생
 시스템 및 BI 공급망 전반에 대한 신뢰도 상실
 고객 만족도 및 업무 성과에 부정적인 영향을 미치는 의사 결정 지연 또는 잘못된 의사 결정
 규제 준수 및 위험 관리의 요구 사항을 충족하는데 장시간 소요 및 실패

◆데이터 품질 및 5가지 유형의 비즈니스 인텔리전스=앞서 언급했듯이 BI는 기업의 요구 사항이 증가하고, 보다 높아진 미션 크리티컬한 활동 수준을 지원하는 5가지 유형으로 발전해 왔다. 이들 각 유형은 각기 고유의 데이터 품질 요구 사항을 가지고 있다.

1. 스코어카드 (Scorecards) 및 대시보드(Dashboards)
보다 많은 사용자들이 재무, 운영 및 성과 모니터링을 위해 전반적인 기업 현황을 파악하고자 함에 따라 스코어카드와 대시보드가 널리 채택되고 있다. 이는 가시적인 그래프, 차트, 지표를 통해 업무 성과를 추적하고 사용자가 필요로 하는 동향이나 의사 결정에 대해 통지할 수 있도록 지원한다. 일반적으로 통합된 뷰를 제공하는 데 필요한 데이터 요소는 유효한 최신 데이터로 이들은 여러 사업부문과 부서에 걸쳐 저장되어 있다.

데이터 품질은 다음과 같은 기능이 필요한 스코어카드 및 대시보드 사용자들에게 영향을 주게 된다.
• 대시보드에서 지표와 지침 상의 완벽한 데이터를 신속하게 사용 및 조치 수행
• 통합된 뷰 완성 및 표준화된 데이터를 이용한 협업 수행
• 일관된 데이터를 이용한 공식 스코어카드 방법론 활용
• 그룹 또는 개인 수준의 성과까지 정확한 데이터 제공
• 최소한의 데이터 중복을 통해 주목할만한 동향을 도출할 수 있는 비즈니스 프로세스를 정확하게 표시
• 검증된 데이터를 통해 연계성 도출 및 교차 영향 분석 수행

2. 엔터프라이즈 리포팅
엔터프라이즈 리포팅은 모든 계층의 사용자들에게 ERP, CRM, PRM, 인보이스 및 과금 시스템과 여타 기업 전반의 소스 시스템을 망라하는 운영 및 여러 비즈니스 리포팅을 제공한다. 보고서는 광범위하게 배포되며 수당과 여타 인센티브 프로그램은 일반적으로 리포팅된 결과와 연계된다.

데이터 품질은 기업들이 다음과 같은 사항들을 수행하는 데 있어 엔터프라이즈 리포팅에 영향을 준다.
 여러 보고서를 탐색하고 여러 이기종 소스의 데이터를 종합하여 다양한 형태로 인쇄
 다양한 매개변수를 선택하고 표준화된 데이터를 토대로 사용자에 맞게 지정
 여러 다양한 성능 지표 전반에서 조정가능한 데이터를 이용하여 다수의 테이블 및 표 제시
 업무 부서 사용자가 IT의 도움없이 고품질 데이터를 이용하여 자신만의 보고서를 작성할 수 있도록 지원
 규제 준수 관리를 위한 정제되고 일치된 데이터를 이용함으로써 수작업 확인 및 감사 작업 최소화
 결함이 없는 재무데이터를 활용하여 BI 리포팅에서 직접 청구서 및 계산서 발행

3. 큐브(Cube) / OLAP 분석
OLAP(Online Analysis Processing)은 사용자가 상호 연관된 데이터 하위 집합이나 “큐브(Cube)”를 즉각적으로 “세분화”하여 볼 수 있도록 해준다. 예를 들어 사용자는 특정 시간대에 대한 지역별 영업 계획, 제품별 성과, 영업 담당자별 성과 등을 사전에 개발할 수 있다. 또한 드릴 업/다운, 피봇, 정렬, 필터 등과 같은 OLAP 기능은 성과에 대한 세부 사항을 제공하는 데 이용할 수 있다. 분석 큐브는 사용자가 1단계 분석을 수행하고 이에 대한 추가적인 평가를 위해 팀과 결과물을 공유할 수 있도록 도와주며, 고급 분석 기능을 대신하여 데이터 웨어하우스와 기타 데이터 저장소에 대한 액세스를 활용해 즉각적으로 심도 깊은 평가를 할 수 있도록 지원한다.

데이터 품질은 사용자들이 다음과 같은 사항을 수행하는 데 있어 OLAP 분석에 영향을 준다.
 타겟 데이터에 대한 완벽한 액세스를 통해 심도 깊은 조사를 위한 모든 차원에 걸친 검색 및 조사
 올바른 형식의 일치된 데이터를 통해 모든 차원의 하위 집합에 대한 OLAP를 손쉽게 처리
 일관된 기초 데이터 객체를 통해 상충되는 리포팅 최소화 및 상호작용 보장
 다차원 내 정확한 데이터를 활용하여 사용자 주도의 적시 분석 수행
 큐브 분석에 트랜잭션 수준의 데이터를 처리할 수 있도록 동기화된 최신 데이터 제공
 현업 사용자가 데이터 웨어하우스 전반에서 큐브 데이터를 생성 및 유지할 수 있도록 허용하는 경우, 데이터 보안 보장

4. 고급/예측 분석
고급 및 예측 분석은 OLAP 분석의 한계를 극복하고 전문 사용자들이 특정 영업 성과 분석 이면의 세부 내역을 완벽하게 조사, 파악할 수 있는 기능을 제공하며, 이러한 접근 방식에는 고급 통계 분석과 데이터 마이닝 기능이 포함될 수 있다. 또한 예측 분석에는 잠재적인 비즈니스 위협에 대비한 의사 결정과 대비 태세를 강화하기 위한 가설 검증, 고객 이탈 예측, 공급 및 수요 예측, 고객 평가 등이 포함될 수 있다. 사전 예측 모델링은 다양한 비즈니스 사례와 관련 결과를 예측하는 데 사용될 수 있다.

데이터 품질은 사용자가 다음과 같은 사항을 수행하는 데 있어 고급 및 예측 분석에 영향을 준다.
 커스터마이즈 가능한 보고서를 위해 모든 데이터 요소 전반에 걸쳐 보고서 필터링 기준 생성
 사전 대응적 의사 결정을 위해 표준화된 데이터 형식으로 패턴과 예측 통찰력 검색
 일관된 데이터를 이용하여 상호 의존적인 동향과 예상 결과를 탐지하는 데 대한 확신
 정확한 데이터 상의 다변수 회귀 분석 및 기타 기법을 채용하여 보다 나은 예측 수행
 데이터 중복 없이 충돌을 최소화하면서 데이터 그룹화 커스터마이즈
 검증된 데이터를 토대로 가설 검증, 통계, 회계 및 수학적 기능 활용

5. 통지 및 경고
통지와 경고는 광범위한 사용자 접점에서 e-메일, 브라우저, 네트워크 연결 서버 및 프린터, PDA나 포털 등을 통해 정보를 공유하는데 활용된다. 또한 필요한 정보를 신속하게 제공함에 따라 주요 이해 관계자와 의사 결정자들이 잠재된 기회를 파악하고 문제가 발생할 수 있는 부분을 사전에 감지할 수 있도록 도와준다. 이와 같은 “최전방(front-line)” BI 딜리버리 메커니즘은 기업이 비즈니스 위험과 기회를 민첩하게 파악하고 응답할 수 있도록 지원한다.

데이터 품질은 이러한 영역에서 기업이 아래와 같은 기능을 갖추는 데 영향을 미친다.
 모든 데이터 소스로부터 가장 광범위한 사용자 접점으로 경고 전달
 표준화되고 충돌 없는 데이터셋 상의 다양한 서브스크립션 유형을 위해 높은 처리량 보장
 일관된 통합 데이터를 제시함과 동시에 사용자들이 첨부 파일을 열고 링크를 클릭할 수 있도록 지원
 사전에 평가 및 승인된 데이터 품질을 통해 정확하지 않은 경고 및 통지의 배포 위험 완화
 여러 이벤트 데이터가 특정 임계치에 도달하는 경우 실시간으로 경고 발생 기능 실행
 컨텐트 개인화 및 그룹 연계를 위한 사전에 인증된 데이터 활용

◆철저한 데이터 품질 모니터링 및 관리를 위한 기법=많은 기업들이 다양한 유형의 BI를 복합적으로 사용하고 있다는 점은 데이터 품질의 향상은 BI의 이점을 더욱 배가시킬 수 있다. 이러한 이유에서 성공적인 BI 프로그램을 위해서는 반드시 측정 지표에 기초한 프로그래밍 방식의 데이터 품질 관리 요소가 포함되어야 한다. 데이터 수명 주기 전반에서 데이터 무결성을 유지하기 위해서는 규제를 준수하고 거버넌스 목표를 달성해야 한다. 엔터프라이즈 데이터의 신뢰도에 대해 확신을 갖기 위해서는 정보는 물론 데이터 흐름과 관계에 대한 감사 및 추적 기능을 지원해야 한다. 여러 요인에 의해 데이터 모니터링 및 관리는 데이터 액세스, 통합, 전환, 제공에 이르는 수명 주기를 보완하게 된다.

데이터 품질 프로그램에 따라 기업들은 아래 그림과 같이 데이터 품질 방법론을 정립하거나 수정해야 한다.

데이터 품질의 향상은 순환 고리상에서 이루어져야 한다. 우선,

1) 데이터 프로파일링은 전반적인 데이터 품질 전략의 범위를 결정하는 데 있어 중요한 요소이다. 이는 복잡한 데이터 체계의 내용, 구조 및 품질을 파악하고 데이터 소스와 타겟 애플리케이션 간의 감춰진 불일치 및 비호환성을 발견할 수 있도록 지원한다.

2) 측정 지표를 확립하고 목표를 정의하는 것은 IT 부서와 현업 부서가 BI 전략의 일환으로 수행한 데이터 품질 프로젝트의 결과를 평가할 수 있도록 지원한다.

3) 데이터 품질 규칙의 설계 및 구축은 데이터 품질을 위한 목표 및 기준을 정의하고 측정할 수 있도록 해준다. 아래에 상세히 설명되어 있는 바와 같이

4) 데이터 품질 규칙 및 활동(프로파일링, 정제/매칭, 자동 수정 및 관리)을 데이터 통합 프로세스와 결합하는 것은 데이터 자산의 정확성과 가치를 높이는 데 있어 매우 중요하다.

5) 예외 검토 및 규칙 개선 작업은 핵심 팀 멤버와 BI 관계자들이 공동으로 참여했을 때 최고의 성과를 거둘 수 있다. 대부분의 경우, BI 관계자들은 데이터 품질 저하가 발생하는 비즈니스 프로세스와 운영 시스템에 대해 제한적인 제어 권한을 가지고 있다. 이러한 점에서 기업 전반의 주요 관계자와 임원들이 데이터 품질을 문서화하고 공식 데이터 품질 프로그램에 착수하는 것은 상당히 중요하다. 그리고 마지막으로 대시보드와 실시간 통보를 통한

6) 사전 예방적 데이터 품질 모니터링 역시 빠르게 성공 사례로 자리잡고 있다. 아울러 BI관계자들의 경우 데이터 품질의 적정 수준이 어느 정도인지를 인지하고 있으므로 데이터 품질 프로세스에 참여하게 되면 보다 효과적인 데이터 품질 관리가 가능하다.

◆데이터 통합 아키텍처에 포함되는 엔터프라이즈 데이터 품질=데이터 품질을 보다 완벽하게 관리하기 위해 데이터 품질 아키텍처에 대한 발상의 전환이 이루어지고 있다. 많은 업계 선두 기업들이 자사의 데이터 통합 아키텍처에 데이터 품질을 구현하고 있는데 이러한 접근법에는 다양한 이점이 있다.

그 중 하나는 엔터프라이즈 데이터 통합을 토대로 안전하고 일관적이며 신속하게 엔터프라이즈 데이터의 발견, 액세스, 변환, 조정, 관리 및 제공을 수행할 수 있다는 것이다. 이러한 접근 방식으로 IT는 다양한 BI와 기타 환경에서 데이터 액세스, 변환, 품질 관리 로직을 재사용함으로써 새로운 BI 프로젝트를 수행하거나 기능 향상에 소요되는 시간을 단축할 수 있다.

또 다른 이점으로는 변화 관리나 영향 분석을 위해 단일 환경을 활용할 수 있다는 것이다. 엔터프라이즈 데이터 통합 프레임워크는 기본적인 메타데이터 인프라를 비롯하여 IT가 효율적인 변화 관리를 수행할 수 있도록 지원하는 데이터 관계 및 계보와 관련된 정보를 포함하고 있다.
마지막으로 엔터프라이즈 데이터 통합 인프라는 배치(Batch)에서 실시간(Real-time)에 이르는 다양한 데이터 처리시간을 지원한다. 비즈니스 프로세스가 발전하고 기업들이 점차 전통적인 의사 결정 지원 시스템에서 운영 BI를 필요로 하는 운영 의사 결정 시스템으로 전환함에 따라, 다양한 대기 시간의 지원에 대한 중요성은 더욱 높아지고 있다.

◆결론=BI 애플리케이션에서 사용되는 정확하고 최신의 데이터는 많은 기업들의 업무 운영에서 필수적인 역할을 담당하고 있다. 신뢰할 수 있는 고품질 데이터에 기초한 일관된 전달 및 조치를 위한 툴이 없다면 BI 시스템은 기업의 운영 건전성을 평가하는 데 어려움을 겪을 뿐만 아니라, 효과적인 사업 운영과 경쟁을 위한 조치를 취하는 것이 어려워질 수 있다. BI 솔루션 전략가와 아키텍트들은 엔터프라이즈 데이터 품질 접근 방식을 통해 보다 신뢰할 수 있는 스코어 카드, 상세 분석, 온 디맨드 경보 등을 포함한 주요 BI 유형을 구현할 수 있다.

데이터 품질 솔루션은 기존 엔터프라이즈 데이터 통합 프로세스 및 솔루션과 동기화될 수 있으며, 이에 따라 측정 지표에 기초한 접근 방식으로 모든 유형의 마스터 데이터에 액세스하고 관리할 수 있다. 따라서 일반적으로 고객 데이터의 정제로 제한되어 있는 전통적인 데이터 품질 기술 보다 훨씬 우수한 성과를 거둘 수 있다.

이와 같은 엔터프라이즈 레벨에서의 성공적인 데이터 품질 구현은 경쟁 우위와 시장 주도권을 확보활 수 있는 BI 활용 역량을 강화하며, 이를 통해 기업이 BI 투자에 대한 ROI를 극대화 할 수 있도록 지원할 것이다.