최근 인지 컴퓨팅 기술이 급속하게 발전하면서, 인지 컴퓨팅이 기업들의 비즈니스 성과에 미치는 영향이 많은 주목을 받고 있다.

인지 컴퓨팅 기술에 기반을 두고 있는 고급 분석 툴은 지식 집약적 산업 종사자들이 대량의 과거기록, 거래 및 머신 생성 데이터에서 실행 가능한 인사이트만을 도출해 관리할 수 있도록 돕고 있다.

이 인지 컴퓨팅 툴을 적절히 활용하면, 과거에 기업 내에서 탐지하지 못했던 사이버공격의 패턴 규명뿐 아니라, 고객의 구매 행동 패턴 분석과 함께 디바이스에 부착된 센서 데이터를 통해 예기치 않은 치명적인 장비 오류의 전조를 예측할 수 있다.

기업은 인지 컴퓨팅에 기반을 둔 알고리즘 도입을 가속화하고 있다. 동시에 기업은 짧은 알고리즘 교체 주기라는 문제에 직면하게 된다.

분석 알고리즘이 기업의 비즈니스에 최적화된 효과를 제공하려면 고도의 연산 능력에 더해 약하거나 실패한 알고리즘들을 삭제하는 데 있어 매우 민첩해야 하기 때문이다.

또한 삭제된 알고리즘들은 향후 정확도가 높은 알고리즘들로 가능한 빨리 대체돼야 한다.

이같은 작업은 지속적으로, 신속하게, 가차없이, 그리고 과감한 포기와 함께 수행돼야 한다.

디지털 비즈니스 시대는, 기업의 비즈니스에 가장 적합한 알고리즘만이 살아남을 수 있기 때문이다.

사이버 보안 분야를 예로 들면, 기업들의 방어 시스템은 공격을 받은 후 해당 보안 위협을 무력화하도록 보완된다.

그러나 사이버 범죄자들은 새로운 알고리즘을 개발해 재빨리 공격을 재개하기 때문에, 시스템 보안을 유지하고자 하는 기업은 공격자 수준만큼 빠른 속도로 자사의 방어 시스템의 알고리즘을 진화시켜야 한다.

실제로, 월스트리트에서 트레이딩 알고리즘은 단지 6주간만 수익성이 있었으며, 그 후 한 달 혹은 보름 내에 경쟁자들이 해당 연산을 역설계해 반격하는 것으로 알려져 있다.

사이버 보안 및 사기 탐지 분야에서 알고리즘의 효과는 불필요한 정보 속에서 약점을 찾아내는 것이다.

악명 높았던 미국 대형 소매업체 타깃(Target) 고객 정보 유출 사건을 타깃의 시스템이 탐지했다는 것은 잘 알려진 사실이다.

문제는 강력한 보안 모니터링 팀이 시스템 내의 무해한 오류들 중에 실제 해킹 이벤트를 식별하는 알고리즘을 갖추지 못했다는 것이다.

즉 ‘지나치게 많은 정보들이 존재한다’는 것이다.

사기 탐지 알고리즘이 가장 잘 발달한 산업은 이해관계가 가장 큰 금융 서비스 부문이다.

미국 주식 중개업체 나이트 캐피털(Knight Capital)은 2013년 불과 40분 만에 4억 4000만 달러(한화 약 5038억원) 이상의 손해를 보고 나서야 알고리즘 혁신을 가속화했다.

미국의 대형 전자 주식 중개업체 컨버젝스(Convergex)는 사기 탐지 시스템을 구축해 매일 5억 건에 달하던 이벤트들 중에 의미가 있는 수 백 건의 이벤트를 선별할 수 있었다.

핵심은 스트리밍 데이터(Streaming data)의 노이즈를 줄일 수 있도록 분석을 손쉽게 수집 및 평가하는 시스템을 구축하는 것이다.

컨버젝스의 최고정보책임자(CIO) 조 웨이보드(Joe Weisbord)는 시스템이 공격 받아 어떤 문제가 발생할 지 효과적으로 분석하는 알고리즘을 발견하고 개선하는 데엔 수 주에서 몇 달이 걸린다고 설명했다.

기업에서 일련의 효과적인 전략들을 일단 수립하게 되면, 서로 다른 전략들을 상이한 기간에 조건에 따라 운영하거나 과거 시나리오에 기반한 새로운 전략들을 만들어낼 수 있게 된다.

더 많은 학습과 시스템의 변화 및 새로운 실패 유형들의 발견 등을 통해 이러한 전략들은 완전히 처음부터 새롭게 실행될 수 있다.

금융시장의 안전성은 시장을 모니터링하는 알고리즘의 안전성에 영향을 받으며, 이러한 알고리즘은 지속적으로 더욱 스마트할 필요가 있다.

알고리즘이 빠르게 진화하고 있는 또 다른 영역은 예방적 유지보수 분야다.

현재 산업 사물 인터넷은 대부분의 장비들에서 스트리밍 센서 데이터 정보를 제공하고 있는데, 이를 즉시 분석하는 것이 매우 중요하다.

이런 실시간 스트리밍 데이터 분석은 미래에 나타나는 장애의 초기 신호들을 감시하는 알고리즘을 기반으로 장애가 언제 일어날 지 예측한다.

큰 석유 및 가스 회사에서 데이터 과학자들은 석유생산 손실 및 기계 작동 오류로 인해 발생하는 수 천만 달러를 절약할 수 있는 정확한 신호들을 규정하고, 정제하기 위해 1년 이상을 일했다.

6개월 동안 가장 효과적인 알고리즘을 가려내기 위해 수 백 개의 알고리즘이 생성, 평가 및 재평가 과정을 거쳤으며, 다른 알고리즘에 관한 연구가 계속 진행 중이다. 이는 알고리즘 시스템 인텔리전스의 지속적인 진화 과정이다.

운 좋게도 우리는 많은 시간이 소요되는 알고리즘의 진화를 수 시간 또는 수 분내로 단축해 주는 툴들을 발명해 왔다.

이같은 툴들은 지식 노동자들의 직관 및 경험을 증강, 그들이 수 개월 또는 몇 년이 아닌 몇 시간 또는 며칠만에 새로운 알고리즘들을 발견하고 해당 알고리즘들을 빠르게 개선하는 한편 실행 전 테스트 및 구축할 수 있도록 지원한다.

이로써 알고리즘이 매우 빠르게 진화하도록 돕는다.

첫째, 시각적 분석(Visual analytics)은 자동화 기능이 지원하기는 하지만, 패턴 발견을 프로그래밍이 반드시 필요하지 않은 프로세스로 전환해준다.

이같은 툴들은 데이터 과학자들이 방대한 양의 과거 기록이 담긴 데이터 레이크를 탐색하고, 조건들을 분석하는 데에 실시간으로 사용되는 모델들과 매치할 수 있도록 지원한다.

둘째, 분석 애플리케이션(Analytic applications)은 고도의 연산에 간단한 포인트 앤 클릭(point-and-click) 인터페이스를 지원해 데이터 비전문가들이 시각화 기능을 사용할 수 있도록 한다.

예를 들어 해당 애플리케이션에서 비전문가들도 고객을 가변 중요 알고리즘과 클러스터링하는 효과를 시각화 할 수 있다

셋째, 스트리밍 분석(Streaming analytics)은 스트리밍 데이터가 기업 내로 유입되거나 기업에 걸쳐 유통될 때 알고리즘들을 직접 스트리밍 데이터에 적용한다.

이를 통해 거래가 발생할 때 사기 패턴을 감시하는 것과 같이 실시간 조건들을 지속적으로 모니터링한다.

넷째, 예측적 분석 네트워크(Predictive analytics networks)는 데이터 과학자들이 최상의 알고리즘을 공유하도록 도움을 준다.

최상의 알고리즘들은 실시간으로 감시됐을 때 수 십억 개의 이벤트들을 몇 개의 중요 이벤트들로 줄이도록 돕는다.

7800개 이상의 R 패키지(R package) 저장소 컴프리헨시브 R 아카이브 네트워크(Comprehensive R Archive Network, CRAN)는 전문적인 통계 및 그래픽 기술들을 공유하도록 지원하고 있다.

다섯째, 스트리밍 데이터 마트(streaming data mart)는 알고리즘의 작용을 실시간으로 모니터링하는 데 사용된다.

이같은 알고리즘의 작용을 수정하는 데 사용하기 위한 피드백을 제공한다.

마지막으로, 머신 러닝(Machine learning)은 알고리즘 모델을 적합하게 맞추는 작업을 가속화하도록 돕는다.

또한 분석의 재교육을 통해 끊임없이 파라미터를 개선, 언제나 분석이 향상될 수 있도록 한다.

시장을 선도하는 데이터 주도적 기업은 자사의 알고리즘을 더욱 강력하게 만드는 것에 대해 끊임없이 고민하고 있다.

자사의 비즈니스에 가장 적합한 알고리즘들만이 살아 남는다는 매우 민첩한 문화를 독려, 기업은 현재의 알고리즘을 미래에 더욱 스마트하게 만들고 향후 더욱 스마트한 비즈니스 의사결정을 할 수 있게 될 것이다.

<팁코소프트웨어 코리아 컨설팅총괄 이석진 상무>selee@tibco.com