코로나 대유행을 거치는 지난 2년 동안 많은 변화가 일어났다. 기업들은 디지털 혁신을 가속화할 수밖에 없었고, 재택근무/원격근무 등 일하는 방식 또한 달라졌다.

또 앞으로 예측할 수 없는 상황이 발생했을 때 유연하게 대응할 수 있는 환경을 구축해야 한다는 교훈도 얻었다. 

이같은 변화의 중심에는 데이터가 존재한다.

IDC에서는 2025년 글로벌 데이터 생산량이 약 175ZB에 이를 것으로 예상을 하고 있으며, 이는 2016년 대비 10배를 상회한다.

데이터는 규모면에서 폭발적으로 증가하고 있지만, 유형적으로도 달라지고 있다.

개인 디바이스와 IoT 기기 등 모든 곳에서 생성되는 데이터의 대부분은 비정형 데이터로서 그 비중은 80%이상이며, 2019년을 기준으로 5년간 3배의 증가율에 달할 것으로 분석되고 있다.

문서, 오디오, 비디오, 센서 데이터 등 여러 형태로 생성되는 데이터는 파일, 오브젝트, 스트림 데이터 형태로 저장돼 분석 업무와 AI, 파일 공유 등 다양한 애플리케이션에서 사용된다.

데이터는 미래 산업의 연료라고 비유되는데 최적의 연비를 내기까지는 여러 가지의 도전 과제를 해결해야 한다.

빅데이터 분석의 예를 통해 살펴보면 수집, 저장, 분석, 정보제공, 실행 등의 과정을 거치는 동안 각 단계에서 다양한 걸림돌을 경험하게 된다.

수집된 데이터를 저장할 때 전통적으로는 업무에 맞춰 저장을 하는 경우가 많다 보니 사일로화 되기 쉽고, 이로 인해 보안이나 규제에 대한 기준을 지키기 어려운 상황이 발생한다.

또 시스템의 비효율성으로 인해 아키텍처 유연성을 잃기도 한다. 이를 해결하기 위해 데이터 레이크가 최근 트렌드로 떠오르고 있다.

올바른 데이터 레이크 구축의 핵심은 무엇일까?

▲ 서영일 상무

서영일 한국 델 테크놀로지스 상무는 “분석을 위해 HDFS로 데이터를 이동하는 인제스트 과정은 여러가지 환경 요인에 따라 때로는 수십 시간에 달할 수 있다. 전통적인 하둡 아키텍처 대신 ‘데이터 -인-플레이스(data-in-place)’ 아키텍처를 구현해 데이터 수집 스토리지를 그대로 HDFS로 사용하면 전체 분석 시간을 획기적으로 줄일 수 있다”고 강조한다.

스토리지를 단일화해 수집, 분석, 실행의 단계를 하나의 스토리지에서 작업, 불필요한 데이터 이동을 없애는 것이다.

이를 위해서는 몇 가지 스토리지 기술이 요구된다. 

우선, 선형적인 스케일 아웃이다.

용량 증설 후 성능에 영향을 미치게 되는 스케일업 확장이 아닌 예측 가능한 선형적 아키텍처가 보장돼야 한다. 

▲ 데이터레이크 전략.(출처 : 한국 델 테크놀로지스 제공)

단일 볼륨 또한 중요한 특성이다.

예를 들어, 100TB 볼륨을 100개로 구성하는 경우 수동 밸런싱 작업을 유발하기 때문에 운영 리스크로 이어진다.

대신 10PB 볼륨을 1개로 구성해 스토리지 풀(Pool)처럼 사용하면 비즈니스 변화에 맞춰 민첩하게 대응할 수 있다.

이 밖에 별도의 설치없이 동일한 데이터가 여러 프로토콜을 통해 사용될 수 있는 멀티 프로토콜, 그리고 데이터 수명주기에 맞춰 자동으로 데이터를 이동시키는 자동 계층화 등의 기능을 통해 효율적인 데이터 레이크를 구축할 수 있다.

분석과 더불어 데이터 보호는 최근 모든 기업들의 화두 중 하나다. 

최근 토요타는 협력사가 랜섬웨어 공격 피해를 입으며 상당 기간 동안 생산이 중단된 바 있다. 

국내 사정도 크게 다르지 않다. 과학기술정보통신부와 한국인터넷진흥원에 따르면 지난해 랜섬웨어 해킹 피해 신고 건수는 223건으로 2020년(127건) 대비 76% 급증했다.

올해 1월에도 19건으로 집계돼 최근 3년 같은기간(평균 5건)에 비해 늘어난 것으로 나타났다. 

랜섬웨어는 데이터를 사용할 수 없도록 하기 때문에 비즈니스에 막대한 영향을 미친다.

각종 사회공학 기법과 자동화로 무장한 사이버 범죄 조직은 내부 침투와 탐색, 장악 후 랜섬웨어를 통해 데이터를 암호화하므로 단순히 보안 솔루션을 쌓아 두는 방식으로는 효과적으로 대응할 수 없다. 

데이터 보호 전략에 복원까지 반드시 포함돼야 하는 이유가 여기에 있다.

기존에는 재난/재해를 대비하기 위한 DR(Disaster Recovery), 즉 재해복구 솔루션이 일반적인 백업 전략으로 사용됐지만, 최근에는 사이버 공격에 방어하기 위한 CR(Cyber Resilience), 즉 사이버 복원력이 필수도 떠오르고 있다.

사이버 공격을 식별하고 이런 공격으로부터 보호, 탐지, 대응 및 복구할 수 있는 능력을 갖춰 대비하기 위함이다. 

DR의 경우 지속적으로 복제가 필요하기 때문에 네트웍을 항상 연결하지만, CR의 경우 가끔씩 한번 복제하고 나머지 시간에는 네트웍을 분리해서 해커의 침입을 막는다는 점이 다르다.

▲ 랜섬웨어 디펜더 스마트 에어갭.(출처 : 한국 델 테크놀로지스 제공)

서영일 한국 델 테크놀로지스 상무는 “서버가 랜섬웨어에 걸리는 즉시 백업 데이터도 감염되면 효과를 거두지 못한다. 외부 침입으로부터 완벽하게 차단된 사이버 볼트(vault) 영역을 구축해 비즈니스 크리티컬 데이터를 보호하는 격리형 보호 접근법이 필요하다”고 조언한다. 

델 테크놀로지스의 경우, CR에 관련된 두 가지의 스토리지 접근방식을 제공한다.

정형 데이터와 비정형 데이터에 대한 스토리지로 구분되는데, 사용자 환경에 따라 각각 사용되거나, 같이 사용되기도 한다.

백업 데이터를 보호할 것인지, 서비스 중인 데이터를 보호할 것인지에 따라 결정되며, 두 솔루션 모두, 데이터 격리와 스냅샷 데이터의 불변성을 기반으로 작동하고, 또 비정상적인 사용자 동작 패턴을 찾아서 관리자에게 경고하는 기능과 안심하고 데이터를 신속하게 복구할 수 있는 기능을 제공한다.

서 상무는 “델의 경우 이상 징후를 자동으로 감지하는 ‘랜섬웨어 디펜더(Ransomware Defender)’라는 솔루션과 이상이 감지됐을 때 물리적으로 데이터를 단절시키는 ‘스마트 에어갭(Smart AirGap)’이라는 솔루션을 제공하고 있다. 최종 방어선에서 신속한 복구를 통해 PB 규모의 데이터를 2시간 이내의 RTO로 복구할 수 있다는 장점이 있다”고 덧붙였다.

<김동기 기자>kdk@bikorea.net