SITEMAP
[인터뷰] “‘BridgeX’로 급변하는 빅데이터 시대의 트렌드 잡겠다”
페이지 정보
위엠비이야기
open
작성일 19-10-01 11:47
본문
위엠비는 2004년 설립 이후 국내 통합관제 시장의 형성과 확장을 주도하며 성장해온 데이터 기반의 IT통합운영관리 전문기업이다. 오늘날 데이터 기반의 통합관제는 IT 인프라의 운영효율을 높이고 업무 연속성을 보장하는 핵심 기술 중 하나로 자리잡았으며, 위엠비는 해당 시장의 선두주자로서 높은 인지도를 구가하고 있다.
최근 위엠비는 IT 인프라의 장애 발생을 사전에 파악하고 예방할 수 있는 조기 경보시스템 구축에 나서고 있다. 이는 IT 인프라의 현 상황 파악에 초점을 뒀던 기존 통합관제 시스템에 비해 한층 다양하고 많은 데이터를 필요로 한다. 특히 스마트팩토리 등이 대두되면서 원천 데이터 소스가 다양해짐에 따라, 데이터를 빠르게 수집하고 적절한 곳에 저장할 수 있는 데이터 수집 통합 솔루션이 필요해졌다. ‘BridgeX’는 이러한 요구에 의해 탄생한 위엠비의 통합 데이터 수집·저장 솔루션이다. 오윤석 위엠비 R&D센터 기술연구소장을 만나 ‘BridgeX’로 대표되는 위엠비의 빅데이터 시대 전략을 들어봤다.
▲ 오윤석 위엠비 R&D센터 기술연구소장
통합관제 시장 선도하며 입지 확보…빅데이터 대응 위한 ‘BridgeX’ 개발
위엠비는 아직 통합관제라는 개념이 정립되지 않아 SMS(System Management System), NMS(Network Management System), APM(Application Performance Management) 등 각각의 모니터링 시스템을 갖추던 시기에, 사내 모든 IT 시스템의 상황을 한 화면 안에서 확인하고 관리할 수 있는 통합관제 시스템을 제시했다. 이를 바탕으로 2000년대 중반부터 본격적으로 시작된 금융권 차세대 프로젝트들을 중심으로 통합관제 시스템들을 구축하면서 인지도를 쌓아왔다.
통합관제 시스템이 시장에 성공적으로 자리잡은 후에는 기존의 ICT 인프라 모니터링을 위한 시스템 운영정보 수집에서 시설·설비 운영정보, 서비스 관리정보, 비즈니스 정보, 제조 생산 정보 등 다양한 데이터를 수집할 수 있는 솔루션으로 확장됐다. 이를 바탕으로 각 장비나 서비스에서 발생하는 장애 상황을 신속하게 파악해 대응하고 원인을 분석할 수 있게 됐으며, 최근에는 빅데이터 수집 및 분석 기술의 발전을 통해 사전에 장애 상황을 예측하고 예방하는 단계로 나아가고 있다.
비즈니스 상에서 발생하는 데이터를 통해 실시간으로 장애 상황을 예측·분석하기 위해서는 데이터 소스로부터 대용량의 데이터를 안정적으로 수집·저장하는 과정이 필수적이다. 특히 기존에 내부 ICT 인프라 관리에만 적용되던 관제시스템이 스마트 팩토리, 스마트 데이터센터 등으로 적용 범위를 확장함에 따라, IoT 기반 센서나 장비 등에서 폭발적으로 생성되는 데이터들을 수집·저장할 필요가 발생했다. 또한 장애 조기 경보 및 장애 예측 등 빅데이터 분석 기반의 솔루션을 개발함에 따라 실시간으로 생성되는 대용량의 원시 데이터들을 분석 가능한 데이터로 정제할 수 있는 기술도 요구됐다.
위엠비는 기존에 통합관제 데이터 수집을 위한 전문 솔루션 TIM을 보유하고 있었으나, 통합관제 시장이 확장되면서 데이터 수집·저장 성능에 대한 요구가 확장되자 TIM만으로는 대응할 수 없는 상황이 나타나기 시작했다. TIM은 내부 ICT 인프라 관리에 초점을 둔 전통적인 통합관제 시장에 초점을 맞추고 개발된 제품이었기에 데이터 수집·저장 성능에 한계가 있었기 때문이다. 이에 따라 위엠비는 기존에 보유하고 있던 통합관제 데이터 수집 솔루션 TIM을 한 단계 업그레이드한 BridgeX를 개발했다.
▲ ridgeX는 다양한 소스로부터 데이터를 수집·저장할 수 있는 통합 빅데이터 수집 솔루션이다.
빠르고 정확한 빅데이터 수집·저장 가능
BridgeX는 다양한 데이터 소스로부터 빠르고 정확하게 데이터를 수집·저장할 수 있는 빅데이터 수집 솔루션이다. TIM에 비해 데이터 수집·저장 성능을 획기적으로 향상시켰을 뿐만 아니라, 텍스트 기반의 로그파일이나 데이터베이스(DB) 등에서 데이터를 수집하던 TIM에 비해 도큐먼트DB(DocumentDB), REST API는 물론 ModbusTCP, SNMP, BACNet, OPC-UA 등 다양한 프로토콜을 통해 IoT센서나 장비로부터 직접 데이터를 수집할 수 있게 됐다.
이렇게 수집한 데이터들은 해당 데이터의 활용 목적에 따라 전처리·후처리 과정을 거친 후 각각의 타깃 저장소에 저장된다. JDBC(Java Database Connectivity)가 지원되는 모든 저장소를 타깃 저장소로 삼을 수 있어 활용도가 높다. 기본적인 RDB는 물론 몽고DB(MongoDB)와 같은 도큐먼트DB, 파일 시스템, 메모리DB, 최근에는 엘라스틱서치(ElasticSearch)와 같은 오픈소스 검색엔진과도 연계되도록 하고 있다. 또한 BridgeX는 개발사에서 손쉽게 확장해나갈 수 있는 구조로 개발돼, 향후 지원되는 데이터 소스와 타깃 저장소가 지속적으로 추가될 예정이다.
특히 메모리DB의 경우 다수의 사용자가 동시에 확인하는 데이터를 저장하는 경우 필수적이다. 가령 통합관제 상황을 확인하기 위해 다수의 사용자가 동시에 대시보드 화면을 오픈하면, 과도한 시스템 부하가 발생해 응답 속도가 느려지고 데이터 갱신에도 누락이 발생할 수 있다. 실제로 이러한 이유 때문에 고객사에서 신규 프로젝트를 오픈하는 당일, 다수의 접속자로 인해 과부하가 발생하면서 시스템 장애로 이어지는 일이 적지 않다. 이러한 경우 BridgeX는 메모리DB를 이용한 대용량 데이터 처리를 통해 접속자 증가와 관계없이 일정 이상의 성능을 보장할 수 있게 구성됐다.
다음은 오윤석 위엠비 기술연구소장과의 인터뷰를 일문일답 형식으로 작성한 것이다.
다각화 데이터 소스·저장소에 대응 전략 필요
Q. 데이터 기반 통합관제 시장에는 어떤 변화 트렌드가 일어나고 있는가?
그동안 위엠비가 수행한 각종 프로젝트 사례를 살펴보면 변화를 느낄 수 있다. 금융권의 ICT 인프라 모니터링 사례를 보면, 2000년대 초반까지만 하더라도 SMS·NMS 같은 개별 모니터링 시스템 중심의 시장에 머물러있었다. 이들은 대부분 관리 대상의 현재 시점에서 발생하는 이벤트 정보와 성능 정보만을 표현하고 단기간의 데이터를 보관하는데 그쳤다. 2000년대 중반부터는 위엠비를 포함한 통합관제 시장이 열리고 관련 프로젝트가 진행되면서, 이벤트 통합 및 장애 전파·복구에 초점이 맞춰지기 시작했다. 이때부터는 개별 모니터링 시스템에서 수집되는 구성·성능·이벤트 정보들을 통합해서 저장하게 됐다. 이후 2010년대 중반까지는 축적된 데이터를 바탕으로 IT 인프라 통합관제, ITAM, ITSM 시스템 등이 고도화되면서 신속한 장애 대응 및 발생원인 분석이 이뤄지게 됐다.
최근에는 데이터 수집 및 분석 기술의 발달로 인해 그동안 수집할 수 없었던 데이터들까지 활용할 수 있게 됨으로써 보다 향상된 통합관제 시스템 구축이 가능해졌다. 흔히 빅데이터라고 부르는 대용량의 실시간 데이터 분석을 통해 장애 조기경보 체계나 사전 예측·예방하는 솔루션들이 속속 등장하고 있으며, 이와 관련된 실제 프로젝트들도 검토되거나 진행되고 있다.
Q. 데이터 트렌드의 변화에 따라 발생하는 이슈는?
빅데이터 분석을 기반으로 효과적인 시스템을 갖추기 위해서는 가장 먼저 많은 데이터들을 지속적으로 확보할 수 있어야 한다. 하지만 그냥 데이터의 양이 많다고 무조건 좋은 게 아니라 분석에 활용할 수 있도록 정제된 데이터가 필요하다. 정제되지 않은 채 무분별하게 수집된 데이터들은 올바른 분석 알고리즘을 사용하더라도 왜곡된 결과를 도출할 수 있기 때문이다. 기업의 ICT 인프라가 확장되면서 분석 대상이 될 데이터가 동시다발적으로 굉장히 많이 생성되고 있지만, 이러한 데이터들을 그대로 사용하기에는 데이터의 품질이 낮고 불안정하다. 따라서 기존에 축적된 데이터에서 올바른 값들을 선별하고, 센서나 장비에서 실시간으로 생성되는 데이터에서도 노이즈나 이상값들을 제거해 분석 가능한 데이터셋을 구축해야 한다.
실제로 스마트팩토리 프로젝트 등을 수행하는 산업 현장에서는 ERP·SCM과 같은 수많은 시스템과 IoT 센서나 장비에서 실시간으로 생성되는 데이터들을 취합하고 적절히 가공해 각각의 분석 시스템으로 뿌려줄 수 있는 중간다리 솔루션이 필요하다. 이런 점에서 위엠비의 BridgeX 솔루션은 전통적인 로그파일이나 DB는 물론, ModbusTCP, SNMP, BACNet, OPC-UA 와 같은 표준 프로토콜을 통해 데이터를 수집하는 역할을 맡을 수 있다.
Q. BridgeX의 핵심 기능과 이를 개발하기 위한 위엠비의 기술력을 설명한다면?
BridgeX는 중소벤처기업부의 연구과제를 통해 개발된 제품이다. 해당 과제의 목표는 스마트팩토리 통합 모니터링 시스템 개발이었으며, 이 중 데이터 수집과 관련된 부분을 BridgeX 개발을 통해 해결했다. 연구과제 수행을 통해 양질의 제품화까지 이어진 바람직한 케이스다. BridgeX는 다양한 소스에서 빠르게 데이터를 수집하고, 누락 없이 안정적으로 타깃 저장소에 저장하는 것을 핵심 기능으로 제공한다. 이것이 가능한 이유는 위엠비가 그동안 통합관제 프로젝트들을 수행하면서 실제 현장에서 수많은 데이터 처리 노하우를 축적해왔기 때문이다. 위엠비는 국내 통합관제 시장의 선두 기업으로써 각 모니터링 시스템이 요구하는 데이터가 무엇인지, 어떤 데이터를 어떻게 가공해야 효과적으로 활용할 수 있는지, 부득이하게 데이터 누락이 발생할 경우 데이터의 성격에 따라 어떻게 대응해야하는지 등에 대한 노하우를 갖추고 있다. 이를 바탕으로 과감하고 지속적인 R&D 투자가 중요하게 작용했다.
특히 메모리DB를 통해 실시간 요청에 대응하는 부분은 위엠비의 역량이 잘 녹아있는 부분이다. 통합관제 시스템에서는 특정한 시점에 과도한 부하가 걸리는 경우가 있다. 동일한 대시보드 화면을 다수의 사용자가 동시에 불러온다면 이는 DB에 막대한 부하를 준다. 또한 이벤트 데이터의 경우, 평소 시스템이 정상적일 때는 데이터가 한 건도 수집되지 않다가 이상상황이 발생하면 초당 몇 만 건의 데이터가 수집되기도 한다. 이런 부분들을 모두 전통적인 DB에서 직접 처리하게 되면 과부하로 인해 DB 자체에 심각한 성능 저하를 발생시킬 위험이 있다. 이렇게 되면 통합관제 시스템에 접속하거나 대시보드를 갱신할 수 없게 돼 이상상황에 효과적으로 대처할 수 없다.
이를 방지하기 위해 BridgeX는 각 데이터소스와 타깃 저장소 사이에서 징검다리 역할을 수행한다. 클라이언트가 직접 DB에 붙지 않도록 BridgeX가 데이터를 조회하고 클라이언트에 전달하는 방식이다. 클라이언트가 DB에 직접 붙지 않으므로 갑작스런 시스템 부하로 인해 관제 시스템의 성능 저하가 발생하는 등의 문제를 근본적으로 차단할 수 있다. 또한 메모리DB의 데이터 저장기능을 통해 200명 이상의 사용자가 동시에 접속하더라도 이상 없이 실시간으로 데이터를 제공할 수 있다.
▲ 메모리DB 사용을 통해 시스템 과부하를 방지하고 늘 안정적인 서비스를 제공할 수 있다.
금융 시장 우선 공략…지원 가능한 데이터 소스·저장소 확장
Q. BridgeX의 타깃 시장은?
빅데이터 수집 및 통합이 필요한 모든 분야가 BridgeX의 타깃 시장이다. BridgeX는 기존에 위엠비가 수행하던 ICT 인프라관리, IoT 기반 스마트 플랫폼 구축, 장애 예방 및 분석 프로젝트에 필요한 데이터를 수집하기 위해 꼭 필요한 솔루션이다. 다시 말해 위엠비의 기존 사업영역 모두가 BridgeX의 타깃 시장이 된다는 의미다.
위엠비가 현재 우선적으로 공략하고 있는 시장은 금융권에서 빅데이터 분석 기반의 ICT 인프라 장애 조기경보 시스템 구축이다. 빅데이터 분석의 중요한 요소 중 하나는 업무분야에 대한 도메인 지식인데, 위엠비는 창립 초기부터 금융권을 중심으로 ICT 인프라 관리에 대한 경험과 노하우를 축적해왔기에 해당 분야에서 충분한 역량을 보유하고 있다고 자부한다. 향후 금융권에서는 그동안 인지도를 쌓아왔던 통합관제 업무에서 한 걸음 더 나아가 장애에 대한 예측·예방을 중점적으로 추진할 것이다. 또한 최근 4차 산업혁명과 관련해서 제조 분야에서 데이터를 활용하고자 하는 프로젝트들이 많이 나오고 있다. 특히 대형 제조기업들의 경우 센서나 장비에서 발생하는 대량의 데이터들을 안정적으로 수집·저장할 필요가 있기에 BridgeX를 통한 공략이 가능할 것으로 예상된다.
Q. BridgeX 개발 중 어려웠던 점이 있다면?
최근 국내 중소 IT기업들이 공통적으로 겪고 있는 최대 이슈는 전문성을 갖춘 개발 인력을 확보하기 어렵다는 점이다. 그 중에서도 특히 빅데이터 분석이나 처리와 관련된 경력을 갖춘 인력을 수급하는 것은 불가능에 가깝다. 정부나 학계, 산업계에서 지속적으로 해당 인력을 육성하려고 노력하고 있지만 효과가 나오기에는 조금 더 시간이 걸릴 것이라고 본다. 또한 IT 인프라 모니터링을 위해서는 시스템이 구축되는 현장에 대한 경험과 노하우가 필수적이다. DB나 파일시스템 같은 표준적인 것들은 손쉽게 수집할 수 있지만, 각각의 산업 분야에 따라 특징적인 장비나 센서 영역으로 들어가면 일반적인 IT 지식으로는 대응할 수 없는 부분과 맞닥뜨리게 된다. 이런 경우에는 풍부한 경험을 바탕으로 해당 업계에 대한 도메인 지식을 갖춘 IT인력이 필요하다. 이러한 인력 역시 중소기업에서 구하기에는 어려움이 따른다.
이에 위엠비는 외부에서 필요한 인력을 충원하는 것만으로는 한계가 있다고 판단하고, 내부적으로 자체 교육을 통한 인재 양성을 추진하고 있다. 국내 일부 대학교와 산학연계를 통해 교수님들의 자문과 인재·기술 교류를 유치하고, 외부 전문기관을 통해 컨설팅도 추진했다. 특히 이번 BridgeX를 개발하게 된 중소벤처기업부 연구과제의 경우, 스마트팩토리 통합 모니터링 시스템 구축을 위해 공장이나 시설물 관련 현장 경험이 풍부한 박사급 외부 연구 인력을 소싱하게 됐다. 이들을 통해 실제 현장에서 필요한 센서 및 장비 데이터 수집 기능을 구현하는 데에 많은 도움을 받았으며, 내부적으로는 해당 경험을 흡수하고 내재화할 수 있는 좋은 기회가 됐다.
Q. BridgeX의 향후 업데이트 계획은?
BridgeX는 다양한 데이터 소스에서 발생한 데이터를 수집해 필요한 데이터 저장소에 저장하는 데이터 통합 제품이다. 따라서 연동 가능한 데이터 소스와 저장소를 확장해나가는 것이 가장 큰 목표다. IoT 기반의 센서데이터를 수집을 강화하기 위해 지원 가능한 프로토콜을 추가하고, 데이터를 퍼블리싱 할 수 있는 기회도 확대할 계획이다. 이외에도 BridgeX가 가지고 있는 유연성을 통해 에지(edge) 컴퓨팅 분야로 제품 영역을 확대하려고 한다. 현재 BridgeX는 대용량 데이터의 수집·처리·저장 기능을 제공하고 있고 자사의 모니터링 솔루션인 RENOBIT(레노빗)과의 연동을 통해 시각화를 지원하고 있다. 향후는 BridgeX 자체에 시각화 기능을 탑재하여 데이터 조회 및 분석 기능을 지원할 예정이다.