대부분의 기업들이 빅데이터를 활용한 후 긍정적 변화를 경험하고 있다. 이러한 현상은 제조 에너지 공공 유통 등 모든 산업 분야의 모든 업무에서 나타나고 있다. 리서치 기업인 위키본(Wikibon)에 따르면 전 세계 빅데이터 시장은 2018년 420억 달러에서 2027년 1,030억 달러로 확대될 것으로 보인다. 국내 시장 역시 향후 5년간 연평균 10.9% 성장해 2022년 2조 2천억 원 규모에 이를 것으로 한국IDC는 전망하고 있다. 이처럼 빠르게 성장하고 있는 빅데이터 시장에서 데이터흐름을 실시간으로 파악하고 분석하는 것이 화두가 되고 있다.  데이터기반 비즈니스를 효율적으로 운영하기 위해 데이터를 수집하고 모니터링하고 학습하는 것이 무엇보다 중요하다는 얘기이다.

이런 상황에서 빅데이터 기반 통합모니터링 솔루션 기업 위엠비가 어떤 환경에서도 안정적으로 데이터를 수집·저장·확장할 수 있는 유연한 구조의 ‘대용량 데이터 수집/활용 패키지’인 ‘BridgeX(가칭)’를 출시해 주목받고 있다.

TIM 업그레이드해 신제품 ‘BridgeX’ 개발 

위엠비의 통합관제시스템은 기존 ICT 인프라 모니터링을 위한 시스템 운영정보 수집에서 시설/설비 운영정보, 서비스 관리정보, 비즈니스 정보, 제조 생산 정보 등 다양한 정보 형태로 확장됐다. 통합관제 시장이 스마트 데이터 센터, 스마트 팩토리, 스마트 시티 등 다양한 관제시스템으로 확장되면서 IoT기반의 센서나 장비 등 각종 데이터 소스로부터 대용량의 데이터를 안정적으로 수집/저장할 수 있는 솔루션이 필요하게 됐다. 또한 조기경보, 장애예측 등의 빅데이터 분석 및 예측 솔루션을 개발함에 따라 정제되지 않은 대용량의 원시 데이터를 수집해 저장하고 분석하는 솔루션의 개발 필요성이 증대됐다. 위엠비는 이러한 대내외의 요구사항을 반영해 기존에 보유하고 있던 통합관제 데이터 수집 솔루션인 TIM을 한단계 업그레이드해 BridgeX라는 신제품을 개발하게 됐다.

위엠비의 BridgeX는 다양한 데이터 소스로부터 데이터를 수집하고 저장하는 빅데이터 수집솔루션으로 연계 대상 정보로부터 주기적으로 정보 연계를 자동화함으로써 자동화의 신뢰도와 안정성을 보장한다. 추출/연계된 데이터는 통합 레포지터리(Repository)로 저장되거나 서비스 로직이 반영된 의미있는 데이터로 재해석되는 단계를 거쳐 사용자에게 실시간으로 제공된다. 직관적인 Web UI를 통해 사용자가 쉽고 빠르게 원하는 데이터를 추출해 지정한 주기에 맞춰 수집 저장하며, 자체 이벤트와 모니터링 UI를 통해  데이터 수집 현황과 이상 여부를 신속하게 파악하고 대처할 수 있도록 해준다.

▲ BridgeX 제품의 기능 

BridgeX는 위엠비가 보유한 대표적 시각화 솔루션인 레노빗(RENOBIT)과 빅데이터 분석 및 예측 솔루션인 TOBIT SPA에서 필요로 하는 다양한 형태의 기초 데이터 수집을 담당하는 핵심 솔루션이다. BridgeX는 각 솔루션에서 필요로 하는 정형/비정형의 기초 데이터를 RDB 또는 도큐먼트DB(Document DB)에 수집, 저장하고 실시간성이 필요한 핵심 정보는 메모리(Memeory) DB에 저장 후 RestAPI를 통해 즉시 제공한다.

BridgeX Manager에 탑재된 데이터 수집 엔진은 이미 다수의 금융권 프로젝트에서 데이터 수집 성능 및 안정성을 입증받았다. 특히 S전자 프로젝트의 경우 500여 개의 데이터 연계포인트에서 일일 평균 2억 건 이상의 데이터를 유실 없이 수집하고 있다. BridgeX Agent는 리소스 사용의 최적화로 데이터 수집으로 인해 발생되는 부하를 최소화한다. 실제 기존 200여 개의 주요 레퍼런스 사이트에서 순간 CPU 사용율을 평균 5% 이하로 유지하고 있다. 또한 BridgeX Agent를 통해 수집된 데이터는 BridgeX Manager를 통해 초당 10만 건 이상의 데이터를 Document DB에 저장할 수 있으며, 동시에 메모리 DB의 데이터 저장기능을 통해 200명 이상의 동시 접속 사용자에게 성능 저하 없이 실시간으로 데이터를 제공할 수 있다.

▲ 실시간 데이터 수집·저장 방식

BridgeX의 성능 및 기능

BridgeX는 다양한 연계 대상(Data Source)으로부터 정보를 수집하는 ‘Agent’와 정보 수집 설정·관리를 위한 ‘Manager’로 구성돼 있으며 HTML5 기반의 Web UI를 통해 원격 제어 및 관리가 가능하다.

 

1) 다양한 형태의 데이터소스(Data Source)로부터 데이터 수집

RDB, Log파일, XML, REST API, OS Command(Shell Script) 수행 결과로부터 사용자가 원하는 데이터만 추출하거나 그대로 저장이 가능하며, Modbus TCP, BACNet, SNMP, OPC-UA 등의 프로토콜을 이용해 다양한 센서나 장비로부터 직접 데이터 수집이 가능하다.

 

2) 다양한 형태의 Target으로 데이터 저장

기존의 RDB를 통한 데이터 저장뿐만 아니라, Document DB를 통해 대용량 데이터를 저장할 수 있다. 또한 Memory DB, Manager서버/Agent서버에 파일을 저장하는 등 다양한 타겟으로 데이터를 저장할 수 있다.

 

3) 자체 스케줄러 사용 및 리소스 사용률 최적화

시스템의 crontab이나 작업 스케줄러를 사용하지 않고 자체 스케줄러를 사용하기 때문에 시스템 계정이 불필요하다. 또한 Agent의 리소스 사용을 최적화해 대상시스템에 정보연계로 인해 발생되는 부하를 최소화한다.

 

4) 고가용성(HA : High Availability) 지원

정보수집의 고가용성(HA) 보장을 위해 Manager, Agent 각각의 이중화를 지원한다. 또한 시스템의 중요도에 따라 Active(1), StandBy(N) 구성이 가능하며, 데이터 수집 주기, 수집데이터 용량, 시스템 성능 및 구성에 따라 Manager 및 Agent를 유연하게 확장하거나 통합할 수 있다.

 

5) Web UI 기반의 관리기능 제공

수집대상설정, 수집방식, 데이터 추출방식, 수집주기, 저장방식, 사전/사후 처리 등 정보수집을 위한 다양한 설정 기능을 제공한다. Manager/Agent의 구동, 중지, 재기동 등의 원격 제어와 Manager/Agent의 패치파일 배포를 위한 원격 배포기능도 지원한다. 정보수집, 연계현황, 데이터 미수집, Manager/Agent 기동여부 등 이벤트현황을 실시간으로 제공하며, 원격지의 Manager/Agent에 대한 구동 로그를 실시간으로 조회할 수 있다.

6) 메모리DB를 활용한 실시간 정보제공

메모리DB 미사용시, 다수의 대시보드 사용자 동시접속에 따라 시스템 부하가 발생하게 돼 대시보드의 끊김현상이 발생하고 동시에 데이터 수집성능 저하에 따른 데이터 유실이 발생한다. BridgeX는 메모리DB를 이용한 대용량 트랜드(이력) 정보 처리 및 실시간 정보 전달이 가능하며 접속자 증가와 무관한 시스템 성능을 보장한다.

 

7) Manager-Agent간 데이터 암호화 처리 기능

사내·외 노출에 유의해야 할 중요한 정보 수집의 경우 보안이 중요하다. BridgeX는 이런 문제를 해결하기 위해 Agent와 Manager 간의 전송 단계에서 데이터 암호화(Encryption) & 복호화(Decryption) 기능을 제공한다.(적용 암호화 알고리즘 : KISA SEED-128). WEB UI 상에서 간단 설정만으로 전송 정보 암호화를 즉시 적용할 수 있다.

8) 순차적 절차에 따른 정보 연계

다수의 수집 작업을 순차적으로 수행할 수 있다. 각 단계별 수집 작업의 결과를 다음 단계의 수집 작업 파라미터로 전달·활용할 수 있다.

▲ BridgeX 제품의 특징