마크베이스 소개
마크베이스(Machbase)는 다양한 IoT 환경에서 발생하는 대량의 "센서 데이터"를 실시간으로 저장할 뿐만 아니라, 실시간 데이터 분석이 가능한 시계열 데이터베이스이다.
마크베이스는 기존의 솔루션으로는 해결할 수 없었던 센서데이터에 대한 데이터 저장과 처리에 대한 대량의 부하 문제를 해결하였으며, 다양한 기능을 통해 앞으로 폭증하는 센서 데이터에 대한 훌륭한 솔루션을 제공한다.
새로운 데이터의 출현
최근 정보통신 분야가 유무선 통신에 기반한 사물인터넷(IoT: Internet of Things) 환경으로 발전하고 있으며, 이를 통해 다양하고 방대한 양의 데이터가 축적되고 있다. 따라서 이런 데이터를 실시간으로 분석할 수 있다면 이전에 발생
하였거나 앞으로 발생할 수 있는 수 많은 장애들을 파악하고 방지할 수 있을 것이다.
특히 몇 년 사이에 데이터를 생성하는 원천 디바이스의 숫자가 급격하게 늘어나고, 이에 뒤따르는 데이터의 발생량도 몇 년 만에 수십배로 증가하고 있다. 반면 데이터를 처리하는 전통적인 소프트웨어에는 이에 대한 적절한 해결책을 제
시하지 못하고 있다.
전통적인 솔루션이 현재 데이터의 처리에 적합하지 않은 이유는 다음과 같다.
첫째, 데이터 발생 속도가 어마어마하게 증가하고 있다. 데이터 원천 소스가 늘어나고 처리해야 할 정보의 종류가 증가함에 따라 서버에 데이터가 저장되는 속도가 기존과는 완전히 다른 속도로 도착하고 있다. 초당 수만 건에서 수십만
건의 데이터를 저장하기 위해 최적화된 소프트웨어 솔루션은 파일 시스템에 일반 Text 파일로 저장하는 것 외에는 해결책이 없는 실정이다.
둘째, 데이터의 발생 속도와 비례하여 실시간 데이터 분석의 수요가 증가하고 있다. 이런 빅데이터를 활용하여 의사 결정에 도움을 주는 것이 매우 중요하지만 기존 솔루션은 초당 수십만 건에 이르는 데이터를 실시간으로 인덱싱하고
검색 및 분석을 통해 결과를 사용자에게 전달하는 기술적 성숙도가 높지 않다.
셋째, 앞에서 언급했던 "로그성 머신 데이터"의 데이터 특성이 완전히 다르다. 전통적인 데이터베이스는 로그성 머신 데이터를 처리하기에 부적절한 아키텍쳐를 가지고 있으며, 이를 해결하기 위해서는 기술적으로 새로운 접근이 필요
하다.
이런 이유로 InfiniFlux는 새로운 형태의 "로그성 머신 데이터"를 처리하는 최고의 아키텍쳐를 통해 새롭게 개발되었으며, 전통적인 기술로 해결하지 못했던 실시간 데이터에 대한 저장과 처리 및 분석이 가능한 유일한 데이터베이스 솔
루션이다.
로그성 머신 데이터의 형태
위의 그림은 전형적인 머신 데이터의 로그 형태를 나타낸 것이다.
크게 4가지의 카테고리로 구분할 수 있으며 각각의 성질과 특성은 다음과 같다.
• ID: 이 값은 해당 머신 데이터를 발생한 디바이스(원천 소스)의 유일성을 나타내는 기호 및 숫자를 나타낸다. 해당
머신이나 센서의 일련 번호로 구성되며 32비트 혹은 64비트의 정수로 표현된다.
• TIME: 이 값은 해당 머신 데이터가 발생한 순간의 시간을 나타낸다. 이 시간은 지속적으로 증가하는 경향이 있으
며, 일반적으로 초 단위까지 표현하고 특별한 경우 마이크로 초까지 표현되기도 한다.
• Binary Information: 이 값은 2진 데이터로 주로 정수형, 실수형 숫자 혹은 IP 주소값 등의 형식의 데이터이다. 대
표적으로 이 영역에는 특정 센서에서 나오는 온도, 가속도, 밝기 등의 숫자형 값이나, IPv4 혹은 IPv6와 같은 4바이트
혹은 16 바이트의 고정 데이터가 포함된다.
• Text log: 이 값은 정규화된 숫자 혹은 문자 형태로 표현하기 힘들거나 불가능한 정보들에 대해 해당 국가의 특정
언어로 표현된 텍스트 문자열을 나타낸다. 대표적으로 사용자 어플리케이션에서 특수 상황에 발생한 에러에 대해 "에
러 원인, 소스코드, 라인, 에러 넘버" 등을 문자열로 나타내는 것들을 포함한다.
