iiot 데이터문제해결을위한 새로운데이터처리방안 - kosmia · 2018-10-01 · x...

IIoT 데이터 문제 해결을 위한새로운 데이터 처리 방안

Smart FI Best Practice Conference 2018

㈜마크베이스이재훈본부장

• Industrial IoT Era

• Machbase Overview

• Key Features for IIoT Data

• Machbase Use Cases

Table of ContentsThe Database for Things Machbase

Industrial IoT Era

- 4 -Industrial IoT Era

SMARTX

SMART Grid SMART Farm SMART Home

SMART Factory SMART Logistics

SMART Health SMART City SMART Building

Smart X 시대의 도래

- 5 -

IoT/IoE Device 폭증

* Source : iot-analytics.com, 2014

Industrial IoT Era

- 6 -

Smart Things?

Big Data IntelligenceConnected

• TB, PB 데이터 볼륨

• 초당 수백만 데이터 수집,저장

• 인공 지능

• 머신 러닝

• 모델링, 예지보전 분석

• M2M(Machine To Machine), IoT(Internet of Things)

• 자동차, 발전소, 건축물, 각종센서….

Industrial IoT Era

- 7 -

Business 요구사항

Historical AnalysisCheck a specific

data point

Real-time Trend monitoringAnomaly detection

Alarm & NotificationTroubleshooting

Predictive MaintenanceReducing downtime

Past Present Future

Industrial IoT Era

- 8 -

IIoT 데이터 처리 환경 변화

데이터량폭증

Scan rate 고도화 추세500msec 10msec

저장해야 할 데이터 기간 및 용량 증가

센서 개수의 증가 분석 대상 데이터 범위 증가

기 구축된 시스템의 데이터 처리허용 한도 초과

오픈소스 솔루션의 기능 확장 및책임 소재 이슈 발생

전통적인방식은각각시스템에맞게별개의인터페이스로통신공정내 Thing 연결환경및데이터특성에맞는저장및분석 SW 필요

Industrial IoT Era

- 9 -

데이터처리요구량증가

1

1,000

100

500k10k 1M

Scan rate(초당)

# of sensor

Smart Factory 시대의데이터 처리 요구량

현재처리능력

Industrial IoT Era

- 10 -

무엇이 문제인가?

데이터가 없다?

데이터가 너무 많이 쏟아진다?

가시성 확보 어렵다?

분석하는데 높은 비용이 든다.

통제할 수 없는 문제의 영역

통제, 예측 가능한 수준으로

산업용빅데이터관리의

최종목적

Industrial IoT Era

- 11 -

새로운데이터처리제품필요

요구사항

데이터 증가에 따른 확장 기능(Scalability)

데이터 압축 저장

편리한 개발 및도구 통합 기능 제공

책임있는 기술 지원 및사후 관리

무정지 서비스 기능(High Availability)

IIoT에 적합한 기술 개발 로드맵 제시

초당 2백만 건 이상 고성능 데이터 입력 지원

+

Industrial IoT Era

Machbase Overview

- 13 -Machbase Overview

The Database for Things

10

10

11

01

01

01

10

10

110

10

101

10

101

10

10

11

01

01

01

10

10

11

01

01

10

10

10

10

01

01

01

10

10

00

10

10

11

01

01

01

10

10

10

01

01

10

10

10

00

10

11

00

10

01

01

10

01

0

Sensor/Machine Data

Analytics

BI

Management

ISV

Query

Results

IoT

OT IT

- 14 -

마크베이스포지셔닝

Machbase Overview

X 1000

x 10,000

x 1,000,000

x 100,000

Batch oriented Big Data Analytics

Text File

Old (minutes)Very Old (hours) Current (seconds)

HADOOP

Real-Time Big Data Analytics

Enhanced HADOOP Solutions

Splunk

Conventional AnalyticsBI Solutions

Columnar DBMS

Conventional OLTP/OLAP

ClusteredColumnar DBMS

ParStream

Machbase

Engineered System(ExaData)

In-Memory DBMS

Disk DBMS

Data Entry

Data Freshness

- 15 -

마크베이스기술

RDBMSTechnology

BigDataTechnology

데이터베이스

• 안정성,편의성,사용자 특성 감안

• 소프트웨어 개발 및 관리 편리

• 느린 성능, 소규모 데이터 처리 적합

• 노드및데이터증가에따른확장성부족

빅데이터솔루션

• 대용량 처리, 클러스터링

• 대용량 데이터 입력 및 처리에 특화

• 데이터베이스 사용자 편의성 부족

• 학습 및 유지보수 관리 매우 취약

Machbase

Machbase Overview

- 16 -

마크베이스 제품군

Machbase Overview

EmbeddedEdition

Machbase

EnterpriseEdition

StandardEdition

Fast data processing performance in a

single node

Big data technology revolution in

multi-nodes cluster

Real-time Edge Analytics for

IoT sensor data

3 types

Key Features for IIoT Data

- 18 -Key Features for IIoT Data

제안시스템구성도

설비센서빅데이터저장소 Machbase 5.0

Tag 비정형정형

Data Type

Data Store

정형

R SAS BI CustomData Analysis

Machbase5.0

RDBMS Hadoop

품질데이터

생산데이터

설비데이터

- 19 -

Machbase 5.0 Highlight!

수백억 건의 <센서, 시간>기준 초고속 데이터 접근

수년간의 통계 차트 ~ 분당 통계 차트 : 초고속 접근

연속적 데이터 분석을 통한 위험 포착 및 대응

다양한 조건의 데이터 시각화 도구 제공

Legacy 분석 툴과의 쉬운 연동

TagTable

RollupTable

STREAM분석

TagAnalyzer

StandardAPI


- 20 -

Tag Table• 수백억 태그 데이터에 빠른 저장과 초고속 태그 데이터 추출

• 테이블명은 “TAG”로 고정되고 Tag, Timestamp, Value 3개 칼럼 기본 구성

• Tag, Timestamp 기반 Partitioning 저장, 빠른 추출 가능함

TAG1

TAG1_value3

TAG1_value2

TAG1_value1

TAG2

TAG2_value3

TAG2_value2

TAG2_value1

… TAGn

TAGn_value3

TAGn_value2

TAGn_value1

TAG


- 21 -

Rollup Table• TAG 테이블 생성시 자동으로 생성되며 사용자 레벨에서 조작 불가

• 집계 시간 단위는 Second, Minute, Hour

• 집계 함수는 Minimum, Maximum, Average, Sum, Count

TAG1

TAG1_Rollup_SEC

TAG1_Rollup_MIN

TAG1_Rollup_HOUR

TAG2

TAG2_Rollup_SEC

TAG2_Rollup_MIN

TAG2_Rollup_HOUR

… TAGn

TAGn_Rollup_SEC

TAGn_Rollup_MIN

TAGn_Rollup_HOUR

TAG


- 22 -

STREAM• 소스 테이블과 타깃 테이블 사이에서 SQL 질의를 통해 실시간 데이터 변환

• INSERT INTO SELECT 구문을 통한 실시간 이벤트 필터링

• 동시에 다수의 STREAM 생성 및 실행 가능

INSERT INTO … SELECT …

Filter 1

Filter 2

Filter 3

source STREAM target


- 23 -

STREAM 예시

Sensor Data

Temper table

Event table

<“tag1”, 2018-05-12 11:32:41, 30><“tag1”, 2018-05-12 11:32:42, 70><“tag1”, 2018-05-12 11:32:43, 35>

INSERT INTO Event SELECT * FROM Temper WHERE VALUE > 60;

<“tag1”, 2018-05-12 11:32:42, 70>


- 24 -

Tag Analyzer• Tag 데이터에 대한 Fast Trend Monitoring 가능한 웹기반 대시보드

• 년,월,일,시,분,초, RAW 데이터에 대한 Drill Down Browsing 가능

• 좌우 50%, 100% 이동 등 다양한 차트 조작 기능 제공


- 25 -

System Architecture

TAG1 (real)

TAG1_Rollup_HOUR

TAG1_Rollup_MIN

TAG1_Rollup_SEC

TAG2 (real)

TAG2_Rollup_HOUR

TAG2_Rollup_MIN

TAG2_Rollup_SEC

… TAGn (real)

TAGn_Rollup_HOUR

TAGn_Rollup_MIN

TAGn_Rollup_SEC

Tag Table(virtual)

Sensor Data

Tag Analyzer


Machbase Use Cases

- 27 -

구성도

제지업체 Energy Storage System

제지공정내예지보전진단사전단계로 ESS 내 Tag 고속수집

Machbase Use Cases

DCS - OPC DA Client 수집 불가

기존 시스템 내 RDBMS 탑재

Tag 1000 개/초 수집이 어려움

OPC UA 가 아닌 프로토콜에서의 수집 방안 연구

OPC DA 서버와의 유연한 연동

초당 1천 Tag 이상 수집 및 1초 단위로 데이터 입력 진행

수집한 센서데이터의 Tag 값에 대해 재접속 시 자동 입력

OPC Client

OPC Data Access I/F

OPC Server Inner Layer

API Library

Workstation(DCS Real-Time Data)

Server(Real-Time

Historical Data)

Network

Network

Servers

OPC Client OPC Client

배경적용

효과

DCS

OPC DA Server

(Windows 7)

OPC DA Client

Machbase DBMS

for ESS Platform

Schneider Electric

Foxboro DCS

ESS 응용 플랫폼

Machbase

- 28 -

빌딩에너지관리시스템적용

빌딩에너지관리시스템의데이터수집개선을위한마크베이스도입및테스트진행

Applications

IoT Core

Security System

Machbase…

DATA Gateway

DATA Gateway

DATA Gateway MS-SQL수집속도한계

스마트아파트관리시스템빌딩에너지관리시스템

변경

• 빌딩 내 에너지 사용기기에서 발생하는 다량의 센서 데이터 등을 수집하는데 기존 RDBMS 속도 한계 인식

• 기존 대비 데이터 수집 주기를 더 줄여서 수집 가능하게 됨으로 성능에 만족. 현재 내부 솔루션 수정 예정

• 빌딩에너지 관리 시스템(BEMS)으로 시작하여, 스마트 아파트 관리 시스템으로 확장 예정

Machbase Use Cases

Event Data, log

- 29 -

지능형영상정보저장분석오산시 지능형 CCTV 영상 정보 저장 및 통계 분석 플랫폼

Machbase Use Cases

구성도

.

.

.

CCTV 1,500대

CCTV(지능형카메라)

IntelliVix(지능형영상분석)

비디오스트림

IntelliVix 서버 50대

• 객체감지/추적

• 이벤트감지

• 녹화/검색/재생/전송

• 번호판/얼굴 인식

객체메타데이터

이벤트감지메타데이터

마크베이스 통계 플랫폼

Machbase(시계열 Database)

Grafana(시각화 대시보드)

Machbase

DB서버 1EA

• 객체 매타데이터 저장

• 자동차/사람의 배회

이벤트 저장/조회

• 일 1,500만 건의

이벤트/객체 데이터 처리

Query

통계서버

• 도로별 안전 데이터 통계

• 차량 등 객체의

지역별/기간별

유동량/배회 통계분석

배경

• 인텔리빅스 내부 DB로는 모든 이벤트/메타 데이터저장을 못함

• 속도 및 DB Size 제약으로 최근 1개월 내의데이터만 보관

• 월/연인원, 차량/인구 유동량 등 통계자료 확보 못함

적용

효과

• 1년 이상의 전체 데이터 보관 가능하며, 향후 확장하여최대 5년간 보관 예정

• 교차로 등의 사건/사고 추이 분석을 위한 기초자료제공 및 대응 방안 수립을 위한 통계분석 활용

• 월별, 연별 유동량 및 배회 등 이벤트 패턴분석 기반마련

- 30 -Machbase Use Cases

Smart FactoryPackage

설비 결함 메커니즘 분석 솔루션

HMI

Wire

less

MC

UD

AQ

N-lite

N-lite

N-lite

N-Pro

N-lite

Stand

ard C

on

netivity Service

MQTT/TSN

OPC-DA

Ethernet

ManagementConsole

종합모니터링

Analytics예지정비

EventStatus

Web socket HTTPS/REST

Smart Factory Monitoring & Analytics

HTTPS/AJAX HTTPS/XHR

Ethernet TCP/IP

100만 EPSSimulation

Machbase

• 공정 빅데이터의 초고속 수집• 공정 분석 시간 단축• 예지보전 즉시화

Modbus

RS232

MQTT

Pub/Sub

OPC-UA /TSN

스마트팩토리 설비데이터 통합 분석

I-IoT OneWay Platform

POPSystem

HTTP Web Service

Big Data HUB Interface Service

ThingModel

ThingModel

ThingModel

Thin

g Co

nn

et Inte

rface Service

Sup

er S

pee

d E

ven

t In

terf

ace

Serv

ice

+

+

+ +

The FastestTime Series DBMS

MESSystem

APSSystem

ERPSystem

SCMSystem

Big Data Operation

Thank You

Website

Email

Tel

:

:

:

www.machbase.com

[email protected]

02-2038-4606

Machbase Inc.

Smart FI Best Practice Conference 2018

iiot 데이터문제해결을위한 새로운데이터처리방안 - kosmia · 2018-10-01 · x...

Documents