edge computing 을활용한 스마트팩토리구축- 12 - 에지컴퓨팅의활용...
TRANSCRIPT
Edge Computing 을활용한스마트팩토리구축
- OT와 IT의융합과공장지능화 -
(주)마크베이스
1. Cloud vs Edge
Table of ContentsThe Fastest Time Series DBMS Machbase
Cloud vs Edge
- 4 -
Cloud vs Edge
CLOUDEDGE
- 5 -
동전의 앞면 : Cloud Computing
- 6 -
Cloud Computing (장점)
• 빠른 시작
• 확장성
• 사업의 민첩성
• 빠른 제품 개발
• 자산 취득 불필요
- 7 -
Cloud Computing (단점)
• 전송 용량에 따른 초과 비용의 위험
• 네트워크 지연에 의한 성능 저하
• 클라우드에 적합하지 않은 데이터 (보안)
• 회사 규모에 따른 제한
• 클라우드에 맞는 인적 자원의 부재
- 8 -
Industrial IoT 관점에서의 클라우드
• 내부망 선호
• 보안에 민감
• 데이터 공유 불가능
• 상대적으로 느린 IT 기술 트렌드
• 제조업에 맞는 적정 수준 기술 요구
- 9 -
현업은 이미 알고 있다. 클라우드가 답이 아닌 것을..!
• “발생되는 데이터가 너무 많아…“
• “느린 인터넷 망을 통해서 데이터를 넘기라구?”
• “인터넷 망이 끊어지면 어떻게 해?”
• “클라우드 서비스도 장애가 나던데?”
• “관리해야 할 장비가 너무 많아..이걸 클라우드
로 관리한다고?”
• “우리 회사 데이터는 밖으로 나갈 수 없어요..”
- 10 -
동전의뒷면 : Edge Computing
데이터 처리의 이원화를 통한 최적화!
- 11 -
Edge Computing의장점
• 실시간응답성을최적화 : Edge에서미리처리하자
• 보안및장애에대한고가용성 : 네트워크장애
• 클라우드비용에대한감소 : 데이터분리
Edge Computing in IIoT
- 12 -
에지 컴퓨팅의 활용
실시간 설비 모니터링, 장비의원격 제어, 제조일정 지연통보및 대응책 마련, 이상 징후 예측 및 대응
설비, 센서계측제어
에너지 소비량 파악, 환경오염도 파악 및 원격검침 공장환경영향평가 및 환경이상 원인분석, 에너지 사용집계
에너지/환경
로봇, AGV 기반 운행 정보자동전송, 공정별 진행 추적,적정 운영 환경 분석, 위치 기
반최적 이동 경로 안내 등
물류추적
Real-timeData Control
Real-TimeData Store
Real-TimeData Manage
- 13 -
Source : http://enterprise-iot.org/wp-content/uploads/2014/12/IoT-gateways-and-related-concepts.png
Edge 의다양한모델
Edge
데이터 분리의 관점이 없음 Edge 장비에데이터 저장소 존재
- 14 -
클라우드사업자의 Edge Computing
• Cloud Oriented 사업 모델• 분석은 Cloud 에서• 실시간 Edge 분석도 가능(TPU)
• 그러나, 결국은 비즈니스 모델의 끝은 클라우드
• 데이터가 모이는 최종 목적지→ Money!
• 더 큰 문제는 현실에 맞는Edge 기반의 데이터 저장, 처리와 전송에 대한 적절한 해결책을 주지 않음.
- 15 -
데이터 수집의 궁극적 목표
- 16 -
Edge Computing 구현시실제문제들
• 데이터 수집의 궁극적인 목적 → 예지보전
• 즉, 모든 데이터를 24x7x365 수집해야 하는 미션이 발생
• 해결해야 할 문제들
1. 하드웨어 스펙이 낮은 Edge 장비에서 데이터를 수집해야 함.
• 초당 10,000 이상 발생하는 경우 → 어떤 스토리지를 사용?
• Plain text → 데이터 추출 거의 불가능 (수 Tera 텍스트화일)
• RDBMS
• 초당 처리량 형편 없음. ( ~1000/sec)
• 대량 수집후 추출 불가능 (질의 수행시 시스템 부하 과다)
2. 실시간 선택적 데이터 복제 (Edge → Cloud)
• 네트워크 불안정(Wifi), Edge 장비의 교체, 네트워크 장기간 단절
3. 다수 Edge 장비 모니터링
• 다수의 장비를 한눈에 처리하기 불가능
- 17 -
4. 자동 Edge 저장소 관리
• Edge 스토리지의 자동화된 관리
5. 다수 Edge 관리 문제
• 시스템 Update, upgrade시 어떻게 쉽게 할 것인가?
6. 자동화된 알람 시스템
• 메일, SMS를 통한 실시간 공지 시스템
• 달라지는 Edge 장비와 비즈니스에 따른 Customization 비용
7. 실시간 데이터 시각화
• 현재 일어나고 있는 데이터의 처리 상태를 다수의 Edge에 대해 어
떻게 모니터링 할 것인지?
8. 손쉬운 UI 환경
• 웹 기반의 손쉬운 관리 및 접근성 극대화 필요 (Webapp)
Edge Computing 구현시실제문제들
Edge 에서의데이터문제어떻게해결할까?
- 19 -
4차 산업혁명 시대
- 20 -
Human Data
- 21 -
Human Data관리의 최대 과제
- 22 -
Machine (Sensor) Data
- 23 -
IIoT 데이터의 증가의 3가지 이유
1,000 개 * 100 ms * 40 Bytes
- day -
9억 건
32 GB
- year -
3,154억 건
11 TB
Duration
Count of sensor
Sampling Rate
AI 분석 목적 저장 기간 증가
센서 성능 향상
설치 센서 개수 증가
예) POSCO는 압연공정 분석을 위해 매주 500억건의 센서 데이터 저장하고 있음
Challenges
- 24 -
S1 S4 S8 S10 S99Time
12:22:30.002
12:22:30.003
12:22:30.004
12:22:30.005
12:22:30.006
12:22:31.122
12:22:32.122
12:22:33.122
12:22:34.122
12:25:30.122
12:26:30.122
12:27:30.122
Time Sensors
데이터 저장 요구 사항• 실시간 대량 입력 및 압축• 대용량 데이터 건수 (수백 억)
데이터 추출 요구 사항• 임의의 센서, 시간 범위 추출• 실시간 통계, 시각화 필요………………무제한 증가 ...................
접근패턴
센서 데이터의 특성
- 25 -
기존제품의한계
“데이터 처리에 대한 철학적 배경이 다름”
Transaction based “expensive data”
IoT Data Processing Performance is slow
Completely “unstructured data” with full-scan
Batch is OK, but Real-Time IoT Data is not OK.
Key-Value based “easy to use”
But efficiency is low (H/W Resource, Performance)
Single node based “Solution” not DBMS
Low Flexibility and Expensive
RDBMS Hadoop
NoSQL RTDB
- 26 -
TSDB : The Fastest Growing Database
- 27 -
제품요구사항
고속 입력
실시간 압축
센서 스키마
고속 시계열 질의
실시간 통계
Scale-out & High Availability
Embedded Architecture
SQL support
초당 수십만 건 이상의 입력 가능 아키텍처
저장소 효율성 극대화를 위한 압축 알고리즘
IIoT의 센서를 대표하는 저장 구조 지원
시간 범위에 대한 빠른 검색 성능
실시간 통계 기능 지원
대규모 센서 빅데이터 지원
에지 컴퓨팅(Edge Computing)의 필수 요소
개발 편의성 및 기존 지식 재활용
:
:
:
:
:
:
:
:
“IIoT의 특성을 고려한 DBMS 기본 구조 필요”
- 28 -
RDBMSTechnology
IIoTBigDataTechnology
데이터베이스
• 안정성,편의성,사용자 특성 감안
• 소프트웨어 개발 및 관리 편리
• 느린 성능, 소규모 데이터 처리 적합
• 노드및데이터증가에따른확장성부족
빅데이터솔루션
• 대용량 처리, 클러스터링, CAP 이론
• 대용량 데이터 입력 및 처리에 특화
• 데이터베이스 사용자 편의성 부족
• 학습 및 유지보수 관리 매우 취약
Machbase
Machbase is!
- 29 -
시계열 데이터베이스를 활용한IoT 데이터 처리의 모든 것
Marketing
- 30 -
초고속 데이터 입력 기술
• 시계열 데이터 입력 및 파티셔닝 기술 (미국 특허)
• 병렬 클러스터를 통해 선형적 성능 성능 증가
• 초고속 데이터 전송 프로토콜 구현 (미국 특허)
• 실시간 데이터 압축 기술 (2단계 압축)
멀티 노드 클러스터링 기술
• 클러스터 노드 관리 기술
• 클러스터 기반 초고속 SQL 처리 기술
• 데이터 복제 및 데이터 밸런싱 기술 (미국 특허)
• 고가용 보장 및 노드 확장 기술
초대용량 데이터 검색 기술
• 센서 데이터를 위한 Tag 구조 및 알고리즘(특허)
• 세계 최고 성능의 SQL 기반의 RTDB 기능 지원
• Rollup Table을 통한 실시간 통계 기능 지원
• 빅데이터를 위한 LSM 인덱스 지원
10억 건 검색 0.1초 완료
• 병렬 SQL 처리 기술 (미국 특허)
초고속 인덱스 생성 기술
• 실시간 센서 데이터 Tag 인덱스
• 실시간 비트맵 인덱스
인덱스별 초당 백만 건 이상 처리
• 파티셔닝 기반 병렬 인덱스 생성 기술 (미국 특허)
Machbase 기술적 차별성
- 31 -
센서 데이터 처리 기법 비교
B+-Tree Indexon Time Column
T1 T2
Tree 기반 기존 기술
• 시간 순서 센서 데이터는 서로 섞임
• 한 개 센서 데이터 검색 범위 매우 증가
• 데이터 량, 센서 개수 증가 시
입력/검색 성능은 선형적으로 저하
• 모든 Tree 기반 구조는 동일 약점 보유
마크베이스 Tag Table 기술
• 각각의 센서 데이터가 Clustering 됨
• 특정시간범위, 센서 데이터 접근시 효율
• 데이터 량, 센서 개수 증가에도
입력/검색 성능은 미비하게 저하
• 수백억 건 저장 기준 밀리 초 추출 성능
Clustered Partition Sensor BlockT1 T2
검색 범위
검색 범위……
In-MemoryTime Range Index
- 32 -
Memory :
Disk :
특화된테이블제공
VolatileTable
• 휘발성 데이터
• Snapshot 데이터
• PK기반 입력, 수정, 삭제
LookupTable
• 기준 정보 데이터
• 디스크 저장 유지
• PK기반 입력,수정,삭제
LogTable
• 시계열 로그 데이터
• 이력(Historical) 데이터
• 입력, 선택적 삭제
TagTable
• 센서 데이터
• 자동 통계 데이터 생성
• 입력, 선택적 삭제
- 33 -
마크베이스 제품군
EdgeEdition
Machbase
ClusterEdition
FogEdition
Fast data processing performance in a
single server
Big data technology revolution in
multi-nodes cluster
Real-time Edge Analytics for
IoT sensor data
3 types
- 34 -
Edge Edition
Best solution for Edge Analytics
• CPU : ARM, ATOM(x86) series
• O/S : Linux(Redhat, CentOS, Fedora, Ubuntu)
Real-time Linux (Windriver Linux)
Windows 64bit
• Performance : 초당수천에서수십만건저장가능
• 최근 nVidia Jetson (64 bit, Linux, ARM CPU) 지원
Raspberry PI 2
Raspberry PI 3
Samsung ARTIK 10
LattePanda
nVidia Jetson Tx2
- 35 -
Fog Edition
• 단일서버에서최고의성능발휘
• 초당수만건에서수십만건데이터저장가능
• 리눅스, 윈도우 64 bit 지원
• 고성능시계열 DB를필요로하는 ISV의최적솔루션
Fast data process performance in a single server
- 36 -
Cluster Edition
Multi-nodes Cluster Scalability
• 다중노드를통한분산저장, 분산쿼리지원
• 고가용성, 고확장성지원
• 노드증가에따른 성능향상
• 시계열데이터용클라우드시스템구성가능
- 37 -
Embedded Architecture : Comparison with Mongo DB
Machbase MongoDB
Table structureTAG (Optimized for sensor data),
Relational Schema, ColumnarBSON(Binary Json)
IndexTAG index
(Optimized for sensor data)B-Tree
Query languageSQL
(easy!)JSON Based
Memory Usage ConfigurableHigh
(MMAP based data/index file)
Cluster HA Active-ActiveActive-Standby(Can loss data)
Automatic Rollup Available N/A
- 38 -
Test Configuration
Import CSV TAG(SENSOR)
Query
Generate Data
SelectData
• Make csv file with generating tag data from 10,000 sensors
• 3 columns ( tag name, timestamp, value )
• Create 2 indexes on tag name and timestamp columns
• Loading 3B (3,000,000,000) records with 107GB csv
• Retrieval data with dynamic query
• Insert data with csv import utility ( mongoimport vs machloader )
• Use Machbase v5.1.16 vs MongoDB v4.0.6
- 39 -
Server Specification
Item Spec
CPUIntel(R) Xeon(R) CPU E3-1231 v3 @ 3.40GHz
4 Cores ( 8 Threads )
Memory 32 GB
Disk SSD 256GB 1EA
OSCentOS 7.5
( Kernel 3.10.0-514.el7.x86_64 )
NIC 1Gbps
- 40 -
Data Ingestion Performance
Machbase v5.1.16 MongoDB v4.0.6
Total Record 3,000,000,000 3,000,000,000
Loading Time (sec) 7,460 60,352
EPS (Event/Sec)402,145
( 8 times faster!)49,708
Average CPU usage(Total 800%)
184 ~ 362% 98 ~ 377%
Average Memory usage(Total 32GB)
RES : up to 7.4GB( 3 times smaller!)
RES : up to 20.3GB
Total Disk usage (GB) 123.4 122.9
- 41 -
TPC.org 공식 표준 IoT DBMS
TPC (세계 성능평가 협회)
(Transaction Processing Performance Council)
✓ HP, IBM, 오라클, 인텔, 마이크로소프트 등 글로벌 IT 업체가 모여 만든 성능 검증 비영리단체로 TPC 인증은 국제 표준으로 통용되며, 제품 신뢰성을 확보하는 평가모델로 전세계가 인정
✓ TPC 회원사인 해외 주요 HW 기업과 DBMS 벤더가협력하여 공식 성능 평가 자료를 공개
✓ “TPCx-IoT” 분야는 IoT 데이터 처리 DBMS 성능을
평가하는 스펙
✓ 정부의 지원(TTA)을 받아 TPC와 함께 테스트 및 등
록을 진행 중
✓ 사전 테스트를 통해 전세계 최고의 성능을 검증하였
으며, TPC 공식 검증을 통해 등록될 경우 세계최고
의 성능을 국제적으로 인정받는 계기가 될 것
http://www.tpc.org/tpcx-iot/
Marketing
- 42 -
✓ 전세계 유일 표준 시계열 데이터베이스로서 글로벌 수준의 인지도 보유!
TPCx-IoT 분야 1위 DBMS
Marketing
Machbase EdgeMaster
- 44 -
EdgeMasterTM
Product Line
Zigbee
Wifi
Wireprotocol
SensorEdge Analytic
Gateway
원격관리 대시보드 리포팅서버 Web Apps
HTTPHTTP
Machbase Fog/Cluster Edition
Alarm/Monitoring
Backup/Restore
Data pulling
Provisioning
EdgeMaster (Edge Side)
EdgeMaster (Cloud Side)
• Edge-Cloud 간의 데이터 통합 및 관리 솔루션
- 45 -
EdgeMasterTM 기능소개
• 세계 최초 초고성능 데이터 수집 가능 Edge Computing 솔루션
• 구성
• EdgeMaster-Server : Fog/Cloud 데이터 관리 서비스 모듈
• EdgeMaster-Client : Edge 기반 데이터 수집 전송 모듈
• 기능
• Edge 장비 초고속 데이터 수집
• Machbase Edge Edition 설치
• 수집 성능 : 일반 센서 데이터 300,000/sec 가능
• 실시간 데이터 복제/전송 기능 (Edge → Fog/Cloud)
• 불안정한 네트워크 환경
• 재접속시 마지막 위치부터 정확하게 전송
• 네트워크 완전 소실시에도 수주간 데이터 수집 가능
- 46 -
EdgeMasterTM 기능소개
• 기능
• 손쉬운 센서 추가
• 센서별 Customizable Profile 제공
• JSON 형태의 템플릿 제공
• 실시간 센서 기반 알람 설정 제공
• Min/Max 설정을 통한 범위 감지
• 메일 설정을 통한 통지 기능 제공
• 향상된 Rule 지정 및 실행지원
• SQL 기반의 주기적 Rule 모듈 실행 및 알람 가능
• 실시간 Edge 모니터링
• 웹을 통한 특정 Edge 장비에 대한 실시간 감시 가능
• 쉬운 원격 업데이트 및 업그레이드
• 웹을 통한 패키지 업데이트 및 관리 가능
- 47 -
EdgeMasterTM 에지등록
• 에지의 정보를 등록하고, 세부적인 프로필을 지정할 수 있음.
- 48 -
EdgeMasterTM Edge Profile
• 데이터 수집 모듈에 대한 프로파일을 설정
• 이를 쉽게 정의하고, 데이터 수집에 대한 세부 사항을 결정할 수 있음.
• 다양한 데이터 타입을 지원 (CVS, JSON)
- 49 -
EdgeMasterTM 센서및알람
• 선택적으로 센서(Tag)를 자유롭게 추가
• 실시간 데이터 전송 유무를 자유롭게 설정할 수 있음.
• 알람 및 에러 범위를 지정하고, 이를 감시할 수 있음.
- 50 -
EdgeMasterTM 대쉬보드
• 동작하는 모든 Edge 장비의 상태를 한눈에 파악
• 특정 Edge에 대한 세부 정보를 세밀하게 파악 가능
• 클라우드에 대한 데이터 전송 상황 및 성능 파악 가능
- 51 -
EdgeMasterTM Rule 지원
• SQL 기반의 복잡한 로직을 구현하고, 이를 주기적으로 수행
• 이 결과를 통해 특정 복잡한 상황에 대한 감지 및 대응 가능
• 다양한 태그와 수행 주기를 만들어서 구동시킬 수 있음.
- 52 -
EdgeMasterTM 실시간챠트및 CSV Export
• 원하는 장비 (Edge) 혹은 클라우드에 수집된 데이터 소스 지정가능
• 임의의 센서태그에 대한 실시간 챠트 생성 및 모니터링 가능
• 원하는 범위의 데이터를 CSV 형태로 직접 Export 할 수 있는 기능 제공
결론
- 54 -
결론
✓ OT와 IT를 분리하여 생각할 수 없는 지경
✓ 그 사이를 오갈 수 있는 유일한 재화는 데이터
✓ 데이터 싸움, AI 센터.. Network 단절 등의 문제의 가장 근본
✓ 제조원가 기반 H/W 와 S/W 자원의 가성비 고도화가 곧 제조 고도화
✓ 양질의 데이터 분석은 양질의 데이터 저장에서부터 시작
✓ 시계열 데이터베이스를 기반으로 한 Edge Computing 구현이 정답
