apsm.korea.ac.krapsm.korea.ac.kr/wordpress/wp-content/uploads/2019/02/5.-patent_dwp_lock.pdf ·...
TRANSCRIPT
(19) 한민 특허청(KR)
(12) 등 특허공보(B1)
(45) 공고 2017 04월28
(11) 등 10-1731626
(24) 등 2017 04월24
(51) 특허 (Int. Cl.)
G06F 17/30 (2006.01)
(52) CPC특허
G06F 17/30327 (2013.01)
G06F 17/30961 (2013.01)(21) 원 10-2016-0111407
(22) 원 2016 08월31
심사청 2016 08월31
(56) 행 술 사문헌
US07467116 B2*
US20160155069 A1*
KR1020160143512 A*
KR101469136 B1*
*는 심사 에 하여 문헌
(73) 특허
고 학 산학 단
울특별시 안암 145, 고 학 (안암동5가)
(72)
걸
울특별시 강동 고 131, 122동 1503 (암사동, 강동 캐슬 스트아 트)
동
울특별시 진 나루 56 32, 215동 2303( 동, 2단지아 트)
(74) 리
등 ,
체 청 항 수 : 6 항 심사 : 경
(54) 칭 트리 앙상블 한 보 측 시스
(57) 약
처리 듈, 학습 듈, 측 듈, 스 포함하는 트리 앙상블 한 보
측 시스 한 트리 앙상블 한 보 측 개시 다. 트리 앙상블
한 보 측 학습 한 수집하는 수집 단계, 상 트스트랩
(뒷 에 계 )
도 - 도1
등록특허 10-1731626
- 1 -
샘플링하여 훈 샘플링 지 않 검 하는 트스트랩 샘플링 단계, 상 훈
에 KFDA 하는 KFDA 단계, 샘플링 지 않 상 검 하여 검 수행하고 커
라미 하는 커 라미 단계, 상 커 라미 에 사결 트리 생
하는 사결 트리 생 단계, 합 규칙 하여 어도 상 사결 트리 병합하여, 트리
앙상블 생 하는 앙상블 생 단계, 신규 하고 상 트리 앙상
블 하여 상 신규 클래스 라 (class label) 측하는 단계 포함한다.
지원한 가연 개 사업
과 고 F16SN26T4601
처
연 리 문 한 연 재단
연 사업 BK21플러스사업
연 과 물 야에 빅 운 사업
여 1/2
주 고 학 산학 단
연 간 2016.03.01 ~ 2017.02.28
지원한 가연 개 사업
과 고 1711040094
처 미래창 과학
연 리 문 한 연 재단
연 사업 개 연 지원
연 과 빅 스마트 리 한 프리 티브 에 리틱스 개
여 2/2
주 고 학 산학 단
연 간 2016.06.01 ~ 2017.05.31
공지 :
등록특허 10-1731626
- 2 -
청
청 항 1
트리 앙상블 한 보 측 시스 에 트리 앙상블 한 보 측 에
어 ,
학습 한 수집하는 수집 단계;
상 트스트랩 샘플링(Bootstrap sampling)하여 훈 샘플링 지 않 검
하는 트스트랩 샘플링 단계;
상 훈 에 KFDA(Kernel Fisher Discriminant Analysis) 하는 KFDA 단계;
샘플링 지 않 상 검 하여 검 수행하고 커 라미 하는 커
라미 단계;
상 커 라미 에 사결 트리(Decisoon Tree, Di) 생 하는 사결 트리 생 단계;
합 규칙 하여 어도 상 사결 트리 병합하여, 트리 앙상블 생 하는 앙상
블 생 단계;
신규 하고 상 트리 앙상블 하여 상 신규 클래스 라
(class label) 측하는 단계; 포함하는 트리 앙상블 한 보 측 .
청 항 2
1항에 어 ,
트스트랩 샘플링 단계, KFDA 단계, 커 라미 단계, 사결 트리 생 단계 복
하여 L 개 사결 트리(D1, D2, ... , DL) 생 하는 단계 포함하는 트리 앙상블
한 보 측
청 항 3
1항에 어 ,
상 합 규칙 다수결(majority voting) 트리 앙상블 한 보 측
청 항 4
학습 한 수집하고, 상 트스트랩 샘플링(Bootstrap sampling)하여 훈 샘
플링 지 않 검 하는 처리 듈,
상 훈 에 KFDA(Kernel Fisher Discriminant Analysis) 하고, 샘플링 지 않 상 검
하여 검 수행하고 커 라미 하여, 상 커 라미 에 사결
트리(Decisoon Tree, Di) 생 하고, 합 규칙 하여 상 사결 트리 병합하여, 트리 앙상블
생 하는 학습 듈,
상 트리 앙상블 하여 신규 클래스 라 (class label) 측하는 측 듈 포
함하는 트리 앙상블 한 보 측 시스 .
청 항 5
4항에 어 ,
상 학습 듈 L 개 사결 트리(D1, D2, ... , DL) 생 하 ,
등록특허 10-1731626
- 3 -
상 처리 듈 각각 사결 트리 할 마다 새 게 트스트랩 샘플링 수행하여 상 훈
상 검 생 하는 트리 앙상블 한 보 측 시스 .
청 항 6
4항에 어 ,
상 합 규칙 다수결(majority voting) 트리 앙상블 한 보 측 시스 .
술 야
본 개 에 실시 는 트리 앙상블 한 보 측 시스 에 한 것 ,[0001]
욱 상 하게는, 트 닝 트스트랩 샘플링하고 변수들 랜 하게 쪼개어 브 만든 후, 브
에 KFDA 하고 검 통해 커 라미 하여 사결 트리 생 하고 각각 사결
트리 병합하여 앙상블 생 하고, 하여 보 하고 측하는 시스 에 한
것 다.
경 술
본 시뮬 실 실에 생 는 ( 보) 에 한 것 , 다양한 사[0002]
(instance) 특 (feature) 갖는 클래스 라 (class label) 하게 측하는 에 한 것
다.
과거 들 수 변수(variable) 갖는 경우가 많았 문에 [0003]
알고리 도 한 측/ 결과 득할 수 었다. 그러나 ICT (sensor) 술 달
하여 공 나 공학 야에 는 수 수천에 달하는 변수 가진 들 생 시 하 다.
다양한 사 (instance) 특 (feature) 갖는 클래스 라 (class label) 하게 측하고 [0004]
하는 다양한 트리(tree) 알고리 들 지만, 변수가 가할수 측 도가 어지는 경우가 많다.
는 변수가 가할수 차원 가 한 문 등 에 어 움 생하고, 복
한 문에 공간(input data space)에 알고리 하는 어 움 문
에, 사 (instance) 클래스 라 (Class label) 하게 측하 어 다. 라 변수 수
지 않 도 하게 사 (instance) 클래스 라 (class label) 측하는 알고리 필 하다.
내
해결하 는 과
본 루고 하는 술 과 는 많 수 변수 가진 복 한 에 어 각 사[0005]
(instance) 클래스 라 (class label) 하게 측하는 것 다.
과 해결 수단
본 실시 에 트리 앙상블 한 보 측 학습 한 수집[0006]
하는 수집 단계, 상 트스트랩 샘플링(Bootstrap sampling)하여 훈 샘플링 지
않 검 하는 트스트랩 샘플링 단계, 상 훈 에 KFDA(Kernel Fisher Discriminant
Analysis) 하는 KFDA 단계, 샘플링 지 않 상 검 하여 검 수행하고
커 라미 하는 커 라미 단계, 상 커 라미 에 사결 트리
(Decisoon Tree, Di) 생 하는 사결 트리 생 단계, 합 규칙 하여 어도 상 사결
트리 병합하여, 트리 앙상블 생 하는 앙상블 생 단계, 신규
하고 상 트리 앙상블 하여 상 신규 클래스 라 (class label) 측하는
단계 포함한다.
본 실시 에 트리 앙상블 한 보 측 시스 학습 한 수[0007]
집하고, 상 트스트랩 샘플링(Bootstrap sampling)하여 훈 샘플링 지 않 검
등록특허 10-1731626
- 4 -
하는 처리 듈, 상 훈 에 KFDA(Kernel Fisher Discriminant Analysis)
하고, 샘플링 지 않 상 검 하여 검 수행하고 커 라미 하여,
상 커 라미 에 사결 트리(Decisoon Tree, Di) 생 하고, 합 규칙 하여 상
사결 트리 병합하여, 트리 앙상블 생 하는 학습 듈, 상 트리 앙상블
하여 신규 클래스 라 (class label) 측하는 측 듈 포함한다.
과
본 실시 에 트리 앙상블 한 보 측 시스 변수가 많 고차원[0008]
에 하여 보다 하게 측할 수 는 과가 다.
또한, 본 실시 에 트리 앙상블 한 보 측 시스 KPCA LDA[0009]
하여 KFDA 하여 앙상블 다양 (diversity) 향상시키는 과가 다.
도 간단한
본 상 한 에 는 도 보다 해하 하여 각 도 상 한 공 다.[0010]
도 1 본 실시 에 트리 앙상블 한 보 측 시스 능 블럭도 다.
도 2는 본 실시 에 트리 앙상블 한 보 측 프 워크 도시한
다.
도 3 본 실시 에 트리 앙상블 한 보 측 하 한
도 다.
도 4는 본 실시 에 트리 앙상블 하여 시뮬 수행하 한
시 도 다.
도 5는 본 실시 에 트리 앙상블 하여 도 4 시뮬 한
결과 도시한 다.
도 6 본 실시 에 트리 앙상블 생 하 한 시 수도 드(Pseudo
code) 다.
실시하 한 체 내
본 에 개시 어 는 본 개 에 실시 들에 해 특 한 또는 능 단지[0011]
본 개 에 실시 들 하 한 시 것 , 본 개 에 실시
들 다양한 태들 실시 수 본 에 실시 들에 한 지 않는다.
본 개 에 실시 들 다양한 변경들 가할 수 고 여러 가지 태들 가질 수 므 실시[0012]
들 도 에 시하고 본 에 상 하게 하고 한다. 그러나 는 본 개 에 실시
들 특 한 개시 태들에 해 한 하 는 것 아니 , 본 사상 술 에 포함 는 든 변경,
균등물, 또는 체물 포함한다.
본 에 사 한 어는 단지 특 한 실시 하 해 사 것 , 본 한 하 는 [0013]
도가 아니다. 단수 문맥상 하게 다 게 뜻하지 않는 한, 복수 포함한다. 본 에 ,
"포함하다" 또는 "가지다" 등 어는 본 에 재 특징, 숫 , 단계, 동 , , 또는
들 합한 것 재함 지 하 는 것 지, 하나 또는 그 상 다 특징들 나 숫 , 단계, 동 ,
, 또는 들 합한 것들 재 또는 가 가능 미리 하지 않는 것 해 어야
한다.
다 게 지 않는 한, 술 거나 과학 어 포함해 여 사 는 든 어들 본 [0014]
하는 술 야에 통상 지식 가진 에 해 해 는 것과 동 한 미 가진다.
사 는 사 에 어 는 것과 같 어들 술 문맥상 가지는 미 치하는 미
갖는 것 해 어야 하 , 본 에 하게 하지 않는 한, 상 거나 과도하게 식
미 해 지 않는다.
등록특허 10-1731626
- 5 -
KPCA는 Kernel PCA(Principal Component Analysis) 수행하는 알고리 , 다양한 커 사 하여[0015]
비 (non-linear data structure) 해하는 도움 다. PCA는 본 산
한 보 하는 향 수직 새 운 (basis) 찾는 다. 통해 차원
하 도 하고, 새 운 (basis) 특질 사 하 도 한다. KPCA는 시 커 매핑(kernel
mapping) 없 커 트릭(kernel trick) 하여 (input data) 커 특징 공간(kernel
feature space) 매핑(mapping) 한다. 공간(input space)에 는 비 (non-linear) 고, 비
리 (non-separable) 가, 커 특징 공간(kernel feature space)과 같 고차원(high-dimensional) 경
우에는 리 가능 다.
LDA(Linear Discriminant Analysis)는 각 클래스(Class)에 하는 들 간 산(within-class scatter)[0016]
하 각 클래스간 산(between-class scatter) 하는 프 (projection) 찾는 알고
리 다. LDA는 트 닝 (Training data) 통하여 프 (projection) 찾고, 스트
(Test data)에 하여 스트 (Test data) 클래스(Class) 측하게 다.
본 에 특징 하고 각 사 (instance) 클래스 라 (Class label) 하게 측[0017]
하 하여, KFDA(Kernel Fisher Discriminant Analysis) (Mika, S. (2003). Kernel fisher
discriminants. PhD thesis, University of Technology, Berlin.) 한다. KFDA는 KPCA 마찬가지 커
(kernel) LDA 수행하는 알고리 다. KFDA는 KPCA LDA 합과 하게 치한다. , KFDA
는 클래스(Class) 보 하여, 커 특징 공간(kernel feature space) 상에 리 가능한
갖는 프 (projection) 찾는 다.
, 도 1 참 하여, 본 실시 에 트리 앙상블 한 보 측 시스 에 [0018]
해 상술한다. 도 1 본 실시 에 트리 앙상블 한 보 측 시스 능
블럭도 다. 도 1 참 하 , 트리 앙상블 한 보 측 시스 (10) 수집하고
샘플링하는 처리 듈(100), 수집 학습하여 트리 앙상블 ( ) 생 하는 학습
듈(200), 신규 에 하여 앙상블 하여 사 (instance) 클래스 라 (Class
label) 측하는 측 듈(300), 스(800) 포함한다.
본 에 사 는 '- ' 또는 ' 듈' 라 함 본 술 사상 수행하 한 하드웨어 상[0019]
하드웨어 동하 한 프트웨어 능 , 결합 미할 수 다. 컨 , 상 '- ' 또는 '-
듈' 드 상 드가 수행 한 하드웨어 리 스 리 단 미할 수 ,
드시 물리 연결 드 미하거나 한 하드웨어 미하는 것 아니다.
트리 앙상블 한 보 측 시스 (10) 처리 듈(100) 트스트랩 샘플링 (11[0020]
0) 포함한다.
트스트랩 샘플링 (110)는 원 (original data) 트스트랩 샘플링(Bootstrap sampling)하여 훈 [0021]
(training data, TD) 샘플링(sampling) 지 않 검 (validation data, VD) 한다. 람직
하게는 원 (original data)에 하여 훈 (TD) 75% 트스트랩 샘플링(bootstrap sampling)
한다.
트스트랩 샘플링 (110)는 KFDA 하고 사결 트리(Decision Tree) 할 마다 새 트스트[0022]
랩 샘플링 수행하고 훈 검 생 한다. 트스트랩 샘플링(bootstrap sampling) 후, 변
수들 랜 하게 쪼개어 K개 브 (subset) 만든다.
학습시킬 사 는 트스트랩 샘플링 변수들 랜 하게 쪼개어 만드는 브 들 통해 앙상[0023]
블 다양 (diversity) 크게 향상시킬 수 다.
트리 앙상블 한 보 측 시스 (10) 학습 듈(200) KFDA (210), 검 (220),[0024]
사결 트리 생 (230), 앙상블 생 (240) 포함한다.
KFDA (210)는 트스트랩 샘플링(bootstrap sampling) 결과 생 훈 (training data)에 KFDA[0025]
한다. 사 함수(Radial Basis Function, RBF) 커 사 하여 KFDA 할 수 다. KFDA
하여 얻어진 프 (projection pattern) 새 게 얻어진 LDs(linear discriminants) 평행하
문에 트리(Tree) 앙상블 사 하 에 아주 합하다.
검 (220)는 샘플링 지 않 검 (validation data) 하여 검 수행하고 커 라미[0026]
등록특허 10-1731626
- 6 -
한다.
사결 트리 생 (230)는 커 라미 에 사결 트리(Decisoon Tree, Di) L(L 2 상[0027]
연수) 개 생 한다.
앙상블 생 (240)는 L 개 사결 트리(D1, D2, ... , DL) 병합하여 트리 앙상블 [0028]
생 한다. 사결 트리 병합하는 사 하는 합 규칙(fusion rule) 다수결(majority voting) 수
다.
트리 앙상블 한 보 측 시스 (10) 측 듈(300) 측 (310) 포함한다.[0029]
트리 앙상블 한 보 측 시스 (10) 측 듈(300) 클래스 라 (class label) 측[0030]
는 신규 아 학습 듈에 생 트리 앙상블 하여 각 클래
스 라 (class label) 측한다. 측 결과 스(800)에 하고 할 수 다.
스(800)는 학습 하여 수집 룰 한다. 또한, 수집 트스트랩 샘플링한 트[0031]
닝 검 할 수 다. 또한, 트 닝 에 KFDA 한 결과, 검
하여 커 라미 , 앙상블 할 수 다. 또한, 신규 에 한 측 결
과 할 수 다. 본 에 스라 함 , 각각 스에 는 보 하는
프트웨어 하드웨어 능 결합 미할 수도 다.
어 듈(미도시) 트리 앙상블 한 보 측 시스 (10) 동 어한다. ,[0032]
처리 듈(100), 학습 듈(200), 측 듈(300), 스(800) 동 어할 수 다.
는 달리, 트리 앙상블 한 보 측 시스 (10) 각 듈 별도 치 수도
다. , 각각 치별 어 듈 각각 비할 수 다.
하, 도 2 내지 도 6 참 하여, 본 실시 에 트리 앙상블 한 보 측[0033]
시스 한 트리 앙상블 한 보 측 에 하여 살펴보도 한다.
도 2는 본 에 트리 앙상블 한 보 측 프 워크 도시한 도 고, 도[0034]
3 도 1에 도시한 트리 앙상블 한 보 측 시스 한 트리 앙상블
한 보 측 하 한 도 다.
도 2 도 3 참 하 , 트리 앙상블 한 보 측 수집하고 샘플링하는[0035]
처리 단계(S100), 수집 학습하여 트리 앙상블 ( ) 생 하는 학습 단계
(S200), 신규 에 하여 앙상블 하여 사 (instance) 클래스 라 (Class
label) 측하는 측 단계(S300) 포함한다.
, 트리 앙상블 한 보 측 시스 처리 듈(100) 학습 한 [0036]
(original data) 수집한다(S110).
다 , 트리 앙상블 한 보 측 시스 처리 듈(100) 원 (original[0037]
data) 트스트랩 샘플링(Bootstrap sampling)하여 트 닝 (training data, TD) 샘플링(samplin
g) 지 않 검 (validation data, VD) 한다(S120). 람직하게는 원 (original data)에
하여 트 닝 (training data, TD) 75% 트스트랩 샘플링(bootstrap sampling) 한다. ,
트 닝 검 는 KFDA 하고 사결 트리(Decision Tree) 할 마다 새 게 생
다. 트스트랩 샘플링(bootstrap sampling) 후, 변수들 랜 하게 쪼개어 K 개 브 (subset) 만든
다. 학습시킬 사 는 트스트랩 샘플링 변수들 랜 하게 쪼개어 만드는 브 들 통해
앙상블 다양 (diversity) 크게 향상 다.
트스트랩 샘플링(bootstrap sampling) 결과 생 훈 (training data)에 KFDA 한다(S210).[0038]
람직하게는 사 함수(Radial Basis Function, RBF) 커 사 하여 KFDA 한다. KFDA
통해 얻어진 프 (projection pattern) 새 게 얻어진 LDs(linear discriminants) 평행하
문에 트리(Tree) 앙상블 사 하 에 아주 합하 , 보다 나 측 능
공할 수 다.
다 , 샘플링 지 않 검 (validation data) 하여 검 단계 수행하고 커 라미[0039]
한다(S220).
등록특허 10-1731626
- 7 -
들어, 함수 가 아래 식과 같 , 함수 하는 변 행 (w), , 클래스 내 [0040]
산 하 클래스 내 산 하는 변 행 (w) 한다. , 는 매핑 함수 미한
다.
[0041]
, [0042]
,[0043]
[0044]
[0045]
다 , 커 라미 에 사결 트리(Decisoon Tree, Di) 생 한다(S230). , 사결 트리[0046]
(Decisoon Tree, Di) 통해 에 학습 다.
트스트랩 샘플링 통하여 새 게 생 트 닝 (training data)에 KPCA LDA 결합한 KFDA가 [0047]
고, 검 (validation data) 커 라미 하고, 에 사결 나무
(Decisoon Tree, Di) 생 하는 단계 복하여(S120-S230 또는 S210-S230), L(L 2 상 연수) 개
사결 트리(D1, D2, ... , DL) 생 한다.
다 , 합 규칙(fusion rule) 통하여 L 개 사결 트리(Decisoon Tree, Di) 병합하여(S240), 트리 [0048]
앙상블 생 한다(S250). 람직하게는, 사결 트리 병합 하여 사 하는 합 규칙(fusion
rule) 다수결(majority voting) 수 다.
다 , 클래스 라 (class label) 측 는 신규 는다(S310).[0049]
신규 에 하여 학습 단계(S200)에 생 트리 앙상블 각 클래스 라[0050]
(class label) 측한다(S320).
도 4는 트리 앙상블 하여 시뮬 수행하 한 시 도 고, 도[0051]
5는 도 4 시뮬 한 결과 도시한 다.
도 4 (a)는 개 나 (two spiral) 시뮬 고, 도 4 (b)는 circle in a square[0052]
시뮬 다. 도 5는 도4 시뮬 5-묶 차 검 (5-fold cross
validation) , 앙상블 사 50 하여 Bagging, Adaboost, Random Forest, Rotation Forest
KFDA 하여 시뮬 결과 다. 도 5 참 하 , 본 에 ㄸ KFDA 하는 경
우, 들(Bagging, Adaboost, Random Forest, Rotation Forest)에 비하여 도(accuracy)가 고,
차(standard error)가 낮 것 할 수 다. 특 , 나 (two spiral) 에 보다 한
측 능 보 다.
도 6 본 실시 에 트리 앙상블 생 하 한 시 수도 드(Pseudo[0053]
code) 다. X는 훈 (training data), Y는 클래스 라 , L 개수(죽, 앙상블 사 ), K는
브 (subset) 개수라고 할 앙상블 (Ensemble Classifier) 만들 해 , 75% 트스트랩 샘플
링(bootstrap sampling)하여 훈 ( ) 생 하고 변수들 랜 하게 쪼개어 K개 브 (subset)
만든다. , 는 i 째 사결 트리 하여 샘플링한 j 째 브 훈 미한다.
등록특허 10-1731626
- 8 -
게 만들어진 브 (subset)에 KFDA(Kernel Fisher Discriminant Analysis) 하고 샘플링 지 않
( ) 한 검 (validation) 통해 커 라미 ( ) 찾 , L 개 사결 나무
(Di) 생 하고 결합하여 앙상블 생 한다. 다 , 신규 사 (instance)에 하여 앙상블
하여 클래스 라 측 수행한다.
본 도 에 도시 실시 참고 었 나 는 시 것에 과하 , 본 술 야 통상[0054]
지식 가진 라 다양한 변 균등한 타 실시 가 가능하다는 해할 것 다. 라 , 본
진 한 술 보 는 첨 등 청 술 사상에 해 해 야 할 것 다.
100 : 트리 앙상블 한 보 측 시스[0055]
100 : 처리 듈 200 : 학습 듈
300 : 측 듈 800 : 스
도
도 1
등록특허 10-1731626
- 9 -