h3 2011 google을 통해 살펴보는 분산 파일 시스템의 현재와...
TRANSCRIPT
![Page 1: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/1.jpg)
Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래 분신기술Lab I 김홍모
![Page 2: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/2.jpg)
분산 파일 시스템
분산 파일 시스템
![Page 3: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/3.jpg)
분산 파일 시스템
파일 시스템이란? 파일을 저장하고 읽을 수 있는 시스템
![Page 4: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/4.jpg)
분산 파일 시스템
파일 시스템과 창고 관리
![Page 5: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/5.jpg)
분산 파일 시스템
메타 정보란?
box99 ; 1열 2층
물건의 위치를
꼼꼼히 기록해야
잃어버리지 않아요
![Page 6: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/6.jpg)
분산 파일 시스템
파일 시스템
![Page 7: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/7.jpg)
분산 파일 시스템
저장하고자 하는 파일이 너무 많을 경우에는?
![Page 8: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/8.jpg)
분산 파일 시스템
여러 대의 컴퓨터를 이용 한다면?
![Page 9: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/9.jpg)
분산 파일 시스템
분산 파일 시스템이란? 다수의 컴퓨터를
이용해서 구현한 파일 시스템
![Page 10: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/10.jpg)
분산 파일 시스템
많은 웹 서비스들이
분산 파일 시스템을 이용해서
자료를 관리
![Page 11: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/11.jpg)
GFS
Google File System(GFS)
![Page 12: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/12.jpg)
GFS
구글은 얼마나 많은 문서를 가지고 있을까?
![Page 13: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/13.jpg)
GFS
색인된 문서 수 > 25,270,000,000
![Page 14: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/14.jpg)
GFS
문서 하나의 크기를 1KB로 잡으면 총 자료의 크기 >
25,270,000,000 * 1KB = 25.27 TB
![Page 15: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/15.jpg)
GFS
GFS(Google File System)
노트는 필요 없다네
![Page 16: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/16.jpg)
GFS
용도
![Page 17: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/17.jpg)
Gmail 만들기
Gmail 만들기
![Page 18: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/18.jpg)
Gmail 만들기
2004년
![Page 19: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/19.jpg)
Gmail 만들기
Google 최초의 Interactive Web Service
효율 반응속도
![Page 20: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/20.jpg)
Gmail 만들기
Gmail을 만들어 봅시다
![Page 21: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/21.jpg)
Gmail 만들기
재료들
Google File System
Big Table
Google Servlet
Engine
![Page 22: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/22.jpg)
Gmail 만들기
재료 소개 #1 Google Servlet Engine 웹 서버 프로그래밍을 위한 도구
Google Servlet
Engine
![Page 23: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/23.jpg)
Gmail 만들기
재료 소개 #2 BigTable GFS 위에서 구동되는 구글의 DBMS
BigTable
![Page 24: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/24.jpg)
Gmail 만들기
방법 #1 GFS에 메일 자료를 직접 저장
Google File System
Google Servlet
Engine
![Page 25: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/25.jpg)
Gmail 만들기
작은 파일이 너무 많아요! 요즘 두통이 심해
![Page 26: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/26.jpg)
Gmail 만들기
방법 #2 BigTable에 메일 자료를 저장
Google File System
BigTable
Google Servlet
Engine
![Page 27: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/27.jpg)
Gmail 만들기
BigTable에 자료를 저장하는 것은?
![Page 28: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/28.jpg)
Gmail 만들기
GFS가 처리해야 할 파일 수 감소
이것은 선물이야
![Page 29: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/29.jpg)
Gmail 만들기
GFS 단일 마스터 구조
모든 요청은 나를
통해야 하지
![Page 30: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/30.jpg)
Gmail 만들기
방법 #3 이중화
Google File System
BigTable
Google File System
BigTable
Google Servlet
Engine
![Page 31: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/31.jpg)
Gmail 만들기
지금까지 우리는 1) 메일 자료를 잘 처리하며
2) 서버 장애에 강한 시스템을 성공적으로 구축
![Page 32: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/32.jpg)
Gmail 만들기
문제는 비용
![Page 33: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/33.jpg)
Gmail 만들기
비용 분석 GFS 복제 정책
+
![Page 34: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/34.jpg)
Gmail 만들기
비용 분석 GFS 복제 정책 + 이중화 모델
+ ?
![Page 35: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/35.jpg)
Gmail 만들기
2011년 2월 27일 외전
![Page 36: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/36.jpg)
Gmail 만들기
2011년 2월 28일 외전
![Page 37: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/37.jpg)
Gmail 만들기
2011년 3월 1일 외전
![Page 38: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/38.jpg)
Gmail 만들기
2011년 3월 2일 외전
복구 완료
![Page 39: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/39.jpg)
Gmail 만들기
비용 분석 GFS 복제 정책 + 이중화 모델
+ Tape Backup
+ ?
![Page 40: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/40.jpg)
Gmail 만들기
전체 비용?
+
![Page 41: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/41.jpg)
Gmail 만들기
결과는?
![Page 42: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/42.jpg)
GFS를 뛰어넘자
GFS를 뛰어넘자
![Page 43: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/43.jpg)
GFS를 뛰어넘자
이 상황을 극복할 좋은 방법은 없을까?
![Page 44: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/44.jpg)
GFS를 뛰어넘자
GFS의 단점 1) 파일 수 문제
2) 마스터 장애에 취약 3) 고비용
![Page 45: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/45.jpg)
GFS를 뛰어넘자
작은 파일을
잘 처리하기 위해서는?
장애 영향을 줄이려면?
나 홀로 외우기는
이제 그만할래
![Page 46: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/46.jpg)
GFS를 뛰어넘자
다수의 서버로 많은 메타 정보를
효율적으로 관리할 수 있어야
혼자서는 저 많은 자료를
관리할 수 없어요
![Page 47: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/47.jpg)
GFS를 뛰어넘자
#1 메타 정보 꾸러미 도입
이름 사전 순으로
정리하면 노트 주인만 정하면
됩니다.
하지만 노트들을 어떻게
분배해야 할까요?
…
A
B
Y
Z
![Page 48: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/48.jpg)
GFS를 뛰어넘자
#2 메타 정보 꾸러미와 서버의 짝 맺음
A
G
M
S
Z D
O
나는 D
U 부터 D 까지 관리
B C E F
H I
J K L N P
Q R
T U V W
X Y D
나는 O
E 부터 O 까지 관리
O
T
나는 T
P 부터 T 까지 관리
![Page 49: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/49.jpg)
GFS를 뛰어넘자
#3 서버에 장애가 발생하더라도
영향을 최소화
A
G
M
S
Z D
O
B C E F
H I
J K L N P
Q R
T U V W
X Y D
오늘부터 휴가
T
나는 D
U 부터 D 까지 관리 나는 T
P 부터 T 까지 관리
추가로 E 부터 O 도 관리
O X
![Page 50: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/50.jpg)
GFS를 뛰어넘자
Distributed Hash Table
![Page 51: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/51.jpg)
GFS를 뛰어넘자
작은 파일을 잘 처리하고
서버 장애 영향 최소화
성공!
![Page 52: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/52.jpg)
GFS를 뛰어넘자
저장 비용을 줄이려면?
![Page 53: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/53.jpg)
GFS를 뛰어넘자
그전에 복제는 왜 할까?
![Page 54: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/54.jpg)
GFS를 뛰어넘자
조선 왕조 실록 외전
세종 8년 등사 해서 분산 보관
춘추관(서울) 충주서고
![Page 55: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/55.jpg)
GFS를 뛰어넘자
조선 왕조 실록 외전
세종 27년 2부씩 추가 등사
춘추관(서울) 충주서고 전주서고 성주서고
![Page 56: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/56.jpg)
GFS를 뛰어넘자
조선 왕조 실록 외전
선조 25년 임진왜란으로 전주를 제외하고 모두 소실
춘추관(서울) 충주서고 전주서고 성주서고
![Page 57: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/57.jpg)
GFS를 뛰어넘자
조선 왕조 실록 외전
1997년 10월 1일 유네스코 세계기록유산으로 등록
전주서고
![Page 58: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/58.jpg)
GFS를 뛰어넘자
복제를 하는 이유는
자료를 잃어버리지 않기 위해서
![Page 59: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/59.jpg)
GFS를 뛰어넘자
자료는 안전하게 보호하지만
비용을 줄이는 방법은 없을까?
신뢰성 비용
![Page 60: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/60.jpg)
GFS를 뛰어넘자
Erasure Code
자료의 일부를 잃어버려도
나머지 자료로 원본을 복구
![Page 61: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/61.jpg)
GFS를 뛰어넘자
Erasure Code 사용 #1
원본을 k 조각으로 분할
D0 D1 D2 Dk-1 …
k Data Slices
D
![Page 62: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/62.jpg)
GFS를 뛰어넘자
Erasure Code 사용 #2
분할된 자료를 이용해 코드 자료 생성
Coding D0 D1 D2 Dk-1 … C0 … Cm-1
k Data Slices m Code Slices
![Page 63: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/63.jpg)
GFS를 뛰어넘자
Erasure Code 사용 #3
분할된 자료 및 코드 자료를 모두 저장
D0 D1 D2 Dk-1 … C0 … Cm-1
k Data Slices m Code Slices
+
![Page 64: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/64.jpg)
GFS를 뛰어넘자
Erasure Code 사용 #4
저장된 자료의 일부를 잃어버려도 원본을 복구
D0 D1 D2 Dk-1 … C0 … Cm-1
k Data Slices m Code Slices
+ D
![Page 65: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/65.jpg)
GFS를 뛰어넘자
시뮬레이션 MTTF = 27216h
MTTR = 24h + alpha
Availability may vary by site env
0
2
4
6
8
10
12
Additional Space (Ratio)
Payload (Ratio)
Availability (# of 9)
![Page 66: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/66.jpg)
GFS를 뛰어넘자
비용 비교 Erasure Code를 이용하면
비용이 절반으로
복제 Erasure Code
가용성 99.99999999% 99.999999999%
비용(원본대비) 300% 150%
![Page 67: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/67.jpg)
GFS를 뛰어넘자
낮은 비용으로
자료를 안전하게 저장하기
성공!
![Page 68: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/68.jpg)
GFS를 뛰어넘자
GFS를 뛰어넘는 두 가지 키워드
1) 분산 메타 관리 체계
2) Erasure Code
![Page 69: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/69.jpg)
GFS를 뛰어넘자
Google의 답안은? Colossus
![Page 70: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/70.jpg)
GFS를 뛰어넘자
KTH의 답안은? PrismFS !!
![Page 71: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/71.jpg)
PrismFS
PrismFS
![Page 72: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/72.jpg)
PrismFS
PrismFS 구조 Distributed Meta System
Distributed
Directory Service
REST Front
Data Server Group
REST Front
Data Server Group
Dash Board
Management Group
REST Front
Data Server Group
REST Client Group
REST Front
REST Front
Data Server Group
REST Front
Data Server Group
Deploy Map
Status Collector
![Page 73: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/73.jpg)
PrismFS
PrismFS 특징
1) 분산 메타 관리 체계 2) Erasure Code 기반 자료 보호 3) REST API 4) 모든 자료에 check-sum 적용 5) 통합된 관리 체계
![Page 74: H3 2011 Google을 통해 살펴보는 분산 파일 시스템의 현재와 미래_분산기술Lab_김홍모](https://reader035.vdocuments.net/reader035/viewer/2022081717/5560c079d8b42af43b8b53a8/html5/thumbnails/74.jpg)
QnA
QnA