google을 지탱하는 기술5
DESCRIPTION
구글의 운용 비용TRANSCRIPT
![Page 1: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/1.jpg)
![Page 2: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/2.jpg)
1. 구글의 운용 비용
2. CPU의 전력 사용
3. PC의 소비전력 절감
4. Data Centre의 전력 배치
5. HDD는 언제 고장 나는가?
6. Bigdaddy
7. Recently
![Page 3: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/3.jpg)
1. 구글의 운용 비용
기업공개자료
System운용비
용
Hardware
Power
• 2004년 기업 공개자료
→ hardware에 2억5000만 달러 투자
→ 당시 총 5만 대 전후의 machine
• 2007년 보유 machine수 10배 가량 증가
![Page 4: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/4.jpg)
1. 구글의 운용 비용
기업공개자료
System운용비
용
Hardware
Power
하드웨어 비용
• Computer & Network equipment
전력 비용
• 전기료 & 설비 비용
보수 운용 비용
• 인건비
소프트웨어 비용
• 자체 개발→ 인건비
![Page 5: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/5.jpg)
1. 구글의 운용 비용
기업공개자료
System운용비
용
Hardware
Power
저가의 Hardware로 비용 절감
약 2억 8천만 원 약 7억 6천만 원
Rack Server
HDD : 8TB
Memory : 64GB
CPU(Xeon2GHz×2)
HDD : 80GB
Memory : 2GB
CPU(Xeon2GHz×2)
Machine : 88대
![Page 6: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/6.jpg)
1. 구글의 운용 비용
기업공개자료
System운용비
용
Hardware
Power사용 전력증가 최대 원인 = CPU
![Page 7: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/7.jpg)
전력성능비
Superscalar
2. CPU의 전력 사용
CMOS회로
CPU성능
Pipeline
IPC 와 f 관계
• CMOS(Complementary Metal Oxide Semiconductor)
• 동작전력 = α x C x V² x f(α : switch비율 f : clock주파수 C : 정전용량)
입력
0 = Vss →
출력
Vdd = 1→출력
0 = Vss
입력
Vdd = 1
C
![Page 8: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/8.jpg)
전력성능비
Superscalar
2. CPU의 전력 사용
CMOS회로
CPU성능
Pipeline
IPC 와 f 관계
• CPU 소비전력 억제 → V & Clocks
but, 단순히 clock↓ → 성능저하
• CPU 성능 = f x IPCIPC (Instruction Per Cycle)
: 1회 clock cycle에서 실행할 수 있는 명령 수
f 내리고 IPC 올리는 방법?
![Page 9: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/9.jpg)
전력성능비
Superscalar
2. CPU의 전력 사용
CMOS회로
CPU성능
Pipeline
IPC 와 f 관계
![Page 10: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/10.jpg)
전력성능비
Superscalar
2. CPU의 전력 사용
CMOS회로
CPU성능
Pipeline
IPC 와 f 관계
Pipeline 길어질 수록 f(주파수) 올라감
but, IPC는 오히려 저하
![Page 11: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/11.jpg)
전력성능비
Superscalar
2. CPU의 전력 사용
CMOS회로
CPU성능
Pipeline
IPC 와 f 관계
• Pipeline 수를 늘림
![Page 12: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/12.jpg)
전력성능비
Superscalar
2. CPU의 전력 사용
CMOS회로
CPU성능
Pipeline
IPC 와 f 관계
• CPU 주파수↑ Multi Core
: Pipeline 단계 줄여 주파수 내림
IPC 높이도록 설계 변경
![Page 13: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/13.jpg)
3. PC의 소비전력 절감
• 저클럭 고IPC CPU 선택
• Multi-Thread 활용
• 전원 효율성 높임
PSU(Power Supply Unit)의 전력 변환 효율 60%~70%
→ 불필요한 요소 제거(12V만 남김) → 85%~90% 정도까지 향상
![Page 14: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/14.jpg)
4. Data Centre의 전력배치
• Peak power 는 비용과 직결
• 한정된 전력을 최대한 유용하게 사용
• 계층적 전력배분 설계
• 다양한 machine 조합이
효율성 있는 전력이용가능
• Power Capping
– 최고 전력 사용량 제한
– System 부하 줄이도록 feedback
• 전력 절감 기술 이용
![Page 15: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/15.jpg)
4. Data Centre의 전력배치
• 실제 Peak power 계측 → Rack의 최대 전력
• Rack 단위에서 여유롭게 설계
• 이용빈도가 다른 machine을 같은 PDU에 연결
→ 전력 평준화 → 실제 Peak power ↓
• 계산상의 최대치보다 Rack을 넉넉히 연결
→ 설비 이용 효율↑
• Power Capping 통해 system 정지 위험 방지
![Page 16: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/16.jpg)
Conclusions
5. HDD는 언제 고장 나는
가?연평균고장률
Utilization
Temperature
SMART Data
• AFR (Annualized Failure Rate)
![Page 17: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/17.jpg)
Conclusions
5. HDD는 언제 고장 나는
가?연평균고장률
Utilization
Temperature
SMART Data
![Page 18: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/18.jpg)
Conclusions
5. HDD는 언제 고장 나는
가?연평균고장률
Utilization
Temperature
SMART Data
![Page 19: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/19.jpg)
Conclusions
5. HDD는 언제 고장 나는
가?연평균고장률
Utilization
Temperature
SMART Data
• Scan Error- 발생 후 60일 내 고장 날 확률 : 39배
• Reallocation Count- 발생 후 60일 내 고장 날 확률 : 14배
• Offline Reallocation- 발생 후 60일 내 고장 날 확률 : 21배
• Probational Count- 발생 후 60일 내 고장 날 확률 : 16배
![Page 20: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/20.jpg)
Conclusions
5. HDD는 언제 고장 나는
가?연평균고장률
Utilization
Temperature
SMART Data
• 평균적인 고장률
– drive의 종류, maker, 구입시기에 따라 다름
• Utilization levels 과 고장사이 상관관계 약함
• 높은 온도는 HDD 고장과 큰 상관관계 없고
낮은 온도가 고장발생 비율 높임
– 30 ~40도 정도 유지시에 가장 고장률 낮음
• SMART 값만 가지고 고장을 예측하기 어려움
![Page 21: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/21.jpg)
6. Bigdaddy
Bigdaddy
C.C.P
URL의 정규화
2-Types
• 새로운 Search engine의 기반 system
• Search engine의 frame work를
바꾸는 대대적인 것
![Page 22: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/22.jpg)
6. Bigdaddy
Bigdaddy
C.C.P
URL의 정규화
2-Types
• Crawl Caching Proxy: 새로운 crawling system
![Page 23: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/23.jpg)
6. Bigdaddy
Bigdaddy
C.C.P
URL의 정규화
2-Types
• URL Canonicalization– www.example.com
– example.com/
– www.example.com/index.html
– example.com/home.asp
→ 동일하다고 판단되는 web page에 같은 key 할당
![Page 24: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/24.jpg)
6. Bigdaddy
Bigdaddy
C.C.P
URL의 정규화
2-Types
• Type 1 – 전세계로 분산된 소규모 data centre
→ 빠른 응답 제공
• Type 2 – 엄선된 대규모의 data centre
→ 적은 비용으로 대용량 데이터 처리
![Page 25: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/25.jpg)
7. Recently
Google Server
Data Centre
• Case : 2U rack mount
• CPU : Soket 604 dual-Xenon board
running dual Nocono (Prescott) P4 processor
• RAM : 8Dimm slots
• HDD : 2EA SATA
• Power Supply : 12V only
• UPS : 12V Battery per server
![Page 26: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/26.jpg)
7. Recently
Google Server
Data Centre
• 컨테이너를 이용한 모듈화
• 1개 컨테이너에 최대 1,160대 서버
• 45개 컨테이너에 약 4만대의 서버
• 컨테이너당 전력소비량 250Kw
• 10MW
• 자체 설계, 조립 한 server 사용
• 컨테이너 바닥에 cooling system(전면 'Cold Aisle' 측이 27℃ 유지)※ 찬 공기를 끌어들이는 전면을 Cold Aisle, 반대로
공기가 배출되는 뒷면을 Hot Aisle
![Page 27: Google을 지탱하는 기술5](https://reader034.vdocuments.net/reader034/viewer/2022042607/55958c161a28abec798b45c1/html5/thumbnails/27.jpg)
Thank you