Распределенные вычисления, “облака” и Грид
DESCRIPTION
Распределенные вычисления, “облака” и Грид. Сергей Белов, ЛИТ ОИЯИ [email protected]. Вычисления вокруг нас. 2. Человечество всегда нуждалось в вычислениях Военные цели Космос Наука Производство Строительство Финансы. 3. Немного истории: инструменты для счёта. 4. - PowerPoint PPT PresentationTRANSCRIPT
![Page 2: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/2.jpg)
Вычисления вокруг нас
2
![Page 3: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/3.jpg)
Человечество всегда нуждалось в вычислениях
Военные цели
Космос
Наука
Производство
Строительство
Финансы
3
![Page 4: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/4.jpg)
Немного истории: инструменты для счёта
4
![Page 5: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/5.jpg)
От отдельного компьютера к кластеру
Объединение компьютеров в сети позволило:• Значительно ускорить расчеты за счет
распределения вычислительных задач между машинами
• Повысить надежность хранения данных и общую отказоустойчивость системы
5
![Page 6: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/6.jpg)
• В мире уже больше 1 миллиарда персональных компьютеров
• Процессоры ПК в среднем используются не более чем на 5%
• Можно задействовать простаивающие ресурсы для решения общезначимых задач, таких как:• Поиск лекарств от неизлечимых прежде болезней• Расшифровка генома• Расчет изменения климата на Земле• Предсказание землетрясений• Поиск внеземных цивилизаций
Добровольческие распределенные вычисления
6
![Page 7: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/7.jpg)
CERN - CERN - - Европейский Центр ядерных исследований- Европейский Центр ядерных исследований
7
WWW – 20 летWWW – 20 лет
![Page 8: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/8.jpg)
The LHC Machine
Эксперименты на LHC
8
![Page 9: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/9.jpg)
9
![Page 10: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/10.jpg)
• ежегодно 10-15 миллионов гигабайт данных (около 3 миллионов DVD-дисков)
• Для анализа данных необходимо порядка ~100,000 самых современных процессоров
Потоки данных от LHC
10
![Page 11: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/11.jpg)
11
Идея: вычисления и ресурсы как услуга
Визуализация
Рабочие станции
Мобильный доступ
Суперкомпьютеры, ПК- кластеры
Интернет, сети
ОБЕСПЕЧЕНИЕ ГРИД
Массовая память, сенсоры, эксперименты
ПРОМЕЖУТОЧНОЕ ПРОГРАММНОЕ
![Page 12: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/12.jpg)
Аналогия: электрические сети (“grids”)
12
![Page 13: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/13.jpg)
Объединение ресурсов в грид
13
![Page 14: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/14.jpg)
14
Виртуальные организации
• Что такое ВО– Люди из разных организаций
совместно используют ресурсы для работы над общими проектами
• Зачем создавать Грид?– Общие данные– Объединение ресурсов– Сотрудничество– Более эффективное
использование оборудования• Задумка: один большой Грид• Действительность: множество
грид-сетей • Каждая грид-сеть предоставляет
ресурсы одной или нескольким виртуальным организациям
Институт A
ВО1
Институт В
Институт Б
Институт Г
Институт Д
ВО2Институт Е
14
![Page 15: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/15.jpg)
Что такое грид?
Грид – разновидность параллельной или распределенной системы, позволяющей объединять и совместно использовать географически распределенные ресурсы
“Скоординированное совместное использование ресурсов для решения общих задач в рамках виртуальных организаций”
Я. Фостер, К. Кессельман, С. Тьюке «Анатомия Грид»
•Координирует использование ресурсов при отсутствии централизованного управления этими ресурсами•Использует стандартные, открытые, универсальные протоколы и интерфейсы•Должна нетривиальным образом обеспечивать высококачественное обслуживание
15
![Page 16: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/16.jpg)
Преимущества Грид
• Минимизация затрат при росте возможностей• Эффективное использование компьютерной
инфраструктуры (например, использование простаивающих рабочих мест или свободных вычислительных ресурсов)
• Увеличение доступных вычислительных мощностей (свои + партнеров)
• Упрощение, большая скорость и надежность доступа к данным
• Масштабируемость системы
![Page 17: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/17.jpg)
Крупные грид-проекты в мире
EGEE - Enabling Grids for E-sciencEОсновная область применения — наукаРазвиваются и коммерческие приложения50 стран, ~300 сайтов, ~73'000 процессоров
OSG — Open Science GridНаучный Грид в США~40'000 CPUs (60MSI2k)
NorduGrid12 стран, 60 сайтов, ~25'000 CPUs
TeraGridОбъединение суперкомпьютерных центров
в США750TFlops, 30 Пбайт дисков
17
![Page 18: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/18.jpg)
Часть инфраструктуры проекта EGEE
![Page 19: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/19.jpg)
19
Российский сегмент Грид (РДИГ)
• 15 ресурсных центров в РДИГ:– Ru-Moscow-SINP-LCG2, ITEP, JINR-LCG2,
Kharkov-KIPT-LCG2, RRC-KI, RU-Moscow-KIAM-LCG2, RU-Phys-SPbSU, RU-SPbSU, Ru-Troitsk-INR-LCG2, ru-IMPB-LCG2, ru-Moscow-FIAN-LCG2, ru-Moscow-GCRAS-LCG2, ru-Moscow-MEPHI-LCG2, ru-PNPI, RU-Protvino-IHEP
• Ресурсы– > 3300 процессоров
– ~1000 в ОИЯИ
– ёмкость дисков порядка 1.8 Пбайт (1.8*1015 байт = 400’000 DVD)
![Page 20: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/20.jpg)
20
Статистика работы РДИГ
• 13.7 миллионов вычислительных задач с 2004 года• 22.6 миллиона часов процессорного времени
= 2.6 тысяч лет работы одного компьютера !• Задачи от 33 виртуальных организаций
– alice, ams , atlas, atlaspil, atlasru, batch, biomed, cms, cms3, dteam, eearth, esr, fusion, fusion_rdig, geant4, gear, gridit, hcbp, hone, imain, iteam, lhcb, lhcbpil, lrgst, nw_ru, ops, pamela, photon, rdteam, rfusion, rgstest, sgmeearth, staff
• Нормализованное процессорное время за последний год – 27.2 миллиона условных часов• ALICE - 29%– ATLAS - 23%– CMS - 17%– LHCb - 25%– Другие ВО 6%
94%
![Page 21: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/21.jpg)
Разные проекты из области грид
21
![Page 22: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/22.jpg)
Применения грид-технологий
• Авиационная промышленность• Автомобилестроение• Криптоанализ• Расчет лекарств• Финансы (моделирование, принятие
решений, data mining)• Нефтегазовая отрасль (моделирование,
разведка месторождений)
22
![Page 23: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/23.jpg)
Применения грид-технологий
• Построение более быстрых и надежных распределённых корпоративных информационных систем
• Научные исследования (физика, биология, астрономия, медицина, геология и т.д.)
• Обработка результатов космической фотосъемки
• Создание анимации и спецэффектов в киноиндустрии
23
![Page 24: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/24.jpg)
К «информационной» экономике
• С ростом автоматизации и производительности труда падает число занятых в производстве материальных благ
• Основная активность переносится в информационную область и сферу услуг
Для экономики, ориентированной на обработку информации, нужны
свои средства производства и ресурсы24
![Page 25: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/25.jpg)
«Облачные вычисления»
25
Предоставление по запросу пользователей:– Инфраструктуры (серверов) как услуги - IaaS– Платформы (серверы+ОС) как услуги - PaaS– Программного обеспечения (серверы+ОС+ПО)
в качестве услуги - SaaS
Доступ к услугам осуществляется через Интернет
![Page 26: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/26.jpg)
Грид и «облака»
Грид• из научной среды• до 2000 года• географически
распределен• вычисление и доступ
к данным как услуга
«Облака»• из бизнеса• 2007 год• может располагаться
в одном месте• может
предоставлять произвольные информационные сервисы в виде услуги
26
Общая идея: предоставление доступа к компьютерным услугам как к ресурсу,
виртуализация (скрытие внутренней реализации)
![Page 27: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/27.jpg)
«Облака» и грид в запросах к Google
27
Грид (“grid computing”)Облачные вычисления (“cloud computing”)
число поисковых запросов
число новостей по теме
![Page 28: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/28.jpg)
Возможные перспективы
28
облако/грид из мобильных устройств
![Page 29: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/29.jpg)
Возможные перспективы
29
объединение национальных грид-сетей в облако, расширение набора предоставляемых сервисов?
![Page 30: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/30.jpg)
Возможные перспективы
30
Облачные вычисления включат в себя все типы компьютерных ресурсов?
Skynet?
![Page 31: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/31.jpg)
Киберинфраструктура
Грид
Разделяемые инфраструктура и
сервисы
SaaS
SOA
Виртуализация
Web 2.0
Автоматизация
31
![Page 32: Распределенные вычисления, “облака” и Грид](https://reader030.vdocuments.net/reader030/viewer/2022033014/5681556b550346895dc33713/html5/thumbnails/32.jpg)
32