Аппаратно-программная конфигурация ЦИВК
DESCRIPTION
Аппаратные ресурсы. Программное обеспечение. Организация работы пользователей. Грид в ЦИВК, принципы работы. http://lit.jinr.ru. Аппаратно-программная конфигурация ЦИВК. Структурная схема ЦИВК Сетевые соединения. 1Gbit Ethernet - опорная сеть. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/1.jpg)
Аппаратно-программная конфигурация ЦИВК
Аппаратные ресурсы.
Программное обеспечение.
Организация работы пользователей.
Грид в ЦИВК, принципы работы.
http://lit.jinr.ru
![Page 2: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/2.jpg)
Структурная схема ЦИВК Сетевые соединения
![Page 3: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/3.jpg)
Сетевое окружение
1Gbit Ethernet - опорная сеть.
Маршрутизатор и коммутаторы 1GbE.
Не более 3-х коммутаций между любыми
2-мя машинами ЦИВК.
4-8 линий между 1-ым и 2-ым уровнями
(802.3ad – link aggregation).
10GbE до опорной сети ОИЯИ (план).
![Page 4: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/4.jpg)
Вычислительные ресурсы -счетная ферма
60 машин: Xeon 5150, 8GB RAM, 64-х битная архитектура - x86_64.
2 x ЦПУ по 2 ядра = 4 ЦПУ на машину.
2 GB RAM на ядро (ЦПУ).
100 GB scratch на машину.
2730 SI2000 на ядро.
Всего: 240 ЦПУ; ~650 kSI2k.
![Page 5: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/5.jpg)
Счетная ферма - расширение(март 2008)
20 машин: Xeon 5345, 16GB RAM, x86_64.
2 x ЦПУ по 4 ядра = 8 ЦПУ на машину =
160 ЦПУ.
2 GB RAM на ядро.
200 GB scratch на машину.
2700 SI2000 на ядро = 432 kSI2k.
Всего: 400 ЦПУ; > 1000kSI2k.
![Page 6: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/6.jpg)
Дисковые ресурсы
Общий (физический) объем: > 120TB.
Аппаратный RAID5 (3ware/AMCC).
Программный RAID1 (AFS и т.п.).
Direct Attached SATA (счетные,
интерактивные машины и т.п.).
Доступный объем: 1.3TB - AFS; 82TB -
dCache.
![Page 7: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/7.jpg)
Остальные ресурсы
4 машины для интерактивной работы: 2 - Intel Core 2 Duo; 2 - AMD Athlon.
Серверы AFS и NFS.
Серверы dCache.
Серверы общего назначения.
Серверы WLCG сайта (грид).
![Page 8: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/8.jpg)
Остальные ресурсы (продолжение)
Архитектура серверов: от Intel Celeron и Pentium 3 до Atlon64 X2 и Core 2 Duo.
Всего серверов 64.
Архитектура и ЦПУ: uname -ip
подробнее – cat /proc/cpuinfo.
Объем RAM: free
![Page 9: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/9.jpg)
Программное обеспечение
Основная ОС - Scientific Linux SL 4.5 (SL4) – клон RHEL4, на всех счетных машинах (cat /etc/redhat-release). Основная архитектура – x86_64, 64-х битная (uname -i). Установлены все пакеты совместимости для выполнения 32-х битных программ. Система пакетной обработки (batch): Torque + Maui.
![Page 10: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/10.jpg)
Программное обеспечение (продолжение)
Рекомендуется для разработки ПО использовать SL4 x86_64 на lxpub01/02. Для совместимости: SL4 i386 на lxpub03; SL3 i386 на lxpub04. Разработка ПО для архитектуры i386 возможна, но не тривиальна. SL3 будет только до конца 2008. Предполагается полный переход на 64-х битную архитектуру.
![Page 11: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/11.jpg)
Программное обеспечение Средства разработки ПО
Компиляторы, компоновщик и отладчик из SL4 версии 3.4.6: gcc; g++; f77; ld; gdb(gcc -v). Дополнительно из SL4: gcc4; g++4; gfortran. Дополнительно от Intel: icc; icpc; ifort; idb (icc -V). Средства разработки Intel дают ~15% повышения производительности ПО.
![Page 12: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/12.jpg)
Программное обеспечение Средства разработки ПО (продолжение)
CERNlib 2006, архитектура x86_64 (gcc4).
ROOT 5.14.00e, архитектура x86_64.
OpenMPI 1.2.5, архитектура x86_64
(компиляторы Intel).
JINRlib (g77, gfortran и ifort).
![Page 13: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/13.jpg)
Программное обеспечение Средства разработки ПО (продолжение)
Практически все -devel- RPM из SL4: glibc; libstd++ и т.д, архитектура x86_64 (некоторые - i386) (file /lib64/libc-2.3.4.so; file /lib/libc-2.3.4.so).
Perl, Python, Tcl, Tk (только x86_64).
Средства разработки для графических
оболочек: xorg; kde; gnome.
![Page 14: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/14.jpg)
Программное обеспечение Средства поддержки - графика
Рекомендуется использовать kde.
Графические оболочки: xorg; kde;
gnone.
Терминал: xterm; konsole.
WWW/FTP: firefox; konqueror; gftp.
Редакторы: gvim; emacs; nedit.
Mail: kmail; thunderbird.
![Page 15: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/15.jpg)
Программное обеспечение Средства поддержки – графика (прод)
Документы: ooffice; acroread; ggv; kpdf; kghostview.
Калькулятор: qalc; kcalc.
Разработка: kdevelop; bluefish (www) .
Текст: Tex/LaTex.
Изображения: gimp; xfig; kuickshow.
![Page 16: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/16.jpg)
Программное обеспечение Средства поддержки - текст
Рекомендуется использовать putty (ssh) для входа из Windows.
WWW/FTP: links; lynx; wget; lftp; pftp.
Редакторы: vim; pico.
Mail: alpine (pine); mutt.
![Page 17: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/17.jpg)
Структурная схема ЦИВКПотоки данных и задач
![Page 18: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/18.jpg)
Организация работы пользователей
Подробное описание – на сайте: http://lit.jinr.ru. Интерактивная работа: lxpub01 -:- lxpub04 – User Interface. Разработка и отладка ПО, не счет. Работа с графикой. Подготовка документации. Mail, WWW и т.п. Интерактивный вход на остальные машины запрещен.
![Page 19: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/19.jpg)
Организация работы пользователей (продолжение)
Все счетные задачи работают через batch систему (qsub, qstat, qpeek, qdel).
Приоритеты и порядок запуска –
планировщик Maui (“умный” алгоритм).
Желательно указывать для batch:
время CPU; RAM; размер scratch.
Как правило: одна задача – 1 CPU.
![Page 20: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/20.jpg)
Организация работы пользователей (продолжение)
Максимальное количество задач пользователя = 170.
Максимальные параметры задач:
CPU=400 часов;RAM=2GB;scratch=25GB.
Параллельные задачи – особый случай.
Примеры задач для batch - на сайте LIT:
http://lit.jinr.ru
![Page 21: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/21.jpg)
Регистрация и ресурсы пользователей
Регистрируются в базе kerberos5. Домашние директории в AFS. Хранение данных в dCache. Возможно выделение дополнительного места в AFS под большое ПО для группы/пользователя. На UI есть scratch: /scr/u/... На счетных машинах задача должна работать в scratch: cd $TMPDIR
![Page 22: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/22.jpg)
Структурная схема ЦИВКПотоки данных и задач
![Page 23: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/23.jpg)
WLCG грид в ЦИВК
ЦИВК имеет общие ресурсы с сайтом WLCG – JINR-LCG2: счетные машины и дисковые массивы в dCache. Единый сервер запуска задач в batch. Интерактивные машины работают как User Interface для WLCG. 16 машин обслуживают инфраструктуру сайта JINR-LCG2. Работают 9 Виртуальных Организаций - VO.
![Page 24: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/24.jpg)
WLCG грид в ЦИВКпользователям грид
Преимущества грид (потенциальные): неограниченные компьютерные ресурсы всего мира. Необходимо: получить сертификат и стать членом Виртуальной Организации. Задачи должны удовлетворять достаточно жестким требованиям: использовать стандартные для грид протоколы.
![Page 25: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/25.jpg)
WLCG грид в ЦИВКиспользование
WLCG работает c ПО промежуточного уровня gLite, версия 3.1. Запуск и проверка заданий: . /opt/ui/etc/profile.d/grid-env.sh (только на lxpub01/02) voms-proxy-init -voms dteam glite-wms-job-submit -a -o t1 t1.jdl glite-wms-job-status -i t1 glite-wms-job-output -i t1
![Page 26: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/26.jpg)
![Page 27: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/27.jpg)
Заключение
Материалы с дополнениниями и примерами будут опубликованы на http://lit.jinr.ru “Вычисл. & Инф. Ресурсы” -> “ЦИВК”. В 20-ых числах февраля все вычислительные и дисковые ресурсы будут не доступны в связи с модернизацией сетевой структуры ЦИВК.
![Page 28: Аппаратно-программная конфигурация ЦИВК](https://reader036.vdocuments.net/reader036/viewer/2022062321/56813f55550346895daa1b55/html5/thumbnails/28.jpg)