v ýpočty v e fyzice částic - projekt atlas

23. 2. 2004 seminář CESNET2 Masarykova kolej

1

Výpočty ve fyzice částic -projekt ATLAS

M. LokajíčekFyzikální ústav AV ČR


2

Úvod

• Experimenty ve fyzice částic• Výpočetní nároky na příkladu

experimentu ATLAS na LHC v CERN• Účast na mezinárodních výpočetních

projektech - GRID• Domácí infrastruktura pro výpočty• Závěr

23. 2. 2004 3

Experimenty částicové fyziky a výpočetní nároky

• Hlavní centra– CERN

• skončen program LEP• příprava programu LHC• urychlovač p-p 7+7 TeV• experimenty ATLAS,

ALICE , CMS, LHCb

– FERMILAB

• běžící program Tevatron, anti-p–p, 1+1 TeV

• experimenty D0 a CDF• objev top kvarku v 1995


4

CERNATLAS

23. 2. 2004 5

• Urychlovač LHC(Large Hadron Collider)– obvod 27 km– 100 m pod zemí– vstřícné svazky protonů

7 + 7 TeV, lumiinosita 1034cm-2s-1

– bunch (shluk) 1011 protonů– srážky každých 25 ns, tj.40 MHz

bunche 7.5 m za sebou při rychlosti světla

– při srážce bunchů 23 srážek proton-proton současně

– spuštění 2007

23. 2. 2004 6

• Detektor ATLAS– délka 44 m

výška 26 mváha 7 000 tun

– současný stav podzemní haly

– části detektorů postupně dopravovány, spouštěny jeřábem a instalovány

– webové kamery a počítačové simulace instalace na http://atlas.web.cern.ch/Atlas/TCOORD/Activities/TcOffice/Scheduling/Installation/ATLASinstallation.html

či sekvence z webových obrázků:

http://home-hep.fzu.cz/fialal/atlasbuild/


7

proton

proton

Vnitřní detektor (měření drah částic)

Kalorimetry (měření energie částic a jetů)

Detektor mionů

Supravodivé magnety

8

Spolupráce ATLAS(Status říjen 2004)

Albany, Alberta, NIKHEF Amsterdam, Ankara, LAPP Annecy, Argonne NL, Arizona, UT Arlington, Athens, NTU Athens, Baku, IFAE Barcelona, Belgrade, Bergen, Berkeley LBL and UC, Bern, Birmingham, Bonn, Boston, Brandeis, Bratislava/SAS Kosice, Brookhaven NL, Bucharest, Cambridge, Carleton/CRPP, Casablanca/Rabat, CERN, Chinese Cluster, Chicago, Clermont-Ferrand, Columbia, NBI Copenhagen, Cosenza, INP Cracow, FPNT Cracow, Dortmund, JINR Dubna, Duke, Frascati, Freiburg, Geneva, Genoa, Glasgow, LPSC Grenoble, Technion Haifa, Hampton, Harvard, Heidelberg, Hiroshima, Hiroshima IT, Indiana, Innsbruck, Iowa SU, Irvine UC, Istanbul Bogazici, KEK, Kobe, Kyoto, Kyoto UE, Lancaster, Lecce, Lisbon LIP, Liverpool, Ljubljana, QMW London, RHBNC London, UC London, Lund, UA Madrid, Mainz, Manchester, Mannheim, CPPM Marseille, MIT, Melbourne, Michigan, Michigan SU, Milano, Minsk NAS, Minsk NCPHEP, Montreal, FIAN Moscow, ITEP Moscow, MEPhI Moscow, MSU Moscow, Munich LMU, MPI Munich, Nagasaki IAS, Naples, Naruto UE, New Mexico, Nijmegen, Northern Illinois, BINP Novosibirsk, Ohio SU, Okayama, Oklahoma, LAL Orsay, Oslo, Oxford, Paris VI and VII, Pavia, Pennsylvania, Pisa, Pittsburgh, CAS Prague, CU Prague, TU Prague, IHEP Protvino, Ritsumeikan, UFRJ Rio de Janeiro, Rochester, Rome I, Rome II, Rome III, Rutherford Appleton Laboratory, DAPNIA Saclay, Santa Cruz UC, Sheffield, Shinshu, Siegen, Simon Fraser Burnaby, Southern Methodist Dallas, NPI Petersburg, Stockholm, KTH Stockholm, Stony Brook, Sydney, AS Taipei, Tbilisi, Tel Aviv, Thessaloniki, Tokyo ICEPP, Tokyo MU, Tokyo UAT, Toronto, TRIUMF, Tsukuba, Tufts, Udine, Uppsala, Urbana UI, Valencia, UBC Vancouver, Victoria, Washington, Weizmann Rehovot, Wisconsin, Wuppertal, Yale, Yerevan

151 institucí ze 34 zemí

Celkem vědeckých autorů 1 700Vědečtí autoři s titulem PhD, či ekvivalentem 1 300


9

10

Software Project Asi 100 lidí


12

Výpočetní model experimentu ATLAS

• Velikosti dat:– Simulovaná data případů 2.0 MB– Raw data 1.6 MB– Event Summary Data (ESD) 0.5 MB– Analysis Object Data (AOD) 10 kB– TAG Data 0.5 kB

• Další parametry:– celková frekvence záznamu případů 160 Hz– Frekvence záznamu případů pro fyziku 140 Hz– tok dat 250 MB/s– nominální doba sběru dat ročně 107 s– orientační počet případů ročně 109 – ročně raw dat - všech dat 2 - 10 PB– doba/případ pro Simulaci 60 kSI2k s – doba/případ pro Rekonstrukci 6.4 kSI2k s

• Zpracování dat v centrech (celkem desetitisíce procesorů po celém světě)– Tier-0 – místo sběru dat – CERN– Tier-1 - velká regionální centra 6 pro ATLAS– Tier-2 - regionální centra 4 na každé Tier-1– Tier-3 - centra spolupracujících univerzit

13

Funkce centra Tier-0• Centrum Tier-0 v CERN musí:

– držet kopie všech raw dat na páskách– držet kalibrační data na discích– provést první rekonstrukci dat v reálném čase– distribuovat ESD’s externím Tier-1 (1/3 dat každému z

6 Tier-1) – neustále 2 diskové kopie• Momentálně se zvažuje:

– zda kopírovat v reálném čase všechna raw data do Tier-1 (druhá kopie bude užitečná pro pozdější opětovné zpracování dat - reprocessing)

– zda reprocessing raw dat na Tier-0 či Tier-1– zda skladovat pásky na policích či v automatických

robotech– způsob archivace simulovaných dat– možnost sdílení výpočetních prostředků s HLT (L2)

a Tier-0• Tier-0 musí být dedikované centrum, jehož

výkon CPU, rychlosti toku dat na disky a pásky odpovídá frekvenci záznamu experimentálních dat


14

Funkce center Tier-1 a Tier-2

• Předpokládáme ~6 Tier-1 center pro ATLAS. Každé bude:– drží 1/3 dat ESD a plnou kopii dat AOD a TAG– (pravděpodobně ) drží na páskách 1/6 of Raw Data– drží na disku 1/3 současně simulovaných ESD a na

pásce 1/6 předchozích verzí– poskytovat služby (CPU a diskovou kapacitu) pro

uživatelskou analýzu (~200 uživatelů/Tier-1)– počítat simulace, kalibrace a reprocessing skutečných

dat• Předpokládáme ~4 Tier-2 na každé Tier-1. Každé

bude:– držet na disku plnou AOD aTAG– (pravděpodobně) držet na disku vybrané vzorky ESD– poskytovat (CPU a diskový prostor) pro uživatelskou

analýzu (~50 uživatelů/Tier-2)– počítat simulace a/nebo kalibrace

Dario Barberis 15

ATLAS Computing Timeline• POOL/SEAL release (done)

• ATLAS release 7 (with POOL persistency) (done)

• LCG-1 deployment (in progress)

• ATLAS complete Geant4 validation (in progress)

• ATLAS release 8

• DC2 Phase 1: simulation production

• DC2 Phase 2: intensive reconstruction (the real challenge!)

• Combined test beams (barrel wedge)

• Computing Model paper

• ATLAS Computing TDR and LCG TDR

• DC3: produce data for PRR and test LCG-n

• Computing Memorandum of Understanding (moved to end 2004?)

• Physics Readiness Report

• Start commissioning run• GO!

2003

2004

2005

2006

2007

NOW


16

Data Challenge 2test systému zpracování dat

• DC2 v roce 2004:– distribuovaná produkce >107 simulovaných případů,

duben – červen 2004– případy (raw data) poslat do CERN do Tier-0– (pravděpodobně) “rychlý” alignment/kalibrace a

(určitě) rekonstrukce dat na prototypu Tier-0 během krátké doby (~10 dní, “10% test toku dat”)

– výsledky rekonstrukce distribuovat do center Tier-1 a provést analýzu na Gridu

• Nový software (vzhledem k DC1 v 2002/2003):– simulace Geant4, pile-up a digitalizace v Athena– nový SW pro správu dat a popis detektoru– POOL persistence– gridová infrastruktura projektu LCG-1/2– produkce a analýza dat v distribuovaném prostředí


18

Projekt LCG

• LCG – LHC Computing Gridprojekt CERNprvní fáze 2002 – 2005

• Úkol – připravit výpočetní infrastrukturu pro simulace, zpracování a fyzikální analýzu dat pro všechny 4 experimenty na LHC– společná infrastruktura knihoven, nástrojů a

rámec pro podporu fyzikálního aplikačního softwaru

– vývoj a uvedení do provozu výpočetních služeb pro skladování a zpracování dat

– vytvoření dávkové a interaktivní služby pro celosvětovou komunitu LHC

Les Robertson 19

Joint with EGEE

Applications Area

Development environmentJoint projects

Data managementDistributed analysis

Middleware Area

Provision of a base set of gridmiddleware – acquisition,development, integration,

testing, support

CERN Fabric Area

Large cluster managementData recording

Cluster technologyNetworking

Computing service at CERN

Grid Deployment Area

Establishing and managing theGrid Service - Middleware

certification, security, operations,registration, authorisation,

accounting

Operational Management of the ProjectLCG

21

Energetická spotřeba procesorů

• Spotřeba energie roste lineárně s výkonem procesoru

• Řízení výkonu procesorů se pravděpodobně neuplatní při nepřetržité práci procesoru při vysokém využití CPU

• Elektrický příkon a chlazení zůstanou významnou částí nákladů.

• CERN plánuje 2.5 MW (+ cooling) for LHC to end 2008 (dnes 800 kW)

Processor performance (SpecInt2000) per

Watt

0

2

4

6

8

10

12

14

16

18

0 1000 2000 3000

Frequency [MHz]

Sp

ec

Int2

00

0/W

att

PIII 0.25

PIII 0.18

PIV 0.18

PIV 0.13

Itanium 2 0.18

PIV Xeon 0.13


22

Účast ČR na LHC

• Hlavní účast ČR na LHC je na projektech ATLAS a ALICE– AV ČR, Univerzita Karlova v Praze a České vysoké učení

technické v Praze– od roku 1993 účast na návrhu a stavbě detektoru– nyní účast na instalaci detektoru, spuštění v roce 2007,

provoz alespoň 10 let– paralelně účast na výpočetních aktivitách projektu

ATLAS, např. v DC– Projekt EU DataGrid (2001-III.2004), projekt LCG (od

2002), projekt EGEE od 2004– Úzká spolupráce s CESNET na projektech Datagrid a

EGEE v oblasti budování výpočetních farem, CESNET poskytuje síťového připojení, certifikační autoritu apod.

23. 2. 2004 23

Výpočetní farma Goliáš –Tier 2• Farma pro výpočty ve

fyzice částic a pro gridové výpočty, umístěna ve FZÚ

– 34x dual 1.13Ghz PIII– 1GB RAM na uzel– 1TB diskové pole– 10TB diskové pole

(3 x 3 TB, spolupráce na vývoji kernelu2.6.0-test9)

– Výkon 34 kSI2000• Plán využití:

50% LCG (ATLAS+ALICE), 50% D0


24

Výpočetní farma Goliáš 2

• Výborné síťové připojení– PASNET – CESNET2 – GEANT

(sdílené 1 Gb/s)– CzechLight (vyhražený 1 Gb/s)

• vyhražené optické spojeníFZÚ – CESNET – Amsterodam (NetherLight) – CERN(BGP pro automatické přepnutí na GEANT v případě testů)

• Amsterodam je připojen též na StarLight v Chicagu, kam má od 2003 přípojku i FNAL, možnost zlepšení spojení Praha - FNAL


25


• Účast na – EDG1/2– LCG1/2– ATLAS, ALICE – DC1/2

DC2 bude využívat LCG2• simulace pro experimenty

– D0 ve FNAL• simulace pro D0 (SAMgrid)• platba poplatků do experimentu pomocí

dodávky potřebných výpočetních služeb


26



27

Závěr• Velké experimenty ve fyzice částic v minulosti

dávaly podnět k rozvoji výkonných výpočetních a síťových prostředků

• Dnes daly impuls k rozvoji distribuovaných výpočtů – realizace gridu – desítky gridových projektů na světě

• ČR se účastní hlavních aktivit LHC jak v oblasti detektorů a fyzikální analýzy, tak na rozvoji a lokální implementaci nových gridových prostředků.

• CESNET z.s.p.o. vytvořil potřebné vysokorychlostní spolehlivé síťové prostředí na špičkové mezinárodní úrovni

• Úzká spolupráce na gridových projektech s CESNET z.s.p.o. je velmi přínosná

v ýpočty v e fyzice částic - projekt atlas

Documents