下一代核仪器及设备标准 xtca 进展

下一代核仪器及设备标准 XTCA进展刘振安

中国科学院“核探测技术与核电子学”重点实验室中国科学院高能物理研究所触发实验室

核电子学与探测技术学术年会 2010 年 8 月 14 日

2010年8月14日下一代核仪器及设备标准XTCA 刘振安 2

报告概述 • 标准化在核与高能物理实验中的重要性• 核仪器标准的简史• 核仪器研制的现状及研究• xTCA for Physics 组织架构• 新标准协调委员会 CCTS 及工作组• 新标准制定现状与未来


仪器标准化在核与高能物理实验中的重要性

• 肉眼观察研究：– 光源 / 光线 / 物体 / 眼睛

• 宏观研究：– 宇宙线 / 探测器

• 微观研究：– 宇宙线 /放射源– 加速器 /高能粒子 /靶体 /探测器

物理学研究的两个前沿


实验装置的运行需要复杂的控制以北京正负电子对撞机和北京谱仪为例

直线加速器电子储存环同步辐射束测线北京谱仪

1984.10-1989 。 7

•标准化的加速器控制设备•标准的控制机箱•标准的控制插件


实验装置的运行需要复杂的信号处理与控制

探测装置微弱电信号前端电子学放大、成形

模／数转换

触发判选DAQ ／在线处理

离线分析数据存储

物理过程

粒子

慢控制

•标准化的谱仪控制与数据获取设备•标准的机箱•标准的插件


核仪器标准的简史• 英国卢瑟福实验室于 1960 年代开创核电子学的标准• 欧洲核子研究中心 CERN 和美国实验室同期开展• 美国国家标准局和核仪器插件委员会建立了 NIM标准• 70-80 年代建立了另 2 个标准 CAMAC ， FASTB

US ，并被研究领域得到广泛应用– 核谱测量、粒子物理、医学物理、加速器仪器、加速器控制、航空航天、工业控制等

• 目前这些标准仍在使用，但显局限性• 90年代借用工业标准 VME （ VXI等）• 2000年后 CPCI

• 现在及将来？？• [1] NIM(~’60’s), CAMAC(~’70’s), FASTBUS (~8

0’s) – CAMAC processed as IEEE , ANSI and IEC standards


核仪器研制的现状及研究标准与技术的演变• 标准是有寿命的，但其演化要缓慢温和

– 物理实验中的标准已经有些过时，但很多系统却仍然在使用– 微电子工业的巨大进展需要新的平台来展现他的优点 , 目前的平台已不适应 :

• 高速处理芯片 4Gsps• 集成电路的功能已经把原来插件完成的功能在一片可变成逻辑器件 FPGA中实现• 片上处理器提供了可变成控制和并行数据处理能力• 通用硬件设计配以不同的固件得以实现多种功能设计• 片上串并 / 并串转换能力

3-10Gbps• 需要新的标准

BESIII 通用插件 205Gb/ 秒同步传（ BESIII ）专用总线


电信最新标准简介• 电信领域大多数基于 CPCI 、 VME 总线的处理器系统，总线带宽已经成为制约系统处理能力的瓶颈。 VME64X 的总线带宽为 320Mb/s ，已经不能满足要求高吞吐量、低延迟的系统。随着对更高系统带宽、总线速度、实时性、系统可靠性、温度范围、散热及更小空间等方面越来越高的要求，迫切需要一种新的运算架构来满足信号处理的需求。• PICMG 协会成立了一个 ATCA 委员会，该委员会由代表了工业和电信设备制造商及终端用户的 105 个公司组成，其目标是建立、修改并计划在 2002 年底发布新的规范—— ATCA 。经过 12 个月的奋战，

PICMG3.0规范——先进的通讯计算机构架（ ATCA ）如期发布。• 后来，低成本、小尺寸的应用， PICMG 协会又在 ATCA 构架的基础上提出了 MicroTCA 构架，该技术在 2006 年逐渐成熟，吸引着越来越多人的目光。


ATCA 的系统构成


ATCA 的系统构成

1 个典型的 ATCA 系统包括： 12块刀片模块（ Blades ）、 2 个交换刀片（ Switch Blades ）、 2 个控制刀片（ Control Blades ）、互连背板（ Back Plane ）以及电源（ Power ）、散热等模块。

Blades

Switch Blade

IPMI Management & Power

Control Blade


Blades （刀片模块）

Blades 是 MicroTCA 系统的基本组成部分，通过对这些模块的使用能很容易地实现系统扩展、模块化设计，从而方便地实现各种系统功能。典型的 Blades 有 Computing Blades （计算模块）、 Network Processor Blades （网络通信模块）、 Storage Blades （存储模块）。例如下图是一个 Storage Blade 。


ATCA背板（ Back plane ）

ATCA背板的概念是 ATCA规范的基础，它是所有 ATCA 机箱的构成要素。包括电源输送、模块互连以及 IPMI 模块等等。 ATCA背板能够互连多达 12 个 Blade 模块，和 2 个 Switch 模块（互为冗余）。


散热系统

• ATCA 模块的功率大，其机箱设计具有优良的散热性能，它的散热由位于机箱上方的两片 Control Blade 控制，如左图所示。


高速通信

数据在此交换Switch Blade 插槽Switch Blade 插槽

数据在此交换

• ATCA 设计的重要优势之一就是它出色的通信速率，可以达到数 GB 量级。 • PICMG 3.1-3.5 标准中定义了 5 种通信方式：千兆以太网和光纤传输； Infin

iBand ， StarFabric ， PCI-E ， RapidIO 。


发展迅速 2002 年，发布基本规范； 2003 年，发布背板连接技术 ( 光纤交换 )的扩展； 2006 年，面市。

5 年或者更多时间。

ATCA 的发展历程， 3 年发布

走了大约 10 年；

相同发展道路，对比VME 和 CompactPCI

VME

CompactPCI


核仪器新标准是什么• ATCA

– 优点• 高速 IO 及互连 10Gb/s• 高可用性 HA ~99.999%• 智能管理

• MicroTCA (MTCA)– ATCA 的优点– 半高度

• AdvancedMC （ AMC ）– 小插板

高能物理实验再次借鉴工业标准（电信）？这是一个很好的思路！


高能所：高性能节点计算机的设计– High Performance Comput

e Power: • 5x (Virtex-4 FPGA + 2

Gb DDR2) – ~32Gbps Bandwidth

• 13x RocketIO to backplane• 5x Gigabit Ethernet • 8x Optical Link

– 2 Embedded PowerPC in each FPGA

• Real time Linux

– ATCA compliant– 完成第二板高能所设计的基于 ATCA 和 FPGA 的高性能处理板


国际上其它实验室的相关研究• 德国 DESY 在 XFEL 1 km 电子直线加速器领先设计 (~1/20th an IL

C)– LLRF, 连锁保护，束线仪器– ATCA + MicroTCA

• SLAC 开始用 MTCA 对 3km 电子直线加速器进行更新


欧洲核聚变项目


国际直线对撞机

• 下一代加速 - 国际直线对撞机 (ILC) 要求– 高可用率（ high availability)

• 高数据产生率（ >500Gbps ）• 解决办法 ATCA/MTCA？

– HA ~99.999%– 波特率 10Gbps


谁在用（想用） ATCA？

IHEP


如何衡量一个系统的优劣？


Why xTCA• ATCA 缺点：

– 高 8U ，不适合控制用– 没有后插板– 没有定义子板及信号– 没有定义后插板（ HA ）– 没有控制信号…

• MTCA缺点：– 没有后插板– 没有定义子板及信号– 没有定义后插板（ HA ）– 没有控制信号…

• AMC缺点：– 互联？– 控制信号– 信号管脚定义– … 制定新标准： xTCA for Physics

高能所计算节点板


xTCA for Physics 大事• 2007 年 5 月在 FNAL第一次 ATCA workshop• 2007 年 5 月 IEEE RT07 ATCA 专题• 2008 年初讨论建立新标准的可行性• 2008 年 10 月在 Dresden第二次 ATCA workshop• 2008 年 10 月 IEEE NSS ATCA 专题• 2009 年 5 月高能所第三次 xTCA workshop• 2009 年 5 月 IEEE RT09 ATCA 专题• 2010 年 5葡萄牙里斯本第四次 xTCA workshop• 2010 年 5 月葡萄牙里斯本 IEEE RT1 xTCA 专题


xTCA for Physics 协议标准委员会• 2009 年 3 月 10 日在 PI

CMG 下成立 xTCA for Physics 协调委员会（ CCTS ）– IHEP,SLAC,FNAL,DESY 发起单位– 40 多厂商参加– 选举产生了事务人员

• 主席： SLAC Ray Larsen• 会议秘书：三环公司　 Au

gustus Lowell• 文件编辑：高能所刘振安


CCTS 的路线图 • 组织工作组每周开技术讨论电话会• xTCA for physics

– Extensions to specifications 协议文本的起草– Guidelines 设计指引– Open source solutions 开源软件的编制– Building on existing xTCA base under PICMG ru

les 依照 PICMG规则构建 xTCA骨架– Spec approval by PICMG membership PICMG成员验收 – Collaborating with industry for product developm

ent & support 工业界的密切合作


xTCA 标准的工作组及任务• 物理需求调研组：

– Physics User Survey Task Group• 硬件工作组 WG1 ：

– Physics xTCA I/O, Timing and Synchronization Working Group

• 软件工作组 WG2 ：– Physics xTCA Software Architectures &

Protocols Working Group


硬件组 WG1 的任务• 硬件协议范围

1. ATCA Rear Transition Module Interface for IO2. ATCA Carrier Boards for AMC’s w/ Rear IO (2)3. AMC (Advanced Mezzanine Cards) w/Rear IO

(2)4. MTCA (MicroTCA) Chassis w/ Rear IO (2)5. ATCA/MTCA Clock & Trigger Distribution (2)


1. ATCA 后插板 3区概念Keying Pins64 codesPower &SystemManagement

AlignmentSocket

RTM

70 mm

Data Connectors


2a. Carrier w/ Stacked AMC’s IO

Board-to-BoardConnection

Zone 3Connector

Zone 3Feed-Thru

AMC

AMC

AMC

AMC

Stacked connector

Standard AMC board

AMC IO board

Courtesy R. Downing, SLAC


2b. Carrier Concept for 1 or 2- Wide AMCIO Zone 3 from/to RTMMechanical Key

Standard Fabric to backplane

Power

Up to:10 standard singles4-double high w/IO3 double wide w/IO


3a. Stacked 1-wide AMC w/ IO

µRTM

IO

Feed-thru AMC Connection

Standard AMC Connector

Board-to-BoardConnection

•Stacked AMC Board(s)

IO

•Stacked boards and connector•IO confined to second board•Superior analog grounding, •shielding, crosstalk isolation

Dwg. Courtesy R. Downing, SLAC

(From DESY LLRF Design)

µRTM Option


3b. 2-Wide AMC w/IO

µRTM

IO

IO

Analog ground areas

Digital ground area

Dedicated IO connector

AMC standard connector

(Design for Carrier or MTCA w/ Rear IO)


4a. 1-Wide Stacked AMC in MTCA

AMC Panels 2-high (vs. 1.5) w/ alternate slots dedicated to analog & IO

Full size RTM option


4b. 2-Wide 12 Payload AMC MTCA

Clo

ck &

Tim

ing

Mod

ule

Inte

rlock

Out

put

Mod

ule

Optional

Rear IO viaµRTM’s

PowerUnit


5a. ATCA 中的时钟与触发• 背板时钟与触发信号的分配－总线方式与星型连接方式• 星型缓存器扇出，提供亚皮秒的稳定性，减小热插拔对定时的影响• 提供更强的网状连接的可能性• 低精度时钟与触发信号需求时提供总线方式，标准的双星型连接区


5b. MTCA 中的时钟与触发• 与 ATCA类似的理念，但较少的可选项• 建议利用现存的双星型连接线，避免复杂性• 一般稳定性要求与 ATCA 一致• MCH 管理插件


软件工作组 WG2 任务• 主要目标

–跨实验室调研物理实验中高互用、高可用、性能高的软件系统– 调研可用于高可勇物理实验系统的现存 ATCA开源软件开发　– 为快同步系统中实时低时滞协议开发通用指引– 为减小开发时间，提高互用性，开发并提供模拟－数字应用中的通用 API 接口


软件工作组 WG2 任务２• 互用性

– Develop Generic API’s and Protocols for:• Management of real-time DAQ & machine control components• High rate & low latency transactions• Management of resources within xTCA network

• 可用性– Define mechanisms for management of redundancy, hot swap a

nd auto-failover– Develop IPMI architecture to include LAN access for managing d

istributed FPGA controls environment• 性能

– Standardize environment, use available standards to save development time

– Efficient communications from high speed point-to-point to full network levels


现状小结• 最优先的项目

1. ATCA RTM 2. 2-wide AMC, MTCA Chassis w/ µRTM 3. AMC Single wide 2-stack AMC’s on ATCA Carrier4. MTCA 1-wide stacked AMC w/ µRTM

• 进展正常• 硬件目标

– 协议规范文本 , 原形提交 2010　 2/3 季度– 协议规范文本 , 原形通过 2010　 3/4 季度

• 软件– 开发了支持环境与演示程序– 建立长期目标与路线图


第二步任务• 设计后插板原形样机 :

– 验证协议文本的有效性–检验演示 xTCA 系统中的原形样机满足使用系统地要求– 演示可用性、互用性等特性记忆智能管理插件的性能，使厂家和用户双方受益

2010 年底提出标准草案


中国同行的合作、贡献• 第一个中国同行参与制订的核仪器标准• xTCA for Physics 不是仅限于核物理 / 高能物理，也可应用于工业控制， China-PIC

MG 很感兴趣• 欢迎中国同行积极参加 xTCA 协议项目

– 制定– 研究–项目应用


感谢大家的耐心I. 参考资料

– http://www.picmg.org/pdf/PICMG_Physics_Public_Web_Update_061209_R5-3.pdf

http://www.picmg.org/pdf/PICMG_Physics_Public_Web_Update_061209_R5-3.pdf

http://www.picmg.org/pdf/PICMG_Physics_Public_Web_Update_061209_R5-3.pdf


后备片


Possible ScenariosMTCA with Rear IO• Labs place early orders for common spec items t

o industries via RFP’s (Request for Proposal) if item does not already exist, or RFQ (Request for Quotation) if similar item already is manufactured.

• Need to develop at least 2-3 industry sources of each basic infrastructure item– Shelf with backplane, 2-wide with μRTM– Shelf with power and cooling– Shelf with MCH, IPMI, power & cooling


Joint Orders

• Founding Labs collaborate on multiple prototype orders to raise numbers ordered, offset NRE costs (SLAC, DESY, FNAL, IHEP, IPFN)

• FL’s offer prototype order opportunities to new labs not already members – BNL, LBNL, LLNL,LASL, Argonne, JLAB,

SNS, CERN, Saclay, Rutherford, KEK, + too many light sources to count


Applications Modules• No joint order approach to prototypes is possible

on the module & xRTM side until we develop common specifications for generic modules, e.g.– Multichannel 16-bit slow and fast ADC-DACs with FP

GA processor on board– Generic xRTM’s with signal conditioning suitable for c

ombination of RF, BPM and slow interlock channels– Generic clock and trigger solution modules for both A

TCA, MTCA– Generic 1-wide stack AMC Carrier with ATCA RTM R

ear IO


Systems Demonstrations

• Assuming successful collaboration on a number of key prototypes, lab-industry should jointly develop systems demos showing interoperability of modules from different vendors

• Show at workshops, conferences, exhibits– Main development issue: Interoperable

software interfaces to generic modules designed to common API, HPMI, IPMI specs


ATCA 协议综述• ATCA包含一系列规范。• 核心规范（ PICMG 3.0 ）定义了 ATCA 系统的机构、电源、散热、互联、系统管理等内容。• 辅助规范则定义了在核心规范中互联的传输方式。

PICMG 3.0核心规范PICMG 3.1千兆以太网和光纤传输

PICMG 3.2InfiniBand 传输

PICMG 3.3StarFabric 传输

PICMG 3.4PCI-E 传输

PIC3.5RapidIO 传输


实验室在国际新标准 xTCA for Physics 项目中发挥作用

• 参加 2007 年 5 月在 FNAL第一次 ATCA workshop• 2007 年 5 月 IEEE RT07 AT

CA 专题• 2008 年初讨论建立新标准的可行性• 参与组织 2008 年 10 月在 Dre

sden第二次 ATCA workshop• 2008 年 10 月 IEEE NSS AT

CA 专题• 主办 2009 年 5 月在高能所的第三次 xTCA workshop• 组织 2009 年 5 月 IEEE RT20

09 NSS ATCA 专题

• 2009 年 3 月 10 日在 PICMG 下成立 xTCA for Physics 协调委员会（ CCTS ）– IHEP, SLAC,FNAL,Juelich 发起单位– 40 多厂商参加– 推举产生了事务人员

• 主席： SLAC Ray Larsen• 会议秘书：三环公司　 Augustu

s Lowell• 文件编辑：高能所刘振安

• 目前重点实验室成立了项目小组参加– 每周技术讨论– 硬件技术验证


软件组 WG2 进展• 入门联系软件

– Series of tutorials from industry and lab experts ongoing– IPMI, HPM1.1, LAN-based IPMI, SRIO & PCIe vs. GbE protocols,

OpenSAF etc.• 物理实验的通用 API’s

– Framework proposed for Embedded Machine Control Protocol for physics

– Includes integration of features found in various standards optimized for physics (e.g. VXI, SCPI, IVI…)

– Includes virtual ADC example of hardware independent specification

• 总结现有样机系统的经验– Study of ongoing systems initiatives at DESY, SLAC, IPFN (JET &

ITER) to help frame requirements, provide test beds

STATUS: Studies continuing on protocols, architecture, existing tools

下一代核仪器及设备标准 xtca 进展

Documents