1Nexans Cabling Solutions

Top of Rack Switching vs. Strukturierte Verkabelung

Martin RottmannDipl.-Wirt.Ing.

 

2

Agenda

Einleitung

Überblick der Top of Rack Switching Topologie

Nachteile der Top Of Rack Tolpologie

Cost Of Ownership

Welche Kategorie in der passiven Kupfer Verkabelung

 

3

Server

LC –LC Fibre Uplinks

Access Layer

SwitcheAggregation Layer Switch

RJ45 Patchkabel

Top of Server Rack SwitchingLAN Konfiguration Grundlagen

• Jedes Server Rack beinhaltet einen 48 Port Top of Rack Switch

• Der TOR Switch ist direkt den im Rack befindlichen Servern zugeordnet

• Je nach Anzahl der Server kann ein weiterer Switch hinzugenommen werden

• Die Verbindungen zwischen dem TOR Switch und den Servern erfolgt durch RJ45 Patchkabel

• Die Verbindungen zwischen dem Access Switch (TOR Switch) und dem Aggregation Layer Switch erfolgen durch Rack zu Rack Interconnection oder durch einen Cross Connect Bereich

MPO–MPO rack-rack interconnect

 

4

End of Server Row SwitchingLAN Configuration

Access Layer Switch

Cross Connect

Server

Server

Cross ConnectBereich

End Of Row switch • Beinhaltet einen high Density Switch m Ende der Serverreihe

• Im Chassis befinden sich 48

Port 1 GE Netzwerkkarten, die bedarfsgerecht skaliert werden

• Typisch für ein 13 He Switch Chassis mit 4 HE für die Lüfter sind 336 Ports

• Jeder Switch Port kann mit jedem Server Port verbunden werden

• Die Server sind durch die horizontale Verkabelung im Druckboden oder Deckentrassen mit dem Switch verbunden

• Verbindungen zwischen Servern und Switchen erfolgen über die passiven Panel im Rack mittels RJ45 Patchkabeln15

Horizontal Panel imRack

 

5

Nachteile der TOR Architektur

 

6

Nachteile der TOR ArchitekturSchlechte Switch Port Auslastung

Anzahl der Server in den Racks variiert während der Nutzungsdauer

dementsprechend variiert die Anzahl der Netzwerkports Beispiel: Rack A hat 20 Server mit jeweils 2 Ethernet

Anschlüssen, Rack B hat 12 Server mit 2 Ethernet Anschlüssen

Wenn jedes Rack einen 48 Port TOR Switch besitzt ergibt das eine Switch Port Auslastung im Rack A von 40 und im Rack B von 24 Schnittstellen

Es bleiben 32 ungenutzte Schnittstellen von 96 möglichen >> dies ist eine inneffiziente Port Auslastung und verschwendetes Anlagevermögen

 

7

Nachteile der TOR Architektur stark erhöhter Energieverbrauch

Ein End Of Row Switch unterstützt bis zu 336 Netzwerkschnittstellen wofür 7 TOR Switches benötigt werden um die gleiche Anzahl an Ports erhalten

Um einen typischen 48 Port TOR switch zu betreiben werden im Vollbetrieb 212 W benötigt dies ergibt 7 x 212W = 1,484W Anschlussleistung um

Um die gleiche Anzahl an Ports in einem End of Row Switch zu betreiben werden 885W benötigt (Cisco 6500 Chassis + 7x X6148 line cards)

Dies bedeutet eine 67% höhere Leistung bei Vollauslastung

Zu bedenken ist ebenfalls dass 7 aktive Komponenten mehr benötigt werden (Redundanz? Notstrom? Services?...)

 

8

Nachteile der TOR Architektur Ineffizinter Energieverbrauch

Beispiel: Rack A 12 Server, B 12 Server, C 14 Server, D 16 Server, E 8 Server, F 10 Server = 72 Server = 144 Network Ports

6 Server Racks mit 48 Port TOR Switches = 288 Ports das bedeutet 144 unbenutzte Switchports 144 unbenutzte Ports bedeuten ca.174W – 348W

verschwendete Leistung (Standby modus ca. 2,8W/port) Schwache PUE (Power Utilisation Efficiency) End of Row Switches können je nach Bedarf mit Line Cards

bestückt werden – 3 Karten unterstützen 144 Ports somit ist die Verschwendung an Ports hier geringer und somit besitzt ein EOR Switch eine bessere PUE

TOR stellt keine umweltfreundliche Lösung dar

 

9

Nachteile der TOR Architektur mehr Services & großer operativer Aufwand

TOR Switche benötigen zusätzliche Recourcen an Wartung, Services wie Upgrades welches zusätzliche Kosten verursacht.

 

10

Nachteile der TOR Architektur Teuer & kaum Upgrademöglichkeiten

TOR Switche sind nicht modulare Einzelplatzgeräte und können nicht auf Schnittstellen mit erhöhter Bandbreite aufgerüstet werden wie ein EOR Switch

Ein Upgrade von ein auf zehn Gbit erfordert den kompletten Austausch des Systems gegen ein 48 port 10 GE TOR Switch, auch wenn aktuell nur einzelne Server die Bandbreite benötigen

Fast alle Backplanes der chassisbasierenden Switche haben eine 100 Gbit Backplane und ermöglichen so den Einsatz von 10 Gbit Karten, je nach Bedarf

Legacy line cards z.B.. 10/100/1000 in End of Row Switchen können mit geringerer Bandbreite weiterbetrieben werden, während Servicearbeiten auf ihnen ausgeführt werden

 

11

Nachteile der TOR Architektur System Configuration Flexibility

Die TOR Systeme können nicht einfach konfiguriert werden, um eine Verbindung zwischen 2 Punkten zu schalten

Benötigen Routing Routinen durch zahlreiche Systeme hindurch, welches die Performance des Netzes verschlechtert bedingt durch Latenzzeiten, Überlastungen (network congestion)

TOR benötigt nach Möglichkeit Server, die räumlich nah beieinander installiert sind, welches die Bildung von Hotspots im RZ fördert

End of Row Switching mit einem cross Connect Bereich erleichtert die Verbindung beliebiger Punkten innerhalb des Netzwerkes

Ermöglicht es Server zu zentralisieren oder gleichmäßig zu verteilen und vermeidet somit die Bildung von Hotspots im DC

 

12

Nachteile der TOR Architektur Cost Of Ownership – hoher Energieverbrauch

Vergleich der Konzepte

212W pro TOR Switch 7 x TOR Switche = 1484W Gesamtkosten für Strom

pro KW Anschlussleistung im Jahr876€ (KWh=0,10€ 1Jahr=8760h)

1,484 kW x 876€/KW = 1299,98€

für TOR Switche

End of Row line card X6148-GE-TX = 105W

7 x line cards = 735W End of Row Chassis plus

Ventilator = 150W Gesamtleistung EOR

Switch = 885W Kosten pro KWh/Jahr=

876Euros x 0,885 = 775,26€

TOR Lösung End of Row Lösung

Delta: TOR ist 67% teurer als EOR Switching

 

13

Disadvantages of TOR TopologyTotal Cost Of Ownership

TOR Solution TOR Switch 4948-10GE =

7.038€ 7 x TOR Switches à 7.038€

= 49.266€

End of Row Solution End of Row C6509-E-FAN =

3.996€ 48 port line cards = 3.640€ x

7 25.486€ 8 x 10G Base SR up-links =

6.714€ Supervisor module = 6.310€ Gesamtkosten EOR Switch =

38.924€

Delta = Euros 10.342

 

14

Disadvantages of TOR TopologyTotal Cost Of Ownership

TOR SolutionPower = 1.299€Hardware = 49.266€Total = 50.565€

End of Row SolutionPower = 775,26€Hardware = 38.924€Total = 39.699€

Delta = 10.866€Mehrkosten für 336 Netzwerk Ports = Euros 32 pro

Port

 

15

Anmerkung zur COO in der Praxis

Das Modell nimmt eine Auslastung der Ports von 100% an

Dies würde für 24 Server pro Rack reichen (336 Ports/7 Racks = 48 Ports/Rack = 24 Server (bei 2 Schnittst./Server)

Laut Markstudien befinden sich durchschnittlich ca. 14 Server in einem Rack = 28 Netzwerk Ports

Wenn das Model dies berücksichtigt verändert sich der COO beträchtlich (336Ports/28 Serverports = 12 Racks)

=>12 TOR Switche werden benötigt, da 12 Racks End of Row Switch bleibt unverändert

 

16

Cost Of Ownership ModelBasierend auf 14 Server pro Rack

TOR Solution End of Row SolutionPower = 775,26€Hardware = 38.924€Total = 39.699€

Power = 1.671€* Hardware = 84.456€ Total = 86.127€

* Angepasst für unbenutzte Ports, Verbrauch 159W anstatt 212W bei Vollast

Delta = 46.428€

Mehrkosten für 336 Netzwerk Ports = 138 Euro pro Port

 

17

Zusammenfassung COO Modell

Kosten für einen Link strukturierte Verkabelung im RZ im Schnitt 50€ (Kat. 6A Buchse/Kat. 7A Kabel inkl. Installation)

Dies würde bei 32€ pro Port bei 100% Vollauslastung Einen Vorteil für TOR Switching gegenüber EOR

Switching bieten ABER: 100% Portauslastung ist nicht die Realität Basierend einer statistischen Auslastung von 14 Ports

pro Rack laut Studie beträgt der Portpreis für TOR Switching138€

Dies bedeutet bei 50€ pro Link einen Vorteil von 38€ pro Link*

* Dabei sind noch keine laufenden Kosten für Services der aktiven Systeme berücksichtigt.

Die

Betrachtung gilt nur für das erste Jahr der Anschaffung

 

18

Welche Kategorie der Strukturierten Verkabelung?

Überlegungen: Warum wird TOR Switching favorisiert?

Es muss schnell auf Geschäftsanforderungen reagiert werden (z.B. schnelles Roll-out von Serversystemen)

Wachstum ist unberechenbar (in manchen Geschäfts- feldern mehr in anderen weniger)

Zeitaufwand und Kosten bei Nachverkabelung sind extrem aufwendig

 

19

Welche Kategorie der Strukturierten Verkabelung?

Systeme mit hohen Anforderungen sind verfügbar: Geschäftsfelder mit unberechenbaren aber hohen

Wachstum an Servern sollten auf das Unerwartete ausgelegt werden um sicherzustellen das das System belastbar genug ist um damit auch in Zukunft fertig zu werden

Die Bandbreiten werden durch die Server Virtualisierung weiter teilweise unberechenbar wachsen

Betriebsstörungen durch Nachverkabelungen sind kostenintensiv, neue Kabel erfordern mehr Platz in Kabelrinnen oder Böden usw.

 

20

Um dies zu vermeiden empfiehlt Nexans das LANmark-7A Verkabelungssystem:

Höchste Bandbreitenansprüche, gutes Preis- Leistungsverhältnis

Zukunftssichers Netzwerk (verlängerte Nutzungsdauer welche Betriebstörungen verhindert)

 

21

Vielen Dank für Ihre Aufmerksamkeit!

Nexans Cabling Solutions

Martin Rottmann