german vmug usercon den 16. juni 2016 -...
TRANSCRIPT
![Page 1: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/1.jpg)
German VMUG UserCon den 16. Juni 2016
![Page 2: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/2.jpg)
![Page 3: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/3.jpg)
Benjamin Ulsamer• Teamleiter Consulting / Teamlead
Virtualization & datacenter fairy ;)
• teamix GmbH, Nürnberg
• Mail: [email protected]
• Twitter: @BenjaminUlsamer
• Blogs: benjaminulsamer.wordpress.comblog.teamix.demynetapp.de
• Xing, LinkedIn
![Page 4: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/4.jpg)
Es kommt nicht immer auf die Größe an…
Das kleinste, hochverfügbare, tragbare Hyper-Converged-Datacenter der Welt?!
![Page 5: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/5.jpg)
Introduction
• teamix GmbH - Systemhaus & Cloud Anbieter mit Hauptsitz Nürnberg (Zweigstellen: Mainz, München, Bayreuth)
• Solide IT-Infrastruktur (Compute, Network, Storage)
• Senior Consultant / Trainer – Kernthemen Storage (NetApp) & Virtualisierung (VMware) seit über 10 Jahren
• Technologieverantwortlicher im Bereich Virtualisierung
• VMware VSP, VTSP & VCP (seit 3.x)
![Page 6: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/6.jpg)
Agenda
• Die Idee hinter Hyper-Converged & Software defined storage
• Vorteile von Hyper-Converged Lösungen
• Potential von Hyper-Converged
• Lessons Learned (VMware Virtual SAN)
![Page 7: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/7.jpg)
Agenda
• Die Idee hinter Hyper-Converged & Software defined storage
• Vorteile von Hyper-Converged Lösungen
• Potential von Hyper-Converged
• Lessons Learned (VMware Virtual SAN)
![Page 8: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/8.jpg)
Idee• aus 3… mach 2…
![Page 9: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/9.jpg)
Idee• mach 2… mach 1…
![Page 10: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/10.jpg)
Idee• Was tun, wenn im Cluster erschöpft?
Scale up
Scale out
![Page 11: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/11.jpg)
Idee• Was tun, wenn im Cluster erschöpft?
Scale up
Scale out
![Page 12: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/12.jpg)
Idee• Was tun, wenn im Cluster erschöpft?
Scale up
Scale out
![Page 13: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/13.jpg)
Idee• Was tun, wenn im Cluster erschöpft?
Scale up
Scale out
ask your storage vendor…
![Page 14: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/14.jpg)
Idee• VMware Virtual SAN
![Page 15: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/15.jpg)
Agenda
• Die Idee hinter Hyper-Converged & Software defined storage
• Vorteile von Hyper-Converged Lösungen
• Potential von Hyper-Converged
• Lessons Learned (VMware Virtual SAN)
![Page 16: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/16.jpg)
Vorteile (Auszug)
• Einsparung von• Platz
• Kühlung
• Strom
• Verfügbarkeit bauen mit “geringem” Knowhow• Einrichtung mit wenigen Klicks (WebClient)
• automatische Erweiterung möglich
• NFS/iSCSI/FC/FCoE... ach, egal
![Page 17: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/17.jpg)
Agenda
• Die Idee hinter Hyper-Converged & Software defined storage
• Vorteile von Hyper-Converged Lösungen
• Potential von Hyper-Converged
• Lessons Learned (VMware Virtual SAN)
![Page 18: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/18.jpg)
Potential - Anforderungen
• performant
• aber: möglichst günstig
• “abgeschottete” Test-/Demoumgebung
• aber: immer erreichbar oder “mobil” überall einsetzbar
• verfügbar
• aber: wenig administrativer Aufwand
• muss nicht unbedingt supportete Hardware sein
• vorhandene Partner Softwarelizenzen nutzen
![Page 19: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/19.jpg)
Die Lösung
![Page 20: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/20.jpg)
Potential (Beispiel: Intel NUC Cluster) Hardwarekomponenten & Kosten• 3x Intel NUC6I5SYH – 1,8Ghz Dualcore, 1Gbit je 375,-€ brutto
• 6x Crucial SO-DIMM 16GB je 50,-€ brutto
• 3x Samsung 850 EVO Series M.2 SSD - 250GB (!) je 95,-€ brutto
• 3x Seagate Spinpoint 2TB 2,5" SATA je 97,-€ brutto
• 3x 8GB USB-Stick je 10,-€ brutto
• 1x Netgear GS105E Gigabit 5-Port 35,-€ brutto
+ Versand
• Summe: ca. 2.075€ brutto
![Page 21: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/21.jpg)
Potential (Beispiel: Intel NUC Cluster) Dinge, die eh da waren…
• 1x 6er Steckdosenleiste
• 4x 0,5m Netzwerkpatchkabel
• 1x USB-Maus, USB-Tastatur
• 1x Monitor mit HDMI Anschluss
• 1x HDMI Kabel
• 1x USB-Stick als ESXi Installationsmedium
• 1x Client (Notebook) mit VMware Workstation, VMware Converter -ca. 40GB Festplattenplatz
![Page 22: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/22.jpg)
Potential (Beispiel: Intel NUC Cluster)Ablauf der Installation
• Hardware zusammenbauen & verkabeln
• ESXi Installationsstick erstellen• https://rufus.akeo.ie
• BIOS-Settings anpassen• Boot vom Install-USB-Stick
• ESXi Installation & Basiskonfiguration• alle Hardwareteile werden in vSphere 6.0
Update 2 automatisch erkannt
![Page 23: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/23.jpg)
Potential (Beispiel: Intel NUC Cluster)Ablauf der Installation
• vCenter Appliance in VMware Workstation deployen• http://tinyurl.com/zjhvssm (virten.net)
• Cluster erstellen & VSAN aktivieren
• HA, DRS, vMotion, FT usw. konfigurieren
• optional: VCSA per Converter
auf VSAN Cluster migrieren
![Page 24: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/24.jpg)
Potential (Beispiel: Intel NUC Cluster)Tipps & Tricks
• keinen Displayport-Monitor verwenden, nur rein HDMI to HDMI
• keine „kurzen“ USB-Sticks verwenden
• Aufpassen, welche SSD als Cache
• VSAN Einstellungen optimieren• http://tinyurl.com/jmxtgfu (virtuallyghetto.com)
• esxcli system settings advanced set -o /LSOM/VSANDeviceMonitoring-i 0
• esxcli system settings advanced set -o /VSAN/SwapThickProvisionDisabled -i 1
![Page 25: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/25.jpg)
Potential (Beispiel: Intel NUC Cluster)Tipps & Tricks
• System logs are stored on non-persistent storage• VMware KB 2032823; syslog.global.loghost - udp://vCenter:514
• Host <xxx> currently has no management network redundancy• VMware KB 1004700; das.ignoreRedundantNetWarning true
• Nested ESXi on top of a VSAN datastore• http://tinyurl.com/hpmuk4d (virtuallyghetto.com)
• esxcli system settings advanced set -o /VSAN/FakeSCSIReservations -i 1
![Page 26: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/26.jpg)
Potential (Beispiel: Intel NUC Cluster)Was kann man damit machen?
• Beta Versionen (z.B. vSphere 6.5) testen
• Flings ausprobieren (z.B. HTML5 Client)
• Funktionen & Updates testen (“nested” Setups)
• Backup- und DR-Szenarien testen (Replication, HA, FT)
• 3rd-Party-Integration kennenlernen (NexentaConnect for VSAN)
![Page 27: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/27.jpg)
Potential (Beispiel: Intel NUC Cluster)Was kann man damit machen?
![Page 28: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/28.jpg)
Potential (Beispiel: Intel NUC Cluster)Was kann man damit machen?
• viele Iops ;)
![Page 29: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/29.jpg)
Potential (Beispiel: Intel NUC Cluster)Was kann man damit machen?
• Strom sparen• http://tinyurl.com/hnav3fa (virten.net):
“i3 NUC, M.2 SSD and a SATA 2.5″ SSD:
the average consumption is about 30W.
30 watt * 24 h * 30 (days) =
21,6 KWh * 0,25€ = 5,40€”
• Kühlung (passiv) und Platz (20x 20x 20cm)
• Überall mit hin nehmen und zeigen• teamix mobile Datacenter in a Box ;)
![Page 30: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/30.jpg)
Agenda
• Die Idee hinter Hyper-Converged & Software defined storage
• Vorteile von Hyper-Converged Lösungen
• Potential von Hyper-Converged
• Lessons Learned (VMware Virtual SAN)
![Page 31: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/31.jpg)
Lessons Learned (VMware Virtual SAN)
• Einrichtung ist einfach
• aber: Konzepte verstehen,
• sorgfältig planen,
• sauber sizen...
![Page 32: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/32.jpg)
Lessons Learned (VMware Virtual SAN)
• Voraussetzungen & Limits kennen
• Dedup & Komprimierung: AllFlash & Adv. Lic
• RAID-5: mind. 4 Nodes, AllFlash & Adv. Lic
• RAID-6: mind. 6 Nodes, AllFlash & Adv. Lic
• Stretched Cluster: Mindestanzahl Nodes & Enterprise Lic
• virtuelle Disks größer als 2TB möglich, aber...
• Virtual SAN vs. Enterprise Storage File-, Backup-, DR-Services
• max. Größe von Disk-Groups, Stripe Sizes, Overhead...
![Page 33: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/33.jpg)
Lessons Learned (VMware Virtual SAN)
• Hardware
• VSAN HCL Komponenten, niemals unsupportete HW verwenden
• VSAN Ready Nodes sind gut zur Orientierung, customize it!• CPU-Taktungen, Preis-Leistung der Komponenten, 1x Dualport 10Gbit (SPOF),
5% Cache Größe vs. 10% Best Practice vs. Working Set
• Kapazitätsdisks: bevorzugt SAS verwenden
• Preis: Commodity Hardware AllFlash vs. Enterprise Hardware Hybrid
• zusätzliche lokale Disk (für z.B. Logfiles, agentless Security)
• “halbe” Hosts?! (1HE, 1 Socket)
![Page 34: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/34.jpg)
Lessons Learned (VMware Virtual SAN)
• Testen, um zu wissen, was passiert, wenn es passiert...• Wie fahre ich die Umgebung komplett herunter und wieder an?
• Ausfallszenarien? Impact on running VMs? Create new VMs? Power on/off VMs?
Systems
Host failure ? ? ?
vCenter failure ? ? ?
Quorum failure ? ? ?
Disks
Cache disk failure ? ? ?
Capacity disk failure ? ? ?
Network
"frontend" network failure ? ? ?
VSAN network failure ? ? ?
"Split brain" szenario ? ? ?
Network connection to cloud failure ? ? ?
![Page 35: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/35.jpg)
Lessons Learned (VMware Virtual SAN)
• Primary use cases
• VDI
Site A Site B
• Test & Entwicklungsumgebung
• DR-Ziel
![Page 36: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/36.jpg)
Lessons Learned (VMware Virtual SAN)
• Primary use cases
• DMZ
• Zweigstellen (2-Node-ROBO)
![Page 37: German VMUG UserCon den 16. Juni 2016 - …people.teamix.net/~bu/Intel-NUC-VMware-Virtual-SAN/VMUG-2016... · •VMware VSP, VTSP & VCP (seit 3.x) ... Scale out ask your storage vendor](https://reader031.vdocuments.net/reader031/viewer/2022022018/5b914b9509d3f204338b4597/html5/thumbnails/37.jpg)
Benjamin Ulsamer• Teamleiter Consulting / Teamlead
Virtualization & datacenter fairy ;)
• teamix GmbH, Nürnberg
• Mail: [email protected]
• Twitter: @BenjaminUlsamer
• Blogs: benjaminulsamer.wordpress.comblog.teamix.demynetapp.de
• Xing, LinkedIn
Danke für die Aufmerksamkeit