Biomedical Cluster at King Juan Carlos University

D-Link Enterprise Switches in the computational cluster to deliver maximum computing power to biomedical research focused on unravelling the mechanisms of ageing and cellular reprogramming in humans.

Biomedical Cluster at King Juan Carlos University

D-Link Enterprise Switches in the computational cluster to deliver maximum computing power to biomedical research focused on unravelling the mechanisms of ageing and cellular reprogramming in humans.

PDF herunterladen

Bei diesem Projekt, das über unseren Partner SIE durchgeführt wurde, wurden an der Universität Rey Juan Carlos Enterprise-Switches für maximale Rechenleistung in ein neues Computer-Cluster integriert. Dieses Cluster wird für biomedizinische Forschung genutzt, die Mechanismen der Zellalterung und zellulären Umprogrammierung beim Menschen aufdecken sollen.

Die Herausforderung

Bei dieser Forschung kommen Techniken des Deep Learning und der künstlichen Intelligenz zum Einsatz, deren Algorithmen für maschinelles Lernen mehrere CPU-Knoten (für paralleles Computing) sowie GPUs (für temporäre Raumsimulationsmodelle) und leistungsstarken gemeinsam genutzten Speicher benötigen. Um die geforderte enorme arithmetische und grafische Rechenleistung zu bewältigen, musste ein neues Computer-Cluster aufgebaut werden. Das Forschungsprojekt war zuvor an verschiedenen COVID-19-Maßnahmen beteiligt, weshalb das neue Computer-Cluster sowohl von der Europäischen Union als auch von der Stadt Madrid finanziert wurde.

Die Lösung

Für die Entwicklung des neuen Computer-Clusters und als Anbieter der IT-Infrastruktur wendete sich die Universität unter Leitung von Sergio Muñoz, PhD in Machine Learning und Professor für Biomedizintechnik an der Universität Rey Juan Carlos, an SIE (European Information Systems), ein auf HPC(High Performance Computing)-Lösungen spezialisiertes Unternehmen. Das Unternehmen hat bereits mehr als 60 Cluster an öffentlichen wie privaten Universitäten und Forschungszentren installiert. SIE ist offizieller Partner des D-Link VIP+ Channel Programms. Bei diesem und früheren Projekten, wie dem Cluster am Institute of Theoretical and Computational Chemistry der Universität Barcelona, vertraute SIE auf den Einsatz der D-Link Enterprise-Switches.

Das neue Cluster namens TALOS bietet 512 Ausführungsthreads in CPUs und 221.184 GPU-Kerne. Die Gesamtleistung übersteigt 20.000 TeraFLOPS mit einer Speicherkapazität von 576 TB. Das Cluster nutzt Komponenten von Gigabyte, nVidia und AMD sowie D-Link für den Ethernet-LAN-Switching-Teil, der für das Management und den Zugriff auf das Cluster sowie für die IPMI-Kommunikation erforderlich ist. Alles wird über das HPC Ladon OS 8-Ökosystem verwaltet.

Das Cluster verfügt über eine Dual-Port-Karte für die Management- und Storage-Server mit einem Port, über den die Verbindung mit Infiniband hergestellt wird. Ein weiterer Port sorgt für die Verbindung zu einem der 10 Gigabit-Ports des D-Link DXS-3610-54T/SI Managed Enterprise Switch. Es ist in ein 100-Gigabit-Glasfasernetzwerk integriert, um eine Uplink-Verbindung zum Backbone-Netzwerk der Universität Rey Juan Carlos herzustellen und so maximale Bandbreite für den Zugriff von Computern und Forscherarbeitsplätzen zu gewährleisten. Außerdem musste ein Netzwerk für die IPMI-Management-Kommunikation eingerichtet werden, mit einem D-Link DGS-1210-52 Smart Managed Switch mit 48 Gigabit-Ports und vollständiger Layer-2- und Layer-3-Verwaltung sowie statischem Routing.

Die D-Link DXS-3610 Switch-Serie ist eine Kategorie von Enterprise Managed Switches, die für Top-of-the-Rack- und Campus-Umgebungen sowie Rechenzentren sowie für Netzwerk-Distribution entwickelt wurde. Die Switches können bis zu 12 Einheiten aufnehmen und bieten mit Kupfer- und Glasfasermodellen eine 10-Gigabit-Portdichte sowie sechs Ports für 40- und 100-Gigabit-Glasfaser-Uplinks. Der D-Link DXS-3610 erreicht eine Switching-Kapazität von bis zu 2,16 TB/s.

In einem solch anspruchsvollen Netzwerkschema wie einem Computing-Cluster ist bei den Switches mit 2,16 TB/s höchste Switching-Kapazität erforderlich sowie Redundanz, um einen Netzwerkausfall zu verhindern. Dies gelingt bei dem Modell DXS-3610 dank austauschbarer Lüfter und Hot-Swap-Netzteile und über das Stacking zusätzlicher Backup-Switches. Diese konnten sofort mit Netzwerkverwaltung über Ringtopologien mit ERPS-Funktionalität live gehen.

Im Hinblick auf die Bereitstellung des IP-Netzwerks mit dem DXS-3610 sind die wichtigsten Merkmale die Implementierung eines DHCP-Servers sowie von Inter-VLAN-Routing und dynamischem Routing im Switch selbst. Dadurch werden Engpässe, die durch den Einsatz eines herkömmlichen Routers entstehen könnten, reduziert. Die Switches verfügen über eine Webschnittstelle und einen Konsolenportzugriff für die Verwaltung mittels standardmäßiger Befehle über die Kommandozeile. Darüber hinaus bietet D-Link mit D-View 8 einen fortschrittlichen SNMP-basierten Netzwerkmanager für die vollständige Netzwerküberwachung in Gerätetopologien mit hoher Dichte.

Ergebnis

Der verantwortliche Projektmanager an der Universität, Sergio Muñoz, sagt: „Wir benötigten maximale Rechenleistung im Cluster, aber auch Flexibilität beim Zugriff von unseren Computern aus. Die integrierte Lösung hat diese beiden Aspekte und noch mehr erfüllt.“ Raúl Díaz, Gründer und Projektmanager bei SIE, sagt: „In einem Computer-Cluster dieser Größe darf man das IP-LAN-Switching nicht vernachlässigen. Deshalb verlassen wir uns auf D-Link Switches. Sie haben sich in diesen anspruchsvollen und kritischen Umgebungen als hochleistungsfähig und zuverlässig erwiesen.“ Und fügt hinzu: „Darüber hinaus bietet die direkte Beratung des Herstellers zusätzlichen Mehrwert bei Projekten dieser Größenordnung.“

Biomedical Cluster at King Juan Carlos University

D-Link Enterprise Switches in the computational cluster to deliver maximum computing power to biomedical research focused on unravelling the mechanisms of ageing and cellular reprogramming in humans.