Biomedical Cluster at King Juan Carlos University

D-Link Enterprise Switches in the computational cluster to deliver maximum computing power to biomedical research focused on unravelling the mechanisms of ageing and cellular reprogramming in humans.

Biomedical Cluster at King Juan Carlos University

D-Link Enterprise Switches in the computational cluster to deliver maximum computing power to biomedical research focused on unravelling the mechanisms of ageing and cellular reprogramming in humans.

Télécharger le PDF

Dans ce projet réussi, mené par notre partenaire SIE, nous avons intégré des switches Enterprise dans un nouveau cluster informatique, installé à l’Université du Roi Juan Carlos pour offrir une puissance informatique maximale à la recherche biomédicale, axée sur les mécanismes de vieillissement cellulaire et de reprogrammation chez l’homme.

Le défi

Cette recherche utilise des techniques d’apprentissage profond et d’intelligence artificielle, avec des algorithmes d’apprentissage automatique nécessitant plusieurs noeuds CPU (pour faire de l’informatique parallèle), plus des GPU (pour les modèles de simulation spatiale temporaire) et un stockage partagé haute performance. Il a donc été nécessaire de construire un nouveau cluster informatique capable de faire face à l’énorme puissance informatique arithmétique et graphique exigée par la recherche. Le projet du nouveau cluster informatique financé à la fois par l’Union européenne et la Communauté de Madrid a également été impliqué dans diverses actions liées à la COVID-19.

La solution

Le développement du nouveau cluster informatique, mené par Sergio Muñoz, PhD en machine learning et professeur d’ingénierie biomédicale à l’Université Rey Juan Carlos, a fait appel à SIE (European Information Systems), société spécialisée dans les solutions HPC (High Performance Computing), comme fournisseur de l’infrastructure informatique. Elle a déjà installé plus de 60 clusters informatiques dans des universités et des centres de recherche, tant publics que privés. SIE est un partenaire officiel du programme de canaux VIP+ de D-Link et a fait confiance aux switches d’entreprise D-Link dans ce projet et dans des projets précédents, comme le cluster de l’Institut de chimie théorique et informatique de l’Université de Barcelone.

Le nouveau cluster informatique, appelé TALOS, offre 512 threads d’exécution dans les processeurs et 221 184 coeurs GPU. La puissance totale dépasse 20 000 Tflops, tandis que le stockage s’élève à 576 To. Il intègre des composants Gigabyte, nVidia et AMD, y compris D-Link pour la partie de commutation Ethernet LAN requise pour la gestion et l’accès des clusters, ainsi que les communications IPMI. Le tout géré via l’écosystème HPC Ladon OS 8.

Le cluster dispose d’une carte à double port pour les serveurs de gestion et de stockage, avec un port permettant la connexion à Infiniband et l’autre connecté à l’un des ports 100 Gigabit du switch D-Link Managed Enterprise DXS-3610-54T/SI. Il est intégré dans un réseau connecté par fibre 100 Gigabits pour une liaison montante vers le réseau dorsal de l’Université King Juan Carlos afin d’assurer une bande passante maximale pour l’accès depuis les ordinateurs et les postes de travail des chercheurs. Il a également été nécessaire de créer un réseau pour les communications de gestion IPMI en installant un switch géré smart D-Link DGS-1210-52, avec 48 ports Gigabit et une gestion complète Layer 2 et 3 avec routage statique.

La série de switches DXS-3610 de D-Link est une catégorie de switches d’entreprise administrables conçus pour les environnements haut de gamme, les campus et les centres de données, ainsi que la distribution. Il est possible d’empiler jusqu’à 12 unités de haut, possédant une densité de ports de 10 Gigabits, avec des modèles en cuivre et en fibre, ainsi que six ports pour des liaisons montantes en fibre 40 et 100 Gigabits. Le D-Link DXS-3610 atteint une capacité de commutation allant jusqu’à 2,16 Tbit/s.

Dans un schéma de réseau aussi exigeant qu’un cluster informatique, il était nécessaire d’avoir le plus haut niveau de capacité de commutation pour les commutateurs, atteignant 2,16 Tbit/s. Une redondance élevée est également nécessaire pour éviter toute panne de réseau, ce qui est atteint physiquement dans le DXS-3610 à la fois avec des ventilateurs interchangeables et des alimentations électriques remplaçables à chaud, ainsi qu’avec l’empilage physique de commutateurs de secours supplémentaires. Ceux-ci seraient mis en service instantanément avec la gestion du réseau via des topologies en anneau utilisant la fonctionnalité ERPS.

En ce qui concerne le déploiement du réseau IP avec les DXS-3610, les caractéristiques les plus notables sont la mise en oeuvre du serveur DHCP, du routage Inter VLAN, ainsi que le routage dynamique dans le switch lui-même, réduisant ainsi les goulots d’étranglement qui pourraient être générés par l’utilisation d’un routeur conventionnel. En termes d’administration, ils disposent d’une interface web et d’un accès au port de la console pour l’administration en utilisant la norme CLI pour les commandes. En outre, pour une surveillance complète du réseau dans des topologies d’appareils à haute densité, D-Link propose D-View 8, un gestionnaire de réseau avancé basé sur SNMP.

Résultat

Le chef de projet de l’université, Sergio Muñoz, a commenté : « Nous avions besoin d’une puissance de calcul maximale dans le cluster, mais aussi d’agilité dans l’accès depuis nos ordinateurs, et la solution intégrée a plus que répondu à ces deux attentes. » De son côté, Raúl Díaz, fondateur et chef de projet chez SIE, déclare : « Dans un cluster informatique de cette taille, on ne peut pas négliger la partie commutation IP LAN, c’est pourquoi nous nous appuyons sur les switches D-Link, qui ont prouvé leurs hautes performances et leur fiabilité, indispensables dans ces environnements exigeants et critiques ». Raúl d’ajouter : « De plus, les conseils directs du fabricant ajoutent une valeur supplémentaire lorsque nous sommes confrontés à des projets de cette taille »