Big-Data-Cluster Galaxy

Architektur

Der Galaxy-Cluster besteht aus 90 Supermicro-Servern mit über 1.000 Cores, über 11 Terabyte RAM und über 2 Petabyte Speicher. Für Spezialanwendungen stehen auf einem Teil der Server zudem IO-optimierte SSD-Festplatten sowie Hochgeschwindigkeits-datenübertragung auf Basis von InfiniBand zur Verfügung.

Der Cluster entspricht einer Shared-Nothing-Architektur und ist für massiv parallele Berechnungen auf Basis aktueller Big-Data-Techniken, wie Apache Hadoop, Apache Spark oder Apache Flink, ausgelegt. Er eignet sich insbesondere für Anwendungen, die in einer definierten Rechenzeit auf mehreren Servern ein hohes Datenvolumen parallel verarbeiten. Priorisierte sowie exklusive Nutzungsszenarien für Big-Data-Forschung und Performance-Auswertungen sind möglich.

Konfiguration je Knoten

  • 2x 6-Core CPUs (Intel Xeon E5-2620 v3, 2.4 GHz)
  • 128 GB RAM (DDR4, ECC)
  • 6x 4 TB HD (SATA)
  • 10 GBit/s Ethernet
  • Betriebssystem CentOS 7.6
  • Dateisystem XFS / ZFS

Software

  • Apache Hadoop 2.7
  • Zookeeper 3.4.6
  • Apache Ambari
  • Hortonworks HDP 2.6
  • Apache YARN, slurm
  • Apache Spark / Apache Flink
  • Java 1.8 und 11
  • Docker
  • R

Zugang

Für den Zugang zu den Scientific-Computing-Angeboten wird ein SC-Account benötigt. Mehr Informationen dazu finden sie hier.

letzte Änderung: 30.04.2020

Hilfe

Servicedesk

Der Servicedesk ist zwar aktuell nicht vor Ort für Sie da, trotzdem erreichen Sie uns wie gewohnt per E-Mail oder Kontaktformular, sowie telefonisch unter:

+49 341 97-33333.

Wir helfen Ihnen und beraten Sie gern.

Die telefonische Erreichbarkeit wird derzeit Montag bis Freitag von 9:00 bis 14:00 Uhr im Rahmen der vorhandenen Kapazitäten gewährleistet.

Suche

Flyer