Big-Data-Cluster Galaxy

Architektur

Der Galaxy-Cluster besteht aus 90 Supermicro-Servern mit über 1.000 Cores, über 11 Terabyte RAM und über 2 Petabyte Speicher. Für Spezialanwendungen stehen auf einem Teil der Server zudem IO-optimierte SSD-Festplatten sowie Hochgeschwindigkeits-datenübertragung auf Basis von InfiniBand zur Verfügung.

Der Cluster entspricht einer Shared-Nothing-Architektur und ist für massiv parallele Berechnungen auf Basis aktueller Big-Data-Techniken, wie Apache Hadoop, Apache Spark oder Apache Flink, ausgelegt. Er eignet sich insbesondere für Anwendungen, die in einer definierten Rechenzeit auf mehreren Servern ein hohes Datenvolumen parallel verarbeiten. Priorisierte sowie exklusive Nutzungsszenarien für Big-Data-Forschung und Performance-Auswertungen sind möglich.

Konfiguration je Knoten

  • 2x 6-Core CPUs (Intel Xeon E5-2620 v3, 2.4 GHz)
  • 128 GB RAM (DDR4, ECC)
  • 6x 4 TB HD (SATA)
  • 10 GBit/s Ethernet
  • Betriebssystem CentOS 7.3
  • Dateisystem XFS / ZFS

Software

  • Apache Hadoop 2.7
  • Zookeeper 3.4.6
  • Apache Ambari
  • Hortonworks HDP 2.5
  • Apache YARN, slurm
  • Apache Spark / Apache Flink
  • Java 1.8
  • Docker
  • R
letzte Änderung: 08.03.2017

Hilfe

Servicedesk

Neues Augusteum
2. Etage, Raum A252

Telefon: +49 341 97-33333
E-Mail

Suche