Backup-Service für Server im FU-Netz

(Hinweis: Wenn Sie als Nutzer von FU Storage-Systemen Dateien verloren haben, melden Sie sich bitte bei Ihrem Systembetreuer. Für von der ZEDAT betreute PCs ist dies beispielsweise support@campus.fu-berlin.de bzw. Tel. (030) 838-77777, siehe auch https://www.zedat.fu-berlin.de/FAQ#1.2 )

Aufgaben des zentralen Archivierungs- und Backup-Services

Der Backup-Service stellt im Wesentlichen folgende Dienstleistungen zur Verfügung:
  • Backup von Servern innerhalb des Campus-Netzes
  • (Langzeit-)Archivierung wissenschaftlicher Daten
  • Begutachtung von vermeintlich defekten Speichermedien bzw. Datenwiederherstellung im Rahmen unserer Möglichkeiten

Backup

Ein zentraler und zugleich automatisierter Backup-Service wie der FU-Archiv- und Backup-Service (FAB-Service) gehört heute zu den Regel- oder Basisdiensten für Forschung, Lehre und Verwaltung. Seine Aufgabe ist, teure Datenverluste zu verhindern, die bei Dateisystem- und Festplattendefekten oder diversen Anwenderfehlern entstehen können. Im schlimmsten Fall kann ein Verlust von Daten Forschungsprojekte vorzeitig beenden oder Verwaltungsabläufe lahmlegen. Der zentrale Backup-Service ermöglicht, verloren gegangene Daten rasch und umfassend - gleichsam auf Knopfdruck - zu rekonstruieren. Dadurch erhöht er in den Fachbereichen, Zentraleinheiten, Zentralinstituten und Verwaltungen der Freien Universität die Datensicherheit und kann die Produktivität bei der Nutzung von IT-Systemen steigern. Die individuelle Datensicherung vor Ort ist eine schlechtere Alternative, da sie zeitaufwändig und vom Erfahrungsstand einzelner Personen abhängig ist.

Archivierung

Der zentrale Archivierungs-Service dient dazu, große Datenmengen, die bei Messreihen, Langzeituntersuchungen usw. anfallen oder z.B. von Satelliten empfangen werden, auf eine für die Nutzer komfortable und zeitsparende Weise zu speichern und langfristig zur Verfügung zu halten. Nicht nur in Bereichen wie Meteorologie oder Chemie kommt einem automatisierten Archivierungs-Service eine besondere Bedeutung zu. Manche Drittmittelprojekte werden unter der Voraussetzung bewilligt, dass an der betreffenden Universität eine langfristige, vertrauliche und zuverlässige Speicherung großer Datenbestände möglich ist. Zu Recht gehört für die DFG ein zentraler Archivierungs-Service zur Grundausstattung einer Hochschule. Ferner empfiehlt die DFG in ihren Vorschlägen zur Sicherung guter wissenschaftlicher Praxis: "Primärdaten als Grundlagen für Veröffentlichungen sollen auf haltbaren und gesicherten Trägern in der Institution, wo sie entstanden sind, für zehn Jahre aufbewahrt werden." Unser Service ergänzt bzw. ermöglicht erst die Umsetzung dieser Empfehlung.

Datenwiederherstellung

Wir begutachten vermeintlich defekte Speichermedien (meist Festplatten) aus Servern, PCs und Laptops. Anhand des Befundes wird die Diagnose gestellt, ob ein physikalischer Defekt der Platte vorliegt oder ein logischer Defekt in Filesystem oder Partitionstabelle. In beiden Fällen wird beurteilt:
  • ob die gesuchten Daten noch vorhanden sind
  • ob und mit welchem Aufwand die Daten noch zu retten sind
  • ob wir die Daten selbst retten können
  • ob es sich lohnt, einen kommerziellen Dienstleister zur Datenrettung zu beauftragen

Dieser Service steht allen Mitgliedern der Freien Universität kostenlos zur Verfügung, soweit die betroffenen Daten in einem Zusammenhang mit dem Studium oder der Tätigkeit an der Universität stehen.

Betrieb des Dienstes

Mit dem Betrieb des Backup-Servers wird an der Freien Universität die Datensicherheit für die am automatischen Backup-Service teilnehmenden Rechner gewährleistet. Beispielsweise sichert der Backup-Server die Daten der an der ZEDAT betriebenen linuxbasierten E-Mail-Systeme und der zentralen Speichersysteme.

Um mit dem kontinuierlich wachsenden Datenaufkommen mitzuhalten, wird die Hardware des Backup-Services regelmäßig erneuert. Aus Kostengründen kann das System jedoch nicht überdimensioniert sein. Wir sind daher bei größeren Datenmengen darauf angewiesen, dass diese uns möglichst lange vorher angemeldet werden. Zuletzt wurde Mitte 2016 die verwendete Bandtechnologie von Ultrium-4 und -5 auf Ultrium-6 und-7 Bänder umgestellt, deren Kapazität auch im Jahr 2022 noch ausreicht (bis 12 Terabyte pro Bandkassette). Ihre Daten werden in zwei Kopien auf verschiedenen Magnetbandpools gespeichert. Die Bänder stehen in einer Quantum i6000-Gen2 Tape-Library, die zweiten Kopien werden in einem feuer-, wasser- und gewaltresistenten Lampertz-Datentresor aufbewahrt. Die bisherigen und geplanten Modernisierungsmaßnahmen im Überblick:

Zeitpunkt Massnahme Verbesserung
November 1995 SNI-Server Challenge L (MIPS/IRIX) "Pangaea" und Grau-ABBA/E Tape-Library mit VHS-Bändern Erstbeschaffung; speichert 15 GB mit 3? MB/sec pro Band; Netzanbindung mit 100MBit-Fddi
August 1999 SGI-Server Origin 200 (MIPS/IRIX) "Hoover" und Ablösung der VHS durch DLT-IV Bänder, DLT-7000 Bandlaufwerke Fast-Wide SCSI; speichert 50 GB mit 7 MB/sec pro Band; Netzanbindung mit 1GBit-Ethernet
Juli 2002 Ergänzung der DLT-IV Bänder durch Ultrium-1-Bänder und -Bandlaufwerke LVD-160 SCSI; speichert 140 GB mit 21 MB/sec pro Band
November 2003 SGI-Server Altix 350 (Itanium/Linux) "Hoovix" und Neubeschaffung einer Tape-Library ADIC Scalar 1000 mit Ultrium-2-Bändern und -Bandlaufwerken LVD-160, LVD-320 SCSI und 2 GBit Fiberchannel; speichert 318 GB mit 48 MB/sec pro Band; Netzanbindung mit 10GBit-Ethernet
August 2008 Einstieg in die Ultrium-4-Bandtechnologie als Ergänzung zu Ultrium-2 speichert ~1,1TB mit ~200 MB/sec pro Band
August 2011 Ablösung des Altix 350 Servers durch eine SGI UV-10 (Viersockel Intel Server) vielfache I/O Bandbreite
November 2011 Ablösung der Ultrium-2 durch Ultrium-5 Bandtechnologie zusammen vier Ultrium-5 Laufwerke, 2,2 TB pro Bandkassette
Juni 2014 Datenbestand im Backup-System erreicht 2 Petabyte -
Juni 2016 Neubeschaffung der Tape-Library, Erneuerung der Bandtechnologie: Ultrium-6/7 Vervierfachung der Speicherkapazität
März 2020 Ablösung des UV-10 Servers durch einen HPE DL850 Gen10 Server mehr I/O-Leistung (z.B. 100 GE)
2024 (geplant) Ergänzung durch Ultrium-9 Laufwerke und -Bänder Vervierfachung der Speicherkapazität

Als Backup-Clients werden im Wesentlichen Linux- und Windowsserver bedient, jedoch keine Arbeitsplatz-PCs oder Windows-10/11 -Clients. Es werden Server aus der gesamten Freien Universität bedient. Voraussetzung ist jedoch, dass der Datendurchsatz (Performance des Plattensystems und Netzanbindung) dem Datenvolumen angemessen ist und keine anderen technischen Hürden (Downtimes, schlechte oder falsch konfigurierte Firewalls, ...) der Sicherung entgegenstehen.

Warum werden keine Arbeitsplatzrechner vom Backup-Service bedient?

Auf dem FU-Campus sind viele tausend Rechner im Netz. Der Aufwand und die Kosten (Lizenzen) für die Sicherung aller derer Daten wäre immens hoch. Dabei stellt sich oft heraus, dass die unwichtigsten Rechner den höchsten Wartungsaufwand verursachen. In einer handhabbaren IT-Infrastruktur werden deshalb unwiederbringliche Daten zentral auf fachgerecht gewarteten SAN/NAS/File-Servern abgelegt, die dann auch gerne vom Backup-Service bedient werden. Für die Datensicherung Ihres Windows-PCs legen Sie unwiederbringliche Daten daher bitte auf den Netzlaufwerken (Home usw.) ab und für private Daten benutzen Sie USB-Sticks usw.

Möchten Sie Clients neu in den Backup-Service aufnehmen lassen, wenden Sie sich bitte an Ihren Systembetreuer und lesen Sie hier weiter.

Dokumentationen der Software

Die Software-Dokumentation finden Sie hier.

Daten-Services der ZEDAT

  • Betrieb des Backup-Systems (Server und Tape-Library) sowie Betreuung der dazu erforderlichen Software
  • Backup- und Archivierungsdienste für Server, Workstations und Messrechner in den Fachbereichen, Zentraleinrichtungen, Zentralinstituten und der Verwaltung
  • Beratung in Fragen der Datensicherung und Datenwiederherstellung
  • Web-Space, Home-Space, Speicherung wissenschaftlicher Daten u.a. (Storage-Dienste)

Aufgaben des Arbeitsfeldes FAB

  • Administration von Backup-Server und Backup-Software
  • Administration der Tape-Library und Migrations-Software
  • Koordinierung mit den Fachbereichen
  • Bereitstellung der Backup-Client-Software und Installationshilfe
  • Beratung in Fragen der Datenhaltung, Datensicherung und Datenwiederherstellung
  • Planung der Backup-Infrastruktur
  • Erhebung und Auswertung statistischer Daten zum FAB-Dienst

Der Backup-Service der ZEDAT

  • Eine genauere Beschreibung des Backup-Service finden Sie hier
  • Ein Bild zur Veranschaulichung des Backup-Datenflusses sehen Sie in dieser Schautafel
  • Die FAB-Gruppe im Einsatz (ohne Ton)

Statistiken

Der Backup-Service veröffentlicht aktuelle Statistiken über den Dienst. Weitere, umfangreichere Daten erhalten Sie auf Anfrage.

Technische Kennzahlen, Historie

Die technischen Daten des Ende 2004 in Betrieb genommenen Backup-Systems konnten sich damals sehen lassen: Der interne Cache des Backup-Servers betrug 3,3 TB und konnte dauerhaft etwa 600 MByte/sec umsetzen (lesen und schreiben zusammen). Die Netzwerkinterface (optisch 10 GBit/sec) schafft etwa 250 MByte/sec je Richtung. Jedes der Ultrium2-Bandlaufwerke kann 35 bis 90 (im Schnitt 45) MByte/sec lesen oder schreiben, die Ultrium4-Bandlaufwerke schaffen etwa 200 MB/sec Datenumsatz. Die Latenzzeit zum Zugriff auf Offline-Backups beträgt etwa 80 Sekunden, ein Zugriff auf die Backup-Daten durch Ihre Backup-Client-Software ist sieben Tage die Woche, 24 Stunden am Tag möglich ("24x7").

Zum Zeitpunkt dieses vorletzten Umstiegs auf den Altix-Server Ende 2004 wurden etwa 60 Terabyte Daten gespeichert (erste und zweite Kopie zusammen). Das langjährige Datenwachstum entspricht etwa dem Kapazitätszuwachs moderner Festplatten, also etwa 60 % pro Jahr. Die Tape-Library von 2004 ist mit ~1600 Bändern für etwa 400 Terabyte Daten bestückt. Dabei ist berücksichtigt, dass durch Hardwarekompression in den Bandlaufwerken etwa 50 % mehr Daten gespeichert werden können, auf einer 200 GB Ultrium-2 Kassette also zz. etwa 300 GB, auf einer Ultrium-4 Kassette etwa 1200 GB. Wegen der zunehmenden Verbreitung von bereits komprimierten Dateiformaten (z.B. gz, jpeg, Videos) wird die Kompressionsrate zukünftig etwas abnehmen.

Die vorletzte größere Modernisierungsmaßnahme in der zweiten Jahreshälfte 2011 wurde zentral mit Sondermitteln finanziert. Der sechs Jahre alte Server wurde durch eine SGI UV-10 mit 32 CPUs und 256 GB Arbeitsspeicher ersetzt, das Plattensystem wurde durch weitere Platten beschleunigt und die Ultrium-2 Bandtechnologie wurde ersetzt durch die Ultrium-5 Bandtechnologie. Ultrium-5 speichert zum selben Bandpreis die achtfache Datenmenge pro Kassette und nimmt die Daten mit der vierfachen Geschwindigkeit entgegen. Die Ultrium-4 Technologie wird parallel zu Ultrium-5 beibehalten. Die Tape-Library aus 2004 wurde noch beibehalten und erst im Juni 2016 durch ein neues Modell und Ultrium-6 und -7 Bandtechnologien erneuert. Zum Zeitpunkt des Umstiegs 2011 wurden 1 Petabyte Daten gespeichert, Ende 2015 bereits 2,5 Petabytes, Mitte 2017 3,5 Petabytes, 2022 bereits über 5 Petabytes.

Im Jahre 2022 ist die Tape-Library bereits gut ausgelastet und nimmt täglich bis zu 60 Terabyte neue Daten auf, die mit bis zu je 700 MB/sec parallel auf bis zu sieben Magnetbänder geschrieben werden. Der aktive Bandpool besteht aus 2.700 Magnetbändern. Das Netzwerkinterface des Backup-Servers hat eine Bandbreite von 2 x 100 Gb/sec.

Zukünftige Entwicklungen

Seit Aufnahme des Dienstes 1993 kann der gespeicherte Datenbestand auf maximal 1000 bis 2000 Bandkassetten untergebracht werden, obwohl die Datenmenge um mehrere Größenordnungen gewachsen ist. Der Grund für die konstant bleibende Menge an Bandkassetten ist, dass die Kapazität und der Datenumsatzgeschwindigkeit bei Bandkassetten ähnlich wächst wie die von Festplatten und Hauptspeicher. Diese wiederum bestimmen die Problemgrößen, die von Wissenschaftlern bearbeitet werden können.

Essenziell für die Finanzierbarkeit des Dienstes ist es folglich, die Bandtechnologie in regelmäßigen Abständen zu modernisieren: Meist etwa ein Jahr nach Markteinführung einer neuen Bandtechnologie fallen die Medienpreise (bezogen auf die Speicherkapazität) unter die Preise für die älteren Bandtechnologien. Ab diesem Zeitpunkt ist es günstiger, Kapazitätserweiterungen in der neuen Bandtechnologie zu realisieren.

Daher wurden im Sommer 2008 drei Ultrium-4-Bandlaufwerke und wenige Hundert Medien beschafft, die die bisherige Ultrium-2-Technologie zunächst erweiterten. In den folgenden drei Jahren wurde dann langsam der Datenbestand auf Ultrium-4 umgezogen und die Ultrium-2 Bandkassetten mußten weichen, da die Stellplätze für Bandkassetten in der Tape-Library begrenzt sind und die alten Laufwerke und Bänder verschlissen sind. 2011 wurde Ultrium-2 dann ausgesondert, weil Platz für die Ultrium-5 Bänder benötigt wurde. Die Ultrium-4 Technologie ist seit Herbst 2011 unser "neues" Auslaufmodell, das zukünftige Datenwachstum wird bis Juni 2016 nur noch in Ultrium-5 stattfinden. Wegen des hohen Bandbestandes in Ultrium-4 ist diese Technologie wieder über einen längeren Zeitraum ausgelaufen. Mit der neuen Tape-Library ab Juni 2016 wurden LTO6-Medien und LTO7-Laufwerke beschafft. LTO6 Medien hatten 2017 deutlich die geringsten Preis-pro-Terabyte Kosten. Ab 2018 wurden wir dann LTO7-Medien günstig beschafft. 2022 sind Ultrium-8 Bänder günstig und Ultrium-9 Bänder kommen auf den Markt - dafür müssten aber neue Bandlaufwerke beschafft werden, sodass wir hier noch abwarten. Im professionellen Bereich sind weiterhin Magnetbänder die sicherste und energieeffizienteste Methode zum Speichern von großen Datenmengen.

Nur der rechtzeitige Umstieg auf neue Bandtechnologien bewahrt den Dienst vor einem finanziellen Kollaps: Der Zukauf von Medien in alter Technologie kostet bald ein Mehrfaches gegenüber Medien in aktueller Technologie, außerdem brauchte man nun teure Erweiterungen in Bandstellplätzen, um die Bänder noch unterbringen zu können: Während Magnetbänder etwa zwischen 20 und 50 Euro kosten, kostet ein Bandstellplatz einer Tape-Library ein mehrfaches davon (Preis der Tape-Library, dividiert durch die Anzahl der Bandstellplätze in der Tape-Librray).

Anfragen

Fragen an den Backup-Service richten Sie bitte an:
fab-service@zedat.fu-berlin.de