WISSEN -> GLOBAL FILESYSTEM -> CTERA GLOBAL FILESYSTEM
Autor: Dirk Neumann Geschäftsführer ASSISTRA Cloud Services GmbH 17.08.2026
Edge-basierte Global File Systems
Architektur, Datenpfad und Betrieb verteilter File-Services
Das sollten Sie mitnehmen:
- Sichtbar ist nicht lokal.
Ein Standort sieht den gesamten Namespace, hält physisch aber nur sein Working Set vor.
- Cache-Sizing ist eine Resilience-Entscheidung.
Wie viel Cache ein Standort erhält, bestimmt zugleich, wie lange er bei einem WAN-Ausfall weiterarbeiten kann.
- Direct Mode ist eine Abwägung, keine Beschleunigungsoption.
Höhere Transferraten kosten Deduplizierungsgrad und wahlfreien Zugriff innerhalb großer Dateien.
- Global File Locking hat harte Voraussetzungen.
Lizenz, Mindestversion und eine abschließende Liste von vierzehn Dateitypen begrenzen den Einsatz.
- Nicht jede Datei gehört in ein Global File System.
Datenbanken, virtuelle Platten und persistentes Logging überschreiten die Synchronisationsrate.

Edge-basierte Global File Systems
Inhaltsverzeichnis
- Die eigentliche Architekturentscheidung lautet: Daten bewegen oder Zugriffe bewegen?
- Die Steuerungsebene ist keine Management-Oberfläche
- Was ein Standort sieht, ist nicht, was ein Standort speichert
- Cache-Sizing folgt dem Working Set und wird damit zur Resilience-Frage
- Streaming trennt Transferzeit von Nutzbarkeit
- Synchronisation allein löst konkurrierende Schreibzugriffe nicht
- Nicht jede Datei gehört in ein Global File System
- Die Migration ist häufig schwieriger als die Zielarchitektur
- Der File Service kann verfügbar sein, ohne dass der Zugriff funktioniert
- Der Object Storage wird abstrahiert, seine Eigenschaften nicht
- Working-Set-Sizing ist auch eine Energieentscheidung
- Skalierung verursacht Arbeit, auch innerhalb der Systemgrenzen
- Fazit
- Quellen
Klassische File-Services sind zunächst lokal gedacht: Ein SMB- oder NFS-Server stellt Dateien bereit, Benutzer greifen über das LAN darauf zu, und der Storage befindet sich in unmittelbarer Nähe des Servers. Sobald dieselben Daten jedoch an mehreren Standorten verfügbar sein sollen, entstehen neue Anforderungen. Dateien müssen verteilt oder zentral erreichbar gemacht werden, Änderungen müssen synchronisiert werden, und Benutzer erwarten trotzdem eine Performance, die sich möglichst wenig von einem lokalen Fileserver unterscheidet.
Dieser Artikel beschreibt die Architektur edge-basierter Global File Systems anhand eines konkreten Referenzsystems. Wir verwenden dafür das CTERA Global File System, weil wir diese Plattform in zahlreichen Projekten implementiert, migriert und betrieben haben und die Aussagen damit an Betriebserfahrung und nicht nur an Herstellerdokumentation binden können. Die Architekturprinzipien – die Trennung von Namespace, Cache und persistenter Datenebene – gelten unabhängig vom Produkt; die konkreten Grenzwerte, Mechanismen und Einschränkungen sind produkt- und versionsspezifisch und im Folgenden entsprechend gekennzeichnet.
Unsere Projekterfahrung stammt aus Umgebungen mit ungefähr vier bis 150 Standorten und Datenbeständen zwischen rund 200 TB und 1 PB pro Kunde. In diesen Größenordnungen entscheidet nicht mehr allein die Storage-Kapazität darüber, ob eine Architektur funktioniert. Namespace, Cache, Synchronisation, WAN-Verhalten, ACL-Strukturen und Betriebsprozesse werden mindestens ebenso wichtig.
Referenzsystem: CTERA Portal 8.4.x / CTERA Edge Filer 7.11.x
Die eigentliche Architekturentscheidung lautet: Daten bewegen oder Zugriffe bewegen?
Bevor über Komponenten gesprochen wird, lohnt die Frage, welches Problem eine verteilte File-Architektur überhaupt löst.
Eine klassische Architektur versucht, vollständige Datenbestände an mehreren Standorten bereitzuhalten. Jeder Standort erhält eine vollständige Datenkopie, und diese Kopien müssen anschließend konsistent gehalten werden. Der Aufwand skaliert dabei mit der Anzahl der Standorte, und zwar sowohl beim Speicherbedarf als auch bei der Replikationslogik.
Ein edge-basiertes Global File System verfolgt ein anderes Modell: Es existiert ein persistenter globaler Datenbestand, auf den mehrere lokale Zugriffspunkte verweisen, die jeweils nur ihr lokales Working Set physisch vorhalten. Damit verschiebt sich das Problem. Weniger relevant wird die Frage, wie sämtliche Daten überall hin repliziert werden. Wichtiger werden stattdessen die Fragen, welche Daten welcher Standort benötigt, wie schnell nicht lokale Daten bereitgestellt werden können, wie Änderungen synchronisiert und konkurrierende Schreibzugriffe koordiniert werden, was bei einem WAN-Ausfall geschieht und wie groß das lokale Working Set ausfallen muss.
Genau darin liegt der architektonische Kern. Die zentrale Aussage lautet nicht, dass Daten überall verfügbar sind, sondern dass globale Verfügbarkeit nicht bedeutet, dass Daten überall vollständig gespeichert sein müssen.
Die vier Ebenen der Architektur
Aus dieser Grundentscheidung ergibt sich eine Schichtung, die sich in vergleichbarer Form bei allen edge-basierten Global File Systems findet. Benutzer und Anwendungen greifen über SMB oder NFS auf einen lokalen Edge-Knoten zu, im Referenzsystem den CTERA Edge Filer. Dieser Knoten hält lokale Metadaten und einen Cache der tatsächlich benötigten Nutzdaten und kommuniziert mit einer zentralen Steuerungs- und Metadatenkomponente, dem CTERA Portal. Der persistente Datenbestand liegt auf einer Object-Storage-Infrastruktur.
Entscheidend ist die Trennung dreier Begriffe, die in einer klassischen Fileserver-Architektur zusammenfallen: der global sichtbare Dateibestand, der lokal bereitgestellte File Service und die physisch lokal vorhandenen Daten. Diese drei Mengen sind in einer Edge-Architektur unterschiedlich groß, und aus dieser Differenz ergeben sich sämtliche weiteren Architektur- und Betriebsfragen.
Die Steuerungsebene ist keine Management-Oberfläche
Eine verbreitete Vereinfachung lautet, die Daten lägen im Object Storage und die zentrale Komponente sei damit austauschbar. Das ist technisch falsch, und die Fehleinschätzung hat unmittelbare Konsequenzen für Verfügbarkeits- und Recovery-Planung.
CTERA beschreibt eine Portal-Installation als Cluster aus mehreren Serverrollen: Main Database, Database Replication Server, Application Server sowie optional Messaging Server und DocumentPreview Server. Nur ein Server kann die Main Database hosten; dieser Server wird als Primary Server bezeichnet. Die Main Database ist zustandsbehaftet, während Application Server stateless sind und horizontal ergänzt werden können. Für eine minimale produktive HA-Installation sieht CTERA zwei Datenbankserver sowie mindestens zwei Application Server vor.
Die Datenbank besitzt dabei eine grundsätzlich andere Rolle als der Object Storage. Der Object Storage enthält die persistenten Dateiinhalte, während die Portal-Datenbank die für den Betrieb des Systems notwendigen Metadaten hält. CTERA dokumentiert PostgreSQL als Datenbanktechnologie und weist ausdrücklich darauf hin, dass diese Datenbank gesichert werden muss, um Daten- und Metadatenkonsistenz sowie die Wiederherstellbarkeit der Plattform sicherzustellen.
Object Storage und Steuerungsebene erfüllen damit unterschiedliche Aufgaben und besitzen unterschiedliche Recovery-Anforderungen. Eine hohe Durability des Object Storage sagt nichts über die Wiederherstellbarkeit des Namespace aus.
Warum wir die Steuerungsebene grundsätzlich redundant auslegen
Wir haben Portal-Installationen sowohl selbst durchgeführt als auch Installationen begleitet, die durch CTERA umgesetzt wurden. Produktive Umgebungen haben wir dabei durchgängig redundant über zwei Rechenzentren beziehungsweise Availability Zones aufgebaut, sowohl on-premises als auch in Cloud-Deployments.
Aus unserer Sicht ist die Verfügbarkeit der Steuerungsebene deshalb als eigenständige Architekturfrage zu behandeln und nicht mit der Durability des zugrunde liegenden Object Storage gleichzusetzen. Wer die Portal-Verfügbarkeit aus der Storage-Verfügbarkeit ableitet, plant die falsche Komponente.
Was ein Standort sieht, ist nicht, was ein Standort speichert
Für Benutzer an einem Standort ist nicht die zentrale Plattform der eigentliche Fileserver. Diese Rolle übernimmt der Edge-Knoten. Er stellt SMB- und NFS-Zugriffe bereit und präsentiert dem Client eine klassische Datei- und Verzeichnisstruktur, sodass der Zugriff für bestehende Anwendungen filebasiert bleibt.
Der wesentliche Unterschied zu einem klassischen Fileserver liegt hinter diesem Zugriff, denn der Edge Filer muss nicht den gesamten sichtbaren Dateibestand physisch speichern. CTERA beschreibt dafür ein Stub-Modell: Dateien, die nicht auf den Edge Filer heruntergeladen wurden, werden dort als Stubs dargestellt, die sehr wenig Speicherplatz belegen; beim Zugriff auf einen Stub wird die Datei heruntergeladen und geöffnet, und nach abgeschlossenem Download wird die Datei entstubbt. Damit gilt der zentrale Satz dieser Architektur: Eine sichtbare Datei ist nicht dasselbe wie eine lokal gespeicherte Datei.
Metadaten sind nicht kostenlos
Ein Benutzer kann einen erheblich größeren logischen Dateibestand sehen, als physisch auf dem Edge Filer gespeichert ist. CTERA bezeichnet den Inhalt aller Ordner und Unterordner eines Team Portals als globalen Namespace, und die Dokumentation ist an dieser Stelle deutlich: Bei einem Caching Gateway werden zwar nur die benötigten Inhalte lokal gespeichert, aber sämtliche Metadaten werden auf den Edge Filer heruntergeladen, damit Benutzer auf alles zugreifen können, wofür sie im Portal berechtigt sind.
Das ist bei großen Umgebungen relevant, denn Millionen Verzeichniseinträge müssen gespeichert, indiziert, synchronisiert und bei bestimmten Operationen durchsucht werden. Die logische Skalierung eines Global File Systems hängt deshalb nicht nur von der Anzahl Terabyte ab, sondern von der Kombination aus Datenvolumen, Anzahl Dateien, Verzeichnisstruktur, Änderungsrate und Anzahl Standorte.
CTERA dokumentiert für die Planung drei getrennte Grenzwerte: 10 Milliarden Dateien pro Portal, 250 Millionen Dateien beziehungsweise 250 TB pro Cloud Folder sowie – davon unabhängig – 250 Millionen Dateien beziehungsweise 250 TB pro Folder Group. Werden diese Werte überschritten, empfiehlt CTERA den Einsatz mehrerer Portal-Cluster. Es handelt sich um Herstellergrenzen und nicht um von uns gemessene Werte.
Zones segmentieren den Namespace, und zwar primär aus Sicherheitsgründen
Der vollständige Metadaten-Download an jeden Standort wäre bei großen Unternehmensbeständen sowohl technisch als auch organisatorisch problematisch. CTERA Zones segmentieren das Global File System deshalb in logische Einheiten, sodass jedem Edge-Standort nur der für ihn relevante Teil des Namespace zugänglich ist.
Der dokumentierte Zweck ist dabei bemerkenswert, weil er nicht der ist, den man aus der Skalierungsperspektive erwarten würde. Zones dienen laut Dokumentation nicht in erster Linie der Metadaten-Reduktion, sondern der Trennung von Standorten voneinander: CTERA nennt explizit Privacy und Sicherheit zwischen Standorten, die Verhinderung internen Datenabflusses zwischen Gruppen sowie die Einhaltung von Data-Sovereignty-Anforderungen. Als Beispiel führt die Dokumentation Länder mit strikten Vorgaben zum Speicherort an, für die eine eigene Zone definiert werden kann, sodass die betreffenden Daten nur über Edge Filer in diesem Land zugänglich sind.
Für Umgebungen mit Standorten in mehreren Rechtsräumen ist das die architektonisch wichtigere Eigenschaft. Ein Edge Filer wird automatisch der Default Zone zugeordnet, kann aber mehreren Zones angehören und synchronisiert dann die Ordner aller zugeordneten Zones; umgekehrt kann eine Zone mehreren Edge Filern zugeordnet sein, und Ordner, die an mehreren Standorten benötigt werden, können mehreren Zones angehören. Die Reduktion des lokal vorzuhaltenden Metadatenbestands ist damit ein erwünschter Nebeneffekt einer Entscheidung, die zunächst eine Sicherheits- und Compliance-Entscheidung ist.
Systemgrenze und operative Grenze fallen auseinander
Wir haben Bereiche mit Millionen Dateien betrieben beziehungsweise begleitet. Dabei zeigt sich ein wichtiger Unterschied zwischen dokumentierter Kapazitätsgrenze und operativer Skalierung: Ein Dateibestand kann technisch innerhalb der unterstützten Systemgrenzen liegen und trotzdem dazu führen, dass bestimmte Operationen sehr lange dauern.
Die Aussage, ein System unterstütze eine bestimmte Anzahl Millionen Dateien, reicht für eine Architekturentscheidung deshalb nicht aus. Entscheidend ist zusätzlich, welche Operation mit diesen Dateien durchgeführt werden soll.
Cache-Sizing folgt dem Working Set und wird damit zur Resilience-Frage
Der lokale Cache ist die Komponente, die über die wahrgenommene Performance des gesamten Systems entscheidet.
Dateien, die physisch im Cache vorhanden sind, werden lokal bereitgestellt, und der Zugriff bleibt im LAN. Dateien, die nur als Stub vorliegen, müssen über das WAN aus dem zentralen Storage geladen werden; erst dann werden Bandbreite und Latenz relevant. Ein Global File System beseitigt die Physik eines WAN also nicht. Es verändert die Wahrscheinlichkeit, mit der ein Benutzer für seine tägliche Arbeit überhaupt über das WAN auf Nutzdaten zugreifen muss.
Warum ein Prozentwert nicht trägt
Eine häufige Planungsfrage lautet, wie groß der Edge Cache sein muss. Eine pauschale Antwort wie zehn Prozent des gesamten Datenbestands ist dafür nicht belastbar.
Relevant ist das Working Set eines Standorts, also die dort tatsächlich regelmäßig verwendeten Daten. Ein Standort kann auf einen logischen Bestand von 200 TB zugreifen, davon aber nur einen kleinen Teil aktiv bearbeiten, während ein anderer Standort bei gleichem Gesamtbestand regelmäßig auf einen erheblich größeren Anteil zugreift. Zusätzlich beeinflussen die aktive Datenmenge, Anzahl und Arbeitsweise der Benutzer, Dateigrößen, Änderungsrate, gepinnte Ordner, Neudatenaufkommen, eingesetzte Anwendungen und zeitliche Zugriffsmuster das erforderliche Cache-Volumen.
CTERA stellt für die Planung Discovery-Funktionen bereit. Ein Edge Filer kann ohne Lizenz und ohne Datenplatte installiert und für einen Discovery-Job gegen den abzulösenden Fileserver eingesetzt werden. Der Bericht enthält Shares mit Anzahl Ordner, Anzahl Dateien und Größe sowie Auswertungen zu letztem Zugriff, letzter Änderung und Dateitypen jeweils nach Anzahl und Volumen; für eine Aufschlüsselung je Share ist allerdings eine Datenplatte erforderlich.
Der entscheidende Architekturparameter lautet damit nicht, wie groß der gesamte Share ist, sondern wie groß und wie dynamisch das Working Set des jeweiligen Standorts ist.
Warum wir die Prozentregel aufgegeben haben
In frühen Projekten haben wir Cache-Sizing teilweise anhand von Erfahrungswerten vorgenommen. Eine Größenordnung von ungefähr zehn Prozent des Shares beziehungsweise eine Orientierung an der regelmäßig aktiven Datenmenge konnte als Ausgangspunkt dienen, funktioniert aber ausdrücklich nicht für jede Umgebung, und in einzelnen Projekten mussten wir nachjustieren.
Seit der Nutzung der Discovery-Funktionen lässt sich das tatsächliche Datenprofil vor der Migration wesentlich besser erfassen. Aus unserer Erfahrung ist damit eine deutlich belastbarere Dimensionierung möglich als mit einer statischen Prozentregel.
Eviction entfernt Inhalte, nicht Dateien
Ein Cache benötigt einen Mechanismus, der entscheidet, welche Daten lokal verbleiben. CTERA verwendet dafür Watermarks: Die Eviction beginnt, wenn die Speicherbelegung den High Watermark von 75 Prozent des gesamten Edge-Filer-Speichers erreicht, und entfernt Dateiinhalte, bis der Low Watermark von 65 Prozent erreicht ist. Zurück bleibt jeweils der Stub. Die Auswahl erfolgt dabei nach Tagen seit dem letzten Zugriff und nicht nach Dateigröße; innerhalb einer Gruppe wird nicht weiter nach Zugriffsalter differenziert.
Drei Kategorien werden nie evicted: Dateien in als pinned markierten Ordnern, aktuell geöffnete Dateien und – dieser Punkt wird häufig übersehen – Dateien, die noch nicht zum Portal synchronisiert wurden. Damit ist der Zusammenhang zwischen Cache-Auslastung und Synchronisationszustand kein Zufall, sondern Mechanik: Ein Standort mit hohem Neudatenaufkommen und langsamer oder gestörter Synchronisation akkumuliert nicht evictierbare Daten im Cache.
CTERA reserviert für Schreib-Bursts 25 Prozent des Speichers. Wird der freie Speicher trotzdem zu knapp, greift Throttling, sodass Benutzer weiterschreiben können, die Schreibgeschwindigkeit des Clients aber auf WAN-Geschwindigkeit reduziert wird, damit nicht schneller geschrieben als in die Cloud ausgelagert wird. CTERA bezeichnet dieses Szenario als unüblich, mit zwei Ausnahmen: der Migration großer Datenmengen und sehr starken Schreib-Bursts.
Technisch wichtig ist dabei, dass die Eviction die persistente Datei nicht aus dem Global File System löscht, sondern lediglich deren lokalen Cache-Zustand verändert. Der Edge Filer ist damit ein dynamisch verwalteter lokaler Arbeitsbereich vor einem wesentlich größeren persistenten Datenbestand.
Thrashing ist die aussagekräftigere Metrik als die Hit Rate
Für den laufenden Betrieb stellt CTERA eine Cache-Hit-Statistik bereit, die drei Zustände unterscheidet: einen Hit, wenn die Datei aus dem Cache bedient wurde; einen Miss, wenn ein Stub heruntergeladen werden musste und die Datei zuvor mindestens 24 Stunden nicht zugegriffen wurde; und Thrashing, wenn ein Stub heruntergeladen werden musste, der weniger als 24 Stunden zuvor noch im Cache lag.
Thrashing bedeutet also, dass kürzlich evictierte Dateien erneut benötigt werden, und ist damit die direkte Messgröße für ein zu klein dimensioniertes Working Set. Für die Bewertung einer Umgebung ist dieser Wert deutlich aussagekräftiger als die Hit Rate allein, weil eine hohe Hit Rate eine dauerhafte Verdrängung des aktiven Arbeitsbestands verdecken kann.
Aus unserer Erfahrung kommt ein vollständig ausgelasteter Edge Filer in produktiven Umgebungen vor, allerdings vergleichsweise selten. Das Thema bleibt trotzdem relevant, weil Cache-Auslastung, gepinnte Daten und noch nicht synchronisierte lokale Änderungen gemeinsam betrachtet werden müssen. Cache-Monitoring gehört deshalb zum laufenden Betrieb und ist keine einmalige Sizing-Aufgabe bei der Installation.
Arbeiten bei WAN-Ausfall
Die Konsequenz dieser Cache-Mechanik zeigt sich am deutlichsten, wenn die WAN-Verbindung ausfällt. Ein zentraler Fileserver, der ausschließlich remote erreichbar ist, wird mit dem WAN-Ausfall für den Standort unerreichbar. Bei einem Edge Filer befindet sich dagegen ein Teil des Datenbestands lokal und kann weiterhin lokal verarbeitet werden, wobei die Einschränkung offensichtlich ist: Daten, die nur als Stub vorliegen, können ohne funktionierenden Datenpfad nicht nachgeladen werden.
Unsere Beobachtung aus produktiven Umgebungen ist hier pragmatisch. Solange ein Benutzer während des Ausfalls keine bisher nicht lokal verfügbaren Daten benötigt, bemerkt er beim normalen Arbeiten unter Umständen keinen unmittelbaren Unterschied.
Das ist keine vollständige Standortautarkie, sondern Working-Set-Autarkie. Ein Edge Filer macht nicht den gesamten globalen Datenbestand WAN-unabhängig, sondern den lokal vorhandenen Arbeitsbestand. Damit ist Cache-Sizing gleichzeitig eine Resilience-Entscheidung: Die Frage, wie viel Cache ein Standort erhält, ist identisch mit der Frage, wie lange und wie vollständig dieser Standort bei einem WAN-Ausfall weiterarbeiten kann.
Streaming trennt Transferzeit von Nutzbarkeit
Bei großen Dateien wäre ein einfaches Verfahren problematisch, bei dem die Datei zunächst vollständig heruntergeladen, der Download abgeschlossen und die Datei erst dann an die Anwendung übergeben wird. Über eine WAN-Verbindung würde der Benutzer die vollständige Transferzeit als Wartezeit erleben.
CTERA unterstützt deshalb Streaming. Dateien über 10 MB werden, soweit möglich, aus der Cloud gestreamt, sodass der Benutzer auf die Datei zugreifen kann, bevor sie vollständig heruntergeladen ist. Auch wahlfreier Zugriff innerhalb der Datei wird unterstützt: Über eine temporäre Datei werden Blöcke ab der vom Benutzer angeforderten Position vom Portal geladen, sodass nicht auf den Abschluss eines sequenziellen Streams gewartet werden muss. Streaming funktioniert über SMB und NFS und hängt nicht vom Dateityp ab, sondern davon, ob die öffnende Anwendung Streaming unterstützt. Gestreamte Dateien werden zusätzlich in eine Hintergrund-Download-Queue eingereiht und nach Abschluss entstubbt.
Die WAN-Verbindung wird dadurch nicht schneller. Die Anwendung kann jedoch bereits mit verfügbaren Daten arbeiten, während weitere Bereiche der Datei nachgeladen werden.
Wir haben dieses Verhalten insbesondere bei größeren Dateien und unterschiedlichen Anwendungen beobachtet. Wenn die Anwendung Streaming sinnvoll unterstützt, kann sich ein Zugriff auf eine noch nicht gecachte Datei für den Benutzer deutlich schneller anfühlen, als es Dateigröße und verfügbare WAN-Bandbreite zunächst erwarten lassen. Der Unterschied zwischen Transferzeit und wahrgenommener Zeit bis zur Nutzbarkeit einer Datei ist damit ein eigenständiger Architekturparameter, und einer, der bei der Bewertung von WAN-Anbindungen regelmäßig unterschätzt wird.
Eine wichtige Einschränkung dieses Verhaltens ergibt sich allerdings aus der Konfiguration des Datenpfads. Sie wird in Kapitel 10 behandelt.
Synchronisation allein löst konkurrierende Schreibzugriffe nicht
Caching beantwortet die Frage, welche Daten sich lokal befinden. Synchronisation beantwortet die schwierigere Frage, wie lokale Änderungen wieder Teil des globalen Datenbestands werden.
Eine lokal veränderte Datei muss vom Edge Filer zurücksynchronisiert werden. CTERA verwendet dafür Block-Level-Deduplication auf Portalebene, bei der Dateien in Blöcke zerlegt und nur erforderliche beziehungsweise eindeutige Blöcke übertragen werden. Die Blockgröße wird über die Virtual Portal Settings gesteuert, wobei die voreingestellte Average Block Size 512 KB beträgt. Ergänzend läuft alle sieben Tage ein Hintergrundtask, der prüft, ob alle Dateien des Edge Filers mit dem Portal-Namespace synchron sind, und nicht synchrone Dateien automatisch nachsynchronisiert. Es existiert also ein Selbstheilungsmechanismus, was für die Fehlerbewertung relevant ist, weil ein temporär inkonsistenter Zustand nicht zwangsläufig ein dauerhafter Fehler ist.
Sync-Störungen haben selten eine einzelne Ursache
Synchronisationsprobleme gehören zu den von uns häufiger beobachteten Betriebsstörungen. Eine typische Einzelursache lässt sich daraus jedoch nicht ableiten, denn die Ursachen waren in den begleiteten Umgebungen vielfältig.
Genau deshalb sollte bei einer Störung nicht vorschnell die Synchronisationskomponente als Ursache angenommen werden. Der Fehlerpfad umfasst das lokale Filesystem, den Edge-Filer-Prozess, das Netzwerk, Portal und Storage sowie die Metadatenverarbeitung, und eine Störung an einer beliebigen Stelle dieser Kette kann für den Administrator zunächst ähnlich aussehen. Die Fehlersuche muss deshalb den gesamten Daten- und Steuerungspfad betrachten.
Conflict Files und Global File Locking schließen einander aus
Ein besonders wichtiges Problem verteilter File Services entsteht, wenn zwei Benutzer an unterschiedlichen Standorten dieselbe Datei bearbeiten, denn reine Synchronisation kann daraus zwei Versionen erzeugen.
CTERA bietet dafür zwei Mechanismen an, und zwar als Alternativen und nicht als aufeinander aufbauende Ebenen. Die Dokumentation ist an diesem Punkt eindeutig: Wird auf einem Cloud Folder Locking implementiert, ist der Conflict-Mechanismus deaktiviert; entfernt der Administrator das Locking wieder, greift der Conflict-File-Mechanismus.
Conflict Files sind der Standardmechanismus. Mehrere Personen können gleichzeitig an denselben Dateien arbeiten, wobei der Edge Filer verfolgt, wer Änderungen vornimmt, Konflikte erkennt und auflöst. Die Änderungen der zuletzt erfolgten Aktualisierung werden immer in der Originaldatei gespeichert, während durch den Konflikt verdrängte Änderungen in einer umbenannten Version erhalten bleiben. Voraussetzung ist eine funktionierende Zeitsynchronisation, auf die Kapitel 9 zurückkommt.
Global File Locking ist der strikte Mechanismus und wird auf Cloud-Folder-Ebene aktiviert. Öffnet ein Benutzer eine Datei in einem Ordner mit aktiviertem Locking, kann kein anderer Benutzer diese Datei bearbeiten, weder auf demselben noch auf einem anderen mit dem Portal verbundenen Edge Filer. Versucht ein weiterer Benutzer, die Datei mit Lock zu öffnen, wird der Schreibzugriff verweigert; je nach Anwendung öffnet die Datei als Read-only-Kopie.
CTERA begründet die Existenz beider Mechanismen mit unterschiedlichen Anforderungen. In Branchen wie Engineering, Medien und Finanzwesen sei es nicht tragfähig, eine aktive CAD-Datei oder eine Finanzkalkulation zu überschreiben und die Differenzen anschließend über Conflict Files aufzulösen. Gleichzeitig würde flächendeckendes Locking die Produktivität ausbremsen, weshalb gezielt einzelne Ordner und innerhalb dieser gezielt einzelne Dateitypen geschützt werden.
Die Voraussetzungen von Global File Locking sind erheblich
Drei Punkte müssen bei der Architekturplanung berücksichtigt werden, weil sie in Produktdarstellungen regelmäßig untergehen.
Zunächst ist Global File Locking lizenzpflichtig. Das Portal muss dafür lizenziert sein, und die Lizenz wird durch einen Global Administrator hinzugefügt; ohne sie steht der Mechanismus nicht zur Verfügung. Hinzu kommen technische Mindestvoraussetzungen: ein Edge Filer ab Version 7.11.4900.11, Zugriff über SMB und ein nicht deaktiviertes oder ausgesetztes Syncing. Für Zugriffe direkt über das Portal, über CTERA Drive Share, über CTERA Drive Connect oder über ältere Edge Filer greift stattdessen der Conflict-File-Mechanismus, und versucht ein solcher Client, eine gesperrte Datei zu synchronisieren, entsteht lokal eine Conflict-Datei, die nicht zum Portal synchronisiert wird.
Praktisch am folgenreichsten ist jedoch, dass die Liste der lockbaren Dateitypen abschließend ist. Unterstützt werden ppt, pptx, xls, xlsx, doc, docx, indd, idlk, dwl, dwl2, dwt, dwg, rvt und dat. Der Administrator kann Dateitypen aus dieser Liste entfernen und später wieder hinzufügen, aber die einzigen Dateitypen, die überhaupt in die Liste aufgenommen werden können, sind die genannten.
Global File Locking deckt damit Microsoft Office, InDesign, AutoCAD und Revit ab, während native Formate anderer CAD- und PLM-Systeme nicht lockbar sind. Für Umgebungen, in denen die konkurrierende Bearbeitung großer Konstruktionsdateien das eigentliche Problem darstellt, ist vor der Architekturentscheidung zu prüfen, ob die tatsächlich verwendeten Dateiformate von dieser Liste abgedeckt werden. Ist das nicht der Fall, löst Global File Locking das Problem nicht, und die Architektur muss auf anderer Ebene reagieren, etwa durch die organisatorische Zuordnung von Datenbeständen zu Standorten oder durch Zones.
Locking wirkt zudem auf weitere Operationen. Versucht ein Benutzer, eine gesperrte Datei zu verschieben, zu löschen, umzubenennen oder wiederherzustellen, gelingt die Operation lokal, wird aber erst nach Freigabe des Locks zum Portal synchronisiert; wird die Synchronisation ausgesetzt, ist der Zugriff auf lockbare Dateitypen unterbunden. Das Failure-Verhalten ist dagegen robust, denn Locks bleiben lokal erhalten, wenn der Edge Filer die Verbindung zum Portal verliert, und ein Portal-Reboot entfernt bestehende Locks nicht. Für den Fall vergessener oder hängender Locks stellt das Portal eine administrative Übersicht bereit, über die Locks einzeln, für einen gesamten Cloud Folder oder für alle Dateien eines bestimmten Edge Filers freigegeben werden können.
Getestet, aber noch nicht produktiv eingeführt
Global File Locking haben wir bislang getestet, aber noch nicht in einer produktiven Kundenumgebung eingeführt. Die Tests verliefen ohne relevante Probleme.
Diese Unterscheidung ist wichtig. Daraus lässt sich die technische Funktionsfähigkeit im getesteten Szenario ableiten, aber keine Aussage über langjährigen Produktivbetrieb oder das Verhalten bei sehr großen Locking-Workloads.
Nicht jede Datei gehört in ein Global File System
Ein Global File System ist kein universeller Ersatz für jeden lokalen Storage. Diese Aussage ist keine Einschränkung des Konzepts, sondern eine direkte Folge seiner Architektur, und sie wird in Migrationsprojekten regelmäßig zu spät berücksichtigt.
Der Mechanismus, aus dem sich die Grenze ergibt, ist die Synchronisation. Jede lokale Änderung erzeugt Synchronisationsaufwand, und solange die Änderungsrate unter der Synchronisationsrate liegt, ist das unproblematisch. Übersteigt sie diese dauerhaft, akkumuliert der Edge Filer nicht synchronisierte Daten, und da nicht synchronisierte Dateien von der Eviction ausgenommen sind, wächst gleichzeitig der nicht freigebbare Anteil des Caches. Beide Effekte verstärken sich gegenseitig.
CTERA benennt die betroffenen Datenkategorien explizit und empfiehlt, sie auf einem lokalen, nicht mit dem Portal synchronisierten Share abzulegen. Betroffen sind erstens permanent geöffnete und fortlaufend veränderte Datendateien, also Datenbankdateien, Skriptdateien und virtuelle Festplatten, wobei die Dokumentation konkret pst, bat, cmd, com, cpl, dll, exe, hta, js, jse, lnk, msi, pif, reg, scr, vb, vbe, vbs, mdb, ldb und vmdk nennt; zweitens Automatisierung, die Daten schneller erzeugt, als sie zum Portal synchronisiert werden können; und drittens Logging mit persistenten Schreibvorgängen. Für Umgebungen, in denen solche Daten aus I/O-Gründen auf einem lokalen Share liegen müssen, verweist CTERA auf den Support, was darauf hindeutet, dass die Konfiguration nicht trivial ist.
Ergänzend existiert eine Ausschlussliste für temporäre Dateien. Dateien der Typen tmp und temp werden nicht zum Portal synchronisiert, und in umgekehrter Richtung synchronisiert das Portal unter anderem Dateien nicht, die mit ~$, .ctera.tmp oder ._ beginnen, Dateien der Typen tmp, temp und swp, Dateien mit Namen wie desktop.ini, Thumbs.db oder .DS_Store sowie Dateien, die auf Zone.Identifier enden. Dateitypen der Ausschlussliste werden zudem nicht in Antiviren-Hintergrundscans einbezogen, nicht für lokale Deduplication berücksichtigt, nicht auf lokale Quotas angerechnet und nicht aus dem Cache evicted.
Die architektonische Konsequenz ist eine Klassifikationsaufgabe, die vor der Migration erledigt werden muss: Welche der heute auf den abzulösenden Fileservern liegenden Daten sind überhaupt Kandidaten für ein Global File System, und welche benötigen weiterhin lokalen, nicht synchronisierten Storage? Ein Standort, dessen Fileserver auch Datenbankdateien, Backup-Images oder Applikations-Logs beherbergt, wird nach der Migration nicht ohne lokalen Storage auskommen, was sowohl die Hardwareplanung als auch die Kostenrechnung beeinflusst. Die Discovery-Funktion liefert für diese Klassifikation die Datengrundlage, weil sie die Dateitypverteilung je Share nach Anzahl und Volumen ausweist.
Die Migration ist häufig schwieriger als die Zielarchitektur
Die Einführung eines Global File Systems beginnt normalerweise nicht mit einem leeren Namespace. Bestehende Fileserver enthalten jahrelang gewachsene Verzeichnisstrukturen, NTFS-ACLs, verschachtelte Gruppen, lange Pfade, problematische Dateinamen, historische Daten, Snapshots und Anwendungsabhängigkeiten. Die Migration wird damit zu einem eigenständigen technischen Teil des Projekts.
ACLs sind schwieriger als die Nutzdaten
Wir haben wiederholt komplexe ACL-Strukturen als zentrale Herausforderung erlebt. Das Problem liegt dabei nicht im Kopieren der Nutzdaten, sondern in der korrekten Übernahme der semantischen Zugriffsstruktur, denn bei gewachsenen Windows-Umgebungen können Berechtigungsvererbungen, Gruppenstrukturen und Ausnahmen erheblich komplexer sein als die eigentliche Verzeichnisstruktur.
Eine strukturelle Vorgabe der Zielplattform ist dabei zu berücksichtigen: CTERA legt migrierte Shares nicht auf Cloud-Folder-Root-Ebene an, sondern auf Unterordnerebene, weil ACL-Berechtigungen auf Root-Ebene nicht verwaltet werden können. Das beeinflusst die Zielstruktur des Namespace und damit auch Pfadlängen und bestehende Verknüpfungen.
Pfad- und Dateinamen
Auch klassische Windows-Migrationsthemen wie problematische Namen und zu lange Pfade haben wir in Projekten beobachtet. Hier zeigte sich ein praktischer Unterschied zwischen allgemeinen Kopierwerkzeugen und produktspezifischen Migrationsmechanismen, denn CTERA Migrate konnte mit bestimmten problematischen Strukturen umgehen, bei denen Robocopy Fehler erzeugte und anschließend manuelle Nacharbeiten erforderlich wurden.
Alternate Data Streams gehen verloren
CTERA Migrate migriert Alternate Data Streams nicht, weder bei einer Migration über SMB noch über NFS. Bei NFS gilt dies zusätzlich für macOS-Tags und POSIX-ACLs, wobei POSIX-ACLs bei aktivierter Option zur Migration von NT-ACLs übernommen werden.
Das ist keine Randnotiz. Alternate Data Streams werden von einer Reihe von Anwendungen für Metadaten genutzt, und auch die Windows-Zone-Identifier-Information geht verloren, was konsistent damit ist, dass das Portal Dateien, die auf Zone.Identifier enden, ohnehin nicht synchronisiert. Wo Alternate Data Streams produktiv genutzt werden, ist vor der Migration zu klären, welche Information dort abgelegt ist und ob sie auf anderem Weg erhalten werden muss.
Historische Snapshots sind ein eigenes Migrationsproblem
Eine der technisch interessanteren Erfahrungen betraf nicht die aktiven Daten, sondern die Vergangenheit. Ein bestehender Fileserver kann neben seinem aktuellen Datenbestand zahlreiche historische Snapshots enthalten, und diese einfach als zusätzliche Dateien zu kopieren, bildet die ursprüngliche Snapshot-Semantik in der Zielplattform nicht ab.
In einem von uns begleiteten Projekt bestand eine erhebliche Herausforderung darin, historische Snapshots einer Altplattform in die Snapshot- beziehungsweise Versionsarchitektur der Zielplattform zu überführen. Dieser Punkt wird bei Migrationsplanungen leicht unterschätzt.
Die Frage lautet nicht nur, wie der aktuelle Datenbestand migriert wird, sondern welche historischen Versionen nach der Migration weiterhin verfügbar sein müssen und in welcher semantischen Form. Je länger die geforderte Historie, desto relevanter wird diese Frage für Migrationszeit, Datenvolumen und Validierung.
Der File Service kann verfügbar sein, ohne dass der Zugriff funktioniert
Ein Global File System beseitigt die klassischen Infrastrukturabhängigkeiten eines Enterprise File Service nicht. Vier davon sind in unseren Projekten wiederholt als reale Störungsursache aufgetreten, und alle vier haben gemeinsam, dass sie technisch unspektakulär sind und trotzdem den gesamten File Service für einen Standort unbrauchbar machen können.
Active Directory und DNS
Fehler in DNS- oder AD-Infrastrukturen haben in von uns begleiteten Umgebungen wiederholt zu Störungen geführt. Aus Benutzersicht erscheint das zunächst als File-Service-Problem, denn der Edge Filer kann technisch verfügbar sein, während Authentifizierung oder Namensauflösung nicht korrekt funktionieren.
Für das Troubleshooting ist deshalb die Unterscheidung wichtig, dass ein verfügbarer File Service nicht dasselbe ist wie ein funktionierender vollständiger Benutzerzugriff.
Zeitsynchronisation
Die Zeitsynchronisation ist eine harte Abhängigkeit mit klar dokumentierter Schwelle: Weicht die Uhr des Edge Filers um mehr als eine Stunde von der Portal-Uhr ab, nach Berücksichtigung der Zeitzonendifferenz, synchronisiert der Edge Filer den Cloud-Drive-Ordner nicht.
Diese Abhängigkeit besteht, weil die Konfliktauflösung auf der zeitlichen Reihenfolge von Änderungen beruht. Ohne verlässliche Zeitbasis kann nicht entschieden werden, welche Version die aktuellere ist. NTP-Konfiguration ist damit keine Formalie der Grundinstallation, sondern eine funktionale Voraussetzung der Synchronisation.
Zertifikate
Auch Zertifikate gehören zu den wiederkehrenden betrieblichen Abhängigkeiten, und wir haben abgelaufene Zertifikate als reale Fehlerursache erlebt. Das ist technisch wenig spektakulär, aber betrieblich relevant, weil in einer verteilten Architektur zahlreiche Kommunikationsbeziehungen existieren, die auf TLS und gültigen Zertifikaten beruhen. Certificate Lifecycle Management gehört deshalb ebenso zum Plattformbetrieb wie Storage-Kapazität und Synchronisationsüberwachung.
Getrennte Netzwerkpfade im Troubleshooting
In produktiven Umgebungen haben wir sowohl Fälle mit nicht erreichbarem Object Storage als auch mit nicht erreichbarem Portal beobachtet, wobei die Ursachen nach unserer Erfahrung häufig im Netzwerk und nicht unmittelbar in der jeweiligen Plattformkomponente lagen.
Diese Erfahrung unterstreicht die Bedeutung der getrennten Datenpfade. Ein Administrator sollte nicht pauschal prüfen, ob die Plattform erreichbar ist, sondern getrennt die Verbindungen vom Edge Filer zum Portal, vom Edge Filer zum Object Storage, vom Client zum Edge Filer sowie vom Edge Filer zu AD und DNS. Bei aktiviertem Direct Mode können Portal- und Storage-Pfad zudem unterschiedliche Netzwerkrouten und Firewall-Regeln besitzen, und das Troubleshooting-Konzept sollte diese Abhängigkeiten explizit abbilden.
Upgrades
Wir haben zahlreiche Umgebungen über längere Zeit begleitet und bei Upgrades bislang keine grundsätzlichen Upgrade-Probleme beobachtet.
Diese Aussage darf nicht verallgemeinert werden. Sie bedeutet, dass in den von uns begleiteten Upgrade-Vorgängen bislang keine relevanten systematischen Probleme aufgetreten sind, nicht aber, dass jedes Upgrade jeder Version unter allen Bedingungen risikolos ist. Gerade bei einer verteilten Plattform müssen Portal, Edge Filer, Clients, Funktionen und Kompatibilitäten weiterhin versionsbezogen geprüft werden, insbesondere dort, wo Funktionen wie Global File Locking an konkrete Mindestversionen gebunden sind.
Der Object Storage wird abstrahiert, seine Eigenschaften nicht
Die persistente Datenebene liegt auf einer Object-Storage-Infrastruktur, und der File Service ist von dieser Ebene entkoppelt.
In von uns begleiteten Umgebungen wurden unter anderem AWS S3, Ceph, NetApp, EMC, Microsoft Azure Blob Storage und Cloudian als Backend eingesetzt. Grundsätzliche Probleme, die sich aus dem jeweiligen Storage-Backend als solchem ableiten ließen, haben wir dabei nicht beobachtet.
Das ist architektonisch relevant, darf aber nicht überinterpretiert werden. Es bedeutet nicht, dass alle Object-Storage-Systeme identische Eigenschaften besitzen, denn Durability, Availability, Latenz, API-Verhalten, Failure Domains, Geo-Redundanz, Kosten und Betriebsmodell können sich erheblich unterscheiden. Die Plattform abstrahiert den Storage für den File-Service-Layer, sie beseitigt aber nicht die Eigenschaften des zugrunde liegenden Storage-Systems. Ein konkretes Beispiel für eine solche nicht abstrahierte Eigenschaft ist die Frage, ob der Nutzdatenverkehr überhaupt am Portal vorbeigeführt werden kann.
Was Direct Mode leistet
Bei aktiviertem Direct Mode werden Daten direkt vom und zum Storage Node übertragen und nicht über das Portal; nur die Metadaten werden vom Endpoint zum Portal übertragen. Damit ergibt sich logisch eine Trennung in zwei Pfade, einen Control- und Metadatenpfad zwischen Edge Filer und Portal sowie einen Datenpfad zwischen Edge Filer und Object Storage.
CTERA beziffert die mögliche Verbesserung der Transferrate mit bis zu Faktor 10 gegenüber dem Betrieb ohne Direct Mode, abhängig von Faktoren wie Plattentyp, Netzwerklatenz und der Frage, ob auf dem Portal Antivirensoftware läuft. Die Daten werden dabei in Chunks zerlegt und mit bis zu 100 parallelen Verbindungen pro Endpoint direkt zum Storage Node übertragen. Der Transfer erfolgt über HTTPS, ab Edge Filer 7.8.x mit TLS 1.3, und ist Direct Mode gesetzt, wird die HTTPS-Option automatisch aktiviert und kann nicht mehr deaktiviert werden. Als besonders geeignete Einsatzfelder nennt CTERA verteilte datenintensive Workloads wie Mediendateien, medizinische Bildgebung und Videoüberwachung.
In ungefähr 80 Prozent der von uns begleiteten Umgebungen wurde dieser direkte Datenpfad praktisch eingesetzt beziehungsweise bestätigt, und Probleme mit dem grundsätzlichen Mechanismus haben wir dabei nicht beobachtet.
Die Topologie muss die Trennung tatsächlich abbilden
Befindet sich ein Standort in einem sternförmigen Unternehmensnetz, in dem der gesamte Datenverkehr ohnehin über einen zentralen Hub geführt wird, verkürzt Direct Mode nicht automatisch den physischen Netzwerkpfad. Die logische Trennung von Portal und Storage bleibt bestehen, der topologische Vorteil kann jedoch gering ausfallen.
Die Deduplizierung wird gröber
Für Storage Nodes mit Direct Mode empfiehlt CTERA, die Deduplizierungsmethode auf Fixed Blocks umzustellen und die voreingestellte Blockgröße von 4 MB beizubehalten. Die Voreinstellung ohne Direct Mode ist dagegen eine Average Block Size von 512 KB, und die Dokumentation ist explizit: Eine kleinere Average Block Size ermöglicht bessere Deduplizierung, weil das Portal feiner granulierte Duplikate erkennen kann.
Der Faktor zwischen beiden Einstellungen beträgt knapp acht. Wie stark sich das auswirkt, hängt vom Datenprofil ab, denn bei Mediendateien, bei denen Deduplizierung ohnehin selten greift, ist der Verlust gering, was CTERA als Begründung für Fixed Blocks bei großen Dateien ausdrücklich anführt. Bei Office-lastigen Beständen mit vielen ähnlichen Dokumentversionen kann der Effekt auf den Storage-Verbrauch dagegen erheblich sein. Diese Abwägung ist vor der Konfiguration des Storage Node zu treffen, denn die Konfiguration einer Folder Group lässt sich nachträglich nicht ändern; eine Änderung erfordert das Anlegen einer neuen Folder Group und das Verschieben der Dateien.
Der wahlfreie Zugriff im Stream wird eingeschränkt
Werden Dateien direkt aus dem S3-Storage geholt, werden sie sequenziell gestreamt, weil der Download sehr schnell erfolgt. Wahlfreier Zugriff wird erst dann implementiert, wenn der Benutzer auf einen Punkt zugreifen möchte, der mehr als 500 MB vom aktuell gestreamten Punkt entfernt liegt.
Das ist die praktisch relevanteste der drei Einschränkungen, weil sie ausgerechnet die Anwendungsfälle betrifft, für die Direct Mode empfohlen wird. Anwendungen, die innerhalb sehr großer Dateien springen, etwa in Videoschnitt, Bildgebung oder bestimmten Analysewerkzeugen, profitieren vom höheren Durchsatz, verlieren aber die feingranulare Sprungfähigkeit innerhalb eines 500-MB-Fensters.
Die Entscheidung gehört pro Storage Node getroffen
Direct Mode ist damit keine generische Beschleunigungsoption, sondern eine Abwägung zwischen Transferrate einerseits und Deduplizierungsgrad sowie Zugriffsmuster andererseits. Die Entscheidung sollte pro Storage Node und mit Kenntnis des Datenprofils getroffen werden, nicht als Voreinstellung.
Hinzu kommt eine Verfügbarkeitsfrage, denn Direct Mode ist eine Eigenschaft des jeweiligen Storage-Node-Typs, und in der Dokumentation ist die Option für einzelne Backends als künftige Funktion gekennzeichnet. Ob der direkte Datenpfad für ein konkret geplantes Backend in der geplanten Version tatsächlich verfügbar ist, gehört deshalb in die Beschaffungsprüfung und nicht in die Annahmen der Architekturplanung. Das ist ein gutes Beispiel dafür, warum ein dokumentiertes Feature allein weder eine Netzwerkeigenschaft noch eine Backend-Eigenschaft garantiert.
Working-Set-Sizing ist auch eine Energieentscheidung
Die Verlagerung des persistenten Datenbestands in eine zentrale Object-Storage-Infrastruktur hat eine Konsequenz, die in Architekturdiskussionen selten quantifiziert wird: Sie verändert die Verteilung von Energiebedarf, Kühllast und Stellfläche über die Standorte hinweg.
Der Vergleich ist strukturell klar. Eine Architektur mit vollständigen Datenkopien an jedem Standort benötigt an jedem Standort Speicherkapazität in Höhe des Gesamtbestands, dazu die zugehörige Stromversorgung, Kühlung, Rack-Fläche und Wartung. Bei fünfzig Standorten und einem Gesamtbestand von 500 TB entstehen so 25 PB installierte Kapazität, von der der überwiegende Teil zu keinem Zeitpunkt aktiv genutzt wird. Eine Edge-Architektur benötigt an jedem Standort dagegen nur Kapazität in Höhe des lokalen Working Sets zuzüglich Reserve.
Damit ist die Cache-Dimensionierung nicht nur eine Performance- und Resilience-Frage, sondern auch eine Energiefrage. Jedes zusätzlich am Edge vorgehaltene Terabyte erzeugt an fünfzig Standorten fünfzigfachen Zusatzbedarf, und jedes Terabyte, das durch besseres Verständnis des Working Sets eingespart wird, spart entsprechend vielfach.
Für deutsche Unternehmen ist diese Betrachtung nicht optional. Das Energieeffizienzgesetz verpflichtet Rechenzentren ab bestimmten Anschlussleistungen zu Effizienzanforderungen, Abwärmenutzung und Berichtspflichten und adressiert dabei ausdrücklich auch kleinere Standorte, die in vielen Unternehmen bislang außerhalb des Energiemanagements standen. Eine Konsolidierung, die fünfzig Serverräume auf reine Cache-Kapazität reduziert, verändert für diese Standorte die regulatorische Ausgangslage.
PUE greift als Entscheidungskriterium zu kurz
An dieser Stelle ist eine methodische Warnung angebracht. Die Power Usage Effectiveness misst das Verhältnis der gesamten Rechenzentrumsleistung zur IT-Leistung. Sie ist eine Effizienzkennzahl und keine Verbrauchskennzahl, und genau darin liegt ihre Schwäche für Architekturentscheidungen.
Eine Konsolidierung von Edge-Standorten in ein zentrales Rechenzentrum verbessert den durchschnittlichen PUE fast zwangsläufig, weil kleine Serverräume mit ineffizienter Kühlung entfallen und ein professionell betriebenes Rechenzentrum an ihre Stelle tritt. Diese Verbesserung sagt jedoch nichts darüber aus, ob der absolute Energieverbrauch sinkt; er kann sogar steigen, etwa wenn die zentrale Infrastruktur großzügiger dimensioniert wird oder wenn zusätzliche Kopien für Georedundanz entstehen. Umgekehrt kann eine Architektur mit niedrigerem absolutem Verbrauch einen schlechteren PUE ausweisen, wenn ein Teil der Last an Standorten mit einfacher Kühlung verbleibt.
Für die Bewertung einer verteilten File-Architektur ist deshalb die absolute Energiebilanz über alle Standorte heranzuziehen, also die installierte Kapazität je Standort, deren Leistungsaufnahme im Betrieb, die zugehörige Kühllast und der Anteil tatsächlich genutzter Kapazität. Der PUE kann dabei als ergänzende Kennzahl für die Qualität der jeweiligen Infrastruktur dienen, nicht als Entscheidungskriterium für die Architektur.
Die Netzwerkseite gehört in die Rechnung
Vollständigkeitshalber gehört auf die andere Seite der Bilanz der Energiebedarf des zusätzlichen Datenverkehrs, denn eine Edge-Architektur erzeugt WAN-Verkehr, den eine vollständige lokale Kopie nicht erzeugt, und zwar bei jedem Cache Miss und bei jeder Synchronisation.
Nach unserer Erfahrung ist dieser Posten gegenüber der eingesparten Speicherkapazität in aller Regel klein, weil das Verhältnis von aktiv genutzten zu vorgehaltenen Daten typischerweise deutlich unter eins liegt. Belastbar quantifizieren lässt sich das jedoch nur mit dem tatsächlichen Zugriffsprofil eines Standorts, und genau dafür liefert die Discovery-Analyse die Datengrundlage. Wer die Energiebilanz einer Migration argumentieren will, sollte diese Zahlen erheben, statt die Einsparung zu schätzen.
Skalierung verursacht Arbeit, auch innerhalb der Systemgrenzen
Hohe dokumentierte Systemgrenzen bedeuten nicht, dass jede Operation unabhängig von der Größe konstant schnell bleibt.
Die dokumentierten Maximalwerte für Namespace und Dateianzahl sind hoch. Gleichzeitig zeigen unsere Projekte, dass Millionen Dateien innerhalb eines einzelnen Bereichs bei bestimmten Operationen zu erheblichen Laufzeiten führen können. Das ist bei Dateisystemen grundsätzlich nachvollziehbar, denn eine Operation über eine einzelne Datei unterscheidet sich algorithmisch und I/O-seitig fundamental von einer Operation, die einen sehr großen Namespace traversieren muss.
Ein konkretes Beispiel liefert die Eviction selbst. CTERA weist darauf hin, dass bei vielen zu prüfenden Dateien das gesamte Dateisystem gescannt werden muss, und empfiehlt zur Verkürzung dieser Laufzeit, lokale Deduplication auf dem Edge Filer zu aktivieren und eine vollständige Neuindizierung durchzuführen. Die Cache-Verwaltung selbst wird also mit wachsendem Namespace zu einer Operation mit relevanter Laufzeit.
Bei der Planung sollten deshalb mindestens vier Skalierungsdimensionen getrennt betrachtet werden: die Kapazität in TB oder PB, der File Count aus Dateien und Verzeichnissen, die Change Rate als Anzahl Änderungen pro Zeiteinheit sowie der Operation Scope, also die Anzahl der Namespace-Objekte, die eine bestimmte Operation untersuchen muss. Ein 200-TB-System mit wenigen großen Dateien verhält sich operativ völlig anders als ein 200-TB-System mit hunderten Millionen kleinen Dateien.
Was sich gegenüber klassischen verteilten Fileservern verändert
Aus den begleiteten Projekten lassen sich mehrere wiederkehrende Entscheidungskriterien erkennen.
Der Managementaufwand verschiebt sich. Bei klassischen Fileserver-Infrastrukturen müssen Server, Storage, Replikation, Kapazitäten und Datenverteilung häufig pro Standort geplant und betrieben werden, während eine Edge-Architektur einen erheblichen Teil dieser Logik in eine zentrale Plattform verlagert. Kunden haben die zentrale Administration und die vergleichsweise einheitliche Verwaltung verteilter Standorte in mehreren Projekten ausdrücklich als Entscheidungskriterium benannt.
Die Storage-Kapazität am Edge orientiert sich am Working Set statt am Gesamtbestand, mit den in Kapitel 11 beschriebenen Konsequenzen für Beschaffung, Stellfläche und Energie. Gleichzeitig erweitern sich die Kollaborationsmodelle, weil derselbe Datenbestand über verschiedene Zugriffsmethoden bereitgestellt werden kann und neben klassischen File Services weitere Zugriffswege integrierbar sind.
Kosten waren in realen Projekten ebenfalls ein Entscheidungskriterium. Eine allgemeine Aussage, dass eine Edge-Architektur grundsätzlich günstiger sei, lässt sich daraus jedoch nicht ableiten, denn die Wirtschaftlichkeit hängt unter anderem von der Anzahl der Standorte, der Edge-Kapazität, dem Storage-Backend, dem Netzwerk, der Lizenzierung einschließlich optionaler Lizenzen wie Global File Locking und dem Aufwand der abzulösenden Infrastruktur ab.
Was die Projekterfahrung über den Betrieb zeigt
Die von uns begleiteten Installationen reichen von kleineren Umgebungen mit ungefähr vier Standorten bis zu global verteilten Installationen mit etwa 150 Standorten und Datenbeständen bis ungefähr 1 PB. Über diese unterschiedlichen Größenordnungen zeigt sich ein wiederkehrendes Muster: Die reine Storage-Kapazität ist selten das schwierigste Problem.
Im praktischen Betrieb sind regelmäßig andere Themen entscheidend, nämlich den Cache richtig zu dimensionieren, Synchronisationszustände zu verstehen, große Namespaces zu beherrschen, bestehende ACLs sauber zu migrieren, problematische Legacy-Dateien zu behandeln, historische Versionen zu erhalten, Netzwerkpfade zu überwachen, DNS und AD stabil zu betreiben und die Abhängigkeiten zwischen Portal, Edge und Object Storage zu verstehen.
Ein Global File System sollte deshalb nicht ausschließlich anhand von Kapazität, Cache-Größe und WAN-Bandbreite dimensioniert werden. Es muss als verteiltes Gesamtsystem betrachtet werden.
Fazit
Ein edge-basiertes Global File System ersetzt das klassische Verhältnis von Fileserver und lokalem Storage durch eine verteilte Architektur. Der Benutzer arbeitet weiterhin mit bekannten File-Protokollen wie SMB oder NFS, doch hinter diesem Zugriff werden File Service, Cache, Namespace, Metadatensteuerung und persistente Speicherung voneinander getrennt.
Der Edge Filer stellt den lokalen File Service bereit, der Cache hält das aktive Working Set, das Portal koordiniert die globale Plattform und ihre Metadaten, und der Object Storage bildet die persistente Datenebene. Mit Direct Mode kann der Nutzdatenverkehr direkt zwischen Edge und Storage stattfinden, allerdings gegen eine Abwägung bei Deduplizierung und Zugriffsmuster. Daraus entsteht der entscheidende Unterschied zu einer reinen Fileserver-Replikation: Globale Verfügbarkeit bedeutet nicht, dass Daten überall vollständig gespeichert sein müssen.
Die Projekterfahrung zeigt gleichzeitig die Grenzen einer zu einfachen Betrachtung. Ein Global File System beseitigt weder WAN-Latenz noch Netzwerkabhängigkeiten, komplexe ACLs oder die operativen Herausforderungen sehr großer Namespaces. Es eignet sich nicht für jede Datenkategorie, und einzelne Funktionen sind an Lizenzen, Mindestversionen und abschließende Dateityplisten gebunden, die vor der Architekturentscheidung zu prüfen sind.
Es verschiebt vielmehr die Architektur von der vollständigen Verteilung von Daten hin zur gezielten Verteilung von Zugriff, Metadaten und lokal benötigten Working Sets. Genau diese Trennung ermöglicht Umgebungen mit vielen Standorten und Datenbeständen im hohen dreistelligen Terabyte- bis Petabyte-Bereich und macht Cache-Sizing, Synchronisation, Metadaten, Netzwerkpfade und Plattformbetrieb zu zentralen Bestandteilen der Architekturentscheidung.
Quellen
CTERA Networks: Sizing. CTERA Documentation, Stand 29.07.2026. Sizing-Kriterien, Discovery-Verfahren und dokumentierte Skalierungsgrenzen (10 Mrd. Dateien pro Portal; 250 Mio. Dateien bzw. 250 TB pro Cloud Folder; 250 Mio. Dateien bzw. 250 TB pro Folder Group).
CTERA Networks: Managing Caching. CTERA Edge Filer Documentation, Stand 03.03.2026. Stub-Modell, vollständiger Metadaten-Download, Streaming ab 10 MB, Eviction-Watermarks 75/65 Prozent, Ausnahmen von der Eviction, 25-Prozent-Reserve für Schreib-Bursts, Write Throttling, Conflict Resolution, Zeitsynchronisationsanforderung, Ausschlusslisten und nicht zu synchronisierende Dateitypen.
CTERA Networks: Configuring a Folder with File Locking. CTERA Portal Documentation, Stand 10.08.2026. Lizenzpflicht, Mindestversionen, SMB-Anforderung, abschließende Liste lockbarer Dateitypen, Verhältnis zu Conflict Files, Failure-Verhalten und administrative Lock-Freigabe.
CTERA Networks: Managing Zones. CTERA Portal Documentation, Stand 17.05.2026. Namespace-Segmentierung, Zweckbestimmung Privacy, Datenabflussverhinderung und Data Sovereignty, Zuordnung von Edge Filern und Ordnern zu Zones.
CTERA Networks: What is CTERA Direct Mode. CTERA Documentation. Direkter Datenpfad, Metadatenpfad zum Portal, parallele Verbindungen, TLS-Versionen und Einsatzempfehlungen.
CTERA Networks: Adding and Editing Storage Nodes sowie Virtual Portal Settings. CTERA Portal Documentation. Direct-Mode-Verfügbarkeit je Storage-Node-Typ, Empfehlung Fixed Blocks mit 4 MB, Average Block Size 512 KB als Voreinstellung und Auswirkung der Blockgröße auf die Deduplizierung.
CTERA Networks: Migrating Shares. CTERA Edge Filer Documentation. Migrationsverhalten bei NT-ACLs und POSIX-ACLs, fehlende Migration von Alternate Data Streams, Share-Anlage auf Unterordnerebene.
CTERA Networks: Planning, General and Port Requirements sowie Introduction to Global Administration. CTERA Portal Documentation. Portal-Rollen, Primary Server, HA-Mindestkonfiguration.
CTERA Networks: Configuring CTERA Portal Database for Backup and Restore. CTERA Portal Documentation. PostgreSQL, Backup, Continuous Archiving und Streaming Replication.
Bundesrepublik Deutschland: Gesetz zur Steigerung der Energieeffizienz in Deutschland (Energieeffizienzgesetz – EnEfG). Anforderungen an Rechenzentren, Abwärmenutzung und Berichtspflichten.
Welche Entscheidung steht bei Ihnen an?
Sie möchten eine bestehende Infrastruktur bewerten, eine neue Architektur planen oder eine konkrete technische Fragestellung klären? Sprechen Sie mit uns über Ihre Anforderungen.
Spezialist für moderne Dateninfrastruktur

