Eine Dekade im Blick: Herausforderungen bei der Datenspeicherung 2014 und heute
April 2024 von Federica Monsone, founder and CEO, A3 Communications
Einstein wusste, dass die Wahrnehmung, wie schnell die Zeit vergeht, von der Perspektive des jeweiligen Beobachters abhängt. Und für einen Hund mag sich ein Jahr etwa genauso anfühlen wie die Spanne von sieben Jahre für einen Menschen.
In der Datenspeicherungsbranche jedenfalls vollziehen sich Veränderungen viel schneller als in vielen anderen Bereichen menschlicher Aktivitäten. Wir haben ein Expertengremium gebeten, die Herausforderungen der Datenspeicherung und -verwaltung, mit denen Unternehmen vor zehn Jahren konfrontiert waren, mit denen von heute zu vergleichen. Wir haben das Gremium auch gebeten, die Art und Weise zu erörtern, in der die aktuelle Speicherlandschaft und ihre zunehmend komplexen Herausforderungen die Technologieentwicklungen beeinflussen.
Was damals war, was heute ist: Speicheranforderungen im Wandel
Mehr als ein Experte auf unserem Podium gibt zu Protokoll, dass die Herausforderungen bei der Datenspeicherung, mit denen IT-Organisationen im Jahr 2014 konfrontiert waren, denen von heute sehr ähnlich sind - zumindest auf hohem Niveau. "Die Herausforderungen haben sich nicht sehr verändert, auch wenn sich die Technologie geändert hat. Die größte Herausforderung war wahrscheinlich der Umgang mit den ständig steigenden Anforderungen an die Speicherkapazität. Die zweite Herausforderung war der Schutz der Daten. Auch wenn die Intensität der Ransomware-Angriffe nicht so hoch war wie heute, war der Datenschutz ein wichtiges Thema. Die dritte Herausforderung bestand darin, dass nicht genügend Mitarbeiter zur Verfügung standen, um das Speicheraufkommen zu bewältigen. Dieses Personalproblem hat sich seitdem nur noch verschlimmert", so Randy Kerns, Senior Strategist und Analyst beim Analystenunternehmen Futurum Group.
Brock Mowry, CTO & VP of Products beim Speichersystemanbieter Tintri, stimmt dem zu, fügt aber eine wichtige Einschränkung hinzu. "Die Herausforderungen sind im Grunde die gleichen wie vor zehn Jahren, aber der Umfang und das Ausmaß dieser Herausforderungen haben sich dramatisch verändert", sagt er.
Knackpunkt Speicherkapazität: Datenwachstum und kein Ende
Erfane Arwani, CEO von Biomemory, einem Start-up-Unternehmen, das sich auf die Speicherung und Synthese von DNA spezialisiert hat, betont die Schwierigkeiten, mit dem Datenwachstum im Jahr 2014 Schritt zu halten. "Unternehmen kämpften damit, das exponentielle Datenwachstum mit Technologielösungen zu bewältigen, die noch nicht für große Datenmengen optimiert waren." Arwani weist darauf hin, dass die Festplattenkapazitäten von Unternehmen vor zehn Jahren nur zwischen 1 TB und 4 TB lagen. In der Dekade seither sind die Festplattenkapazitäten sprunghaft angestiegen. Festplatten mit der höchsten Kapazität können heute 30 TB verarbeiten. Gleichzeitig hat die Nutzung von Flash-Speichern in Rechenzentren stark zugenommen, und die größten Flash-Laufwerke für Unternehmen verfügen jetzt über eine Kapazität von über 60 TB.
Im Jahr 2014 konzentrierten sich Unternehmen noch auf die Speicherung On-Prem und nutzten öffentliche Cloud-Speicherdienste in geringerem Umfang als heute. "Es ging um die Wahl zwischen NAS und SAN, und Cloud-Lösungen waren mit Eisbädern vergleichbar - vorteilhaft, aber nicht für jeden geeignet", so Ferhat Kaddour, Vice President of Sales and Alliances bei Atempo, einem Anbieter von Datenschutz- und Verwaltungssoftware. Die Sicherstellung einer ausreichenden Gesamtkapazität für ein Unternehmen sei eine vielschichtige Aufgabe. "Die Herausforderung der Skalierbarkeit bestand in der Vorhersage des künftigen Speicherbedarfs, der Optimierung der Speichernutzung sowie der Implementierung effektiver Strategien für die Speicheraufteilung", so Drew Wanstall, Vice President of Business Development bei Scale Logic, einem Anbieter von Speicher- und Workflow-Infrastrukturen für die Medienproduktion.
Heute wächst die Datenmenge immer noch rasant. "Es ist interessant zu sehen, wie die Daten in einem verrückten Tempo wachsen", sagt Enrico Signoretti, Vizepräsident für Produkte und Partnerschaften bei Cubbit, einem Anbieter von geodistributiven Cloud-Speichersystemen. Valéry Guilleaume, CEO von Nodeum, einem Anbieter von Datenverwaltungssoftware, nannte einige der neuen Datenquellen, die dieses Wachstum vorantreiben und bereits die Ära der so genannten Big Data eingeläutet haben. "Heute sind es nicht mehr nur die Nutzer, die Daten erzeugen, sondern auch die Systeme, die in den einzelnen Branchen entwickelt werden, etwa datenerzeugende Autos, elektronische Mikroskope, Blade-Scanner oder auch seismische Sensoren. Diese neuen Quellen erzeugen Daten mit einer Geschwindigkeit, die mit den datenerzeugenden Quellen von vor zehn bis fünfzehn Jahren nicht vergleichbar ist."
Die Schwierigkeit, die physische Speicherkapazität zu erhöhen, um mit dem Datenwachstum Schritt zu halten, wurde jedoch durch die zunehmende Nutzung öffentlicher Cloud-Speicher sowie durch Verbesserungen in der Datenspeichertechnologie zumindest in gewissem Maße gemildert. Unter den technologischen Entwicklungen der letzten zehn Jahre ist vor allem der enorme Preisverfall bei Flash-Speichern zu nennen, der zu einer weit verbreiteten Nutzung von Flash-Speichern in Unternehmensrechenzentren geführt hat. "Die Kapazitätsnachfrage hält an, aber der Umfang und die Leistung von Flash ermöglichen eine größere Konsolidierung und weniger physische Systeme, einen geringeren Energie-, Kühlungs- und Platzbedarf sowie einfachere Mittel zur Leistungssteigerung", so Kerns. "Die Technologie zur Lösung von Problemen ist verfügbar und effektiver als vor zehn Jahren."
Auch wenn andere Podiumsteilnehmer der Meinung sind, dass die Skalierbarkeit von Speichern nach wie vor ein großes Problem darstelle, wird Kerns' Ansicht von anderen Branchenanalysten auf unserem Podium geteilt. "Mehr Daten machen die Verwaltung zwar komplexer, aber weniger komplex als in der Vergangenheit. Speicherlösungen sind heute viel besser skalierbar als früher. Die Datenexplosion, insbesondere im Bereich der künstlichen Intelligenz, birgt die Schwierigkeit, die richtigen Daten zu finden, sie in das richtige, saubere Format zu bringen sowie sie schnell verfügbar zu machen. Die Herausforderung heute liegt nicht so sehr in der Speicherung von Daten, sondern vielmehr in deren Nutzung", so Scott Sinclair, Practice Director beim Analystenunternehmen Enterprise Storage Group (ESG).
Datensicherheit, Datenschutz, Datenmobilität – moderne Anforderungen
David Norfolk, Praxisleiter beim Analystenunternehmen Bloor Research, sagt: "Die technischen Probleme von vor zehn Jahren sind weitgehend verschwunden. Speicher sind heute billig, zuverlässig und einfach zu skalieren. Aber das Speichermanagement - einschließlich des Bedrohungsmanagements – stellt heute einen Kostenfaktor dar."
Zu den von Norfolk angesprochenen Bedrohungen gehören auch Cyberangriffe, die nach Aussage mehrerer Experten auf unserem Podium in den letzten zehn Jahren erheblich an Zahl und Intensität zugenommen haben. "Die Sicherheit ist heute eindeutig die größte Herausforderung für die Datenspeicherung. Zwar gab es schon immer Sicherheitsbedrohungen durch böswillige Akteure und Nutzer, aber die heutigen Probleme sind in der Tat schwieriger und kostspieliger zu bewältigen, was auf die gut organisierten und finanzierten Ransomware-Akteure zurückzuführen ist, die oft staatlich unterstützten Gruppen angehören", so Paul Speciale, Chief Marketing Officer beim Objektspeicherspezialisten Scality.
"Angesichts des anhaltenden Ransomware-Booms und des Aufkommens bösartiger KI-Tools und As-a-Service-Cybercrime-Modelle steht der Datenschutz heute an der Spitze der Herausforderungen im Storage-Bereich. Die Zahl der Sicherheitsverletzungen nimmt nicht nur zu, sondern auch ihre Schlagkraft mit Blick auf verbesserten Taktiken (Mehrfacherpressung), oder den in letzter Zeit beobachteten Dual-Strain-Angriffen", so Sergei Serdyuk, Vice President of Product Management bei Nakivo, einem Anbieter von Lösungen für Backup, Ransomware-Schutz und Disaster Recovery.
Das ist nicht die einzige Veränderung in der IT-Landschaft, welche die Kosten für die Speicherverwaltung in die Höhe getrieben hat. Vor zehn Jahren wurde das Datenwachstum durch die allgemeine Digitalisierung der Wirtschaft und den zunehmenden Einsatz von Analysen angetrieben. Jetzt wird es auch durch die Notwendigkeit der Datenerfassung zum Trainieren von KI- und maschinellen Lernsystemen und, wie Guilleaume beschreibt, durch das Wachstum des Internets der Dinge (IoT) als Datenquelle befeuert. Obwohl der Begriff IoT bereits in den 1990er Jahren geprägt wurde, ist er erst in den letzten zehn Jahren zu einer alltäglichen Realität geworden. Gleichzeitig generieren Unternehmen auch mehr unstrukturierte Daten. Diese machen inzwischen den Großteil der von Unternehmen gespeicherten Daten aus. Im Gegensatz zu strukturierten Daten sind unstrukturierte Daten nicht nach einem vordefinierten Datenbankschema organisiert, was ihre Verwaltung erheblich erschwert.
Hohe Datenqualität – das A und O für ein zukunftsfähges Datenkonzept
"Heute muss man sich in einem riesigen Ozean von Big Data zurechtfinden. Von Kundeninteraktionen bis hin zu gesammelten Sensordaten - selbst kleinere Unternehmen verarbeiten Petabytes, größere sogar Exabytes. Die Schwierigkeiten liegen nicht nur in der schieren Menge der Daten, sondern auch in der strategischen Taktik, die erforderlich ist, um sie zu extrahieren, zu kategorisieren und zu schützen", so Kaddour. Norfolk von Bloor Research nennt ein kritisches Ziel, das bei der Verwendung unstrukturierter Daten schwer zu erreichen ist: "Qualität, denn die Daten stammen aus einem Sumpf und nicht aus einer richtigen Datenbank."
Edge Computing und die Nutzung von Public Clouds als Teil von Hybrid-Computing-Strategien haben die Datenspeicherung ebenfalls erschwert. "Die effiziente Verwaltung von Daten am Edge ist entscheidend geworden. Die Sicherstellung der Datenverfügbarkeit sowie die Ausfallsicherheit in verteilten Umgebungen stellen neue Herausforderungen dar", so Johan Pellicaan, Vice President und Managing Director bei Scale Computing, einem Anbieter von Edge-Computing-, Virtualisierungs- und Hyperconverged-Lösungen.
Unternehmen müssen nicht nur ihre Daten am Edge sichern, sondern auch in der Lage sein, Daten zwischen verschiedenen Standorten zu verschieben. "Die heutigen Herausforderungen stehen alle im Zusammenhang mit der Bewegung von Daten in Multi- und Hybrid-Cloud-Umgebungen. Etwa 50 % der Unternehmen geben an, dass sie ständig oder regelmäßig Daten zwischen On- und Off-Prem-Umgebungen verschieben. Diese Problemstellungen sind schwieriger anzugehen, weil die Umgebungen so unterschiedlich sind, wenn sich die Daten über AWS, Azure, GCP, das Rechenzentrum, Edge etc erstrecken", so Sinclair von ESG.
Wie unabhängig sind die Daten? Cloud und die Frage der Souveränität
Datenbewegungen sowie die Notwendigkeit der Interoperabilität zwischen verschiedenen Rechenzentren stellen nicht die einzigen Herausforderungen dar, die durch Public Cloud Computing entstehen. "Da öffentliche Clouds eine der wichtigsten Lösungen für Unternehmen zur Aufbewahrung ihrer Daten darstellen, erzeugt die Abhängigkeit von diesen externen Anbietern eine wachsende Herausforderung mit Blick auf die Geschäftskontinuität und Datensouveränität", so Ricardo Mendes, Mitbegründer und CEO von Vawlt, einem Anbieter von Speicher- und Sicherheitssoftware. Auch andere Experten auf unserem Podium bezeichnen die Datensouveränität als eine Herausforderung für Unternehmen, die sich auf öffentliche Clouds verlassen. Für Cubbit gibt Signoretti zu Protokoll: "Das Navigieren durch komplexe Vorschriften zur Datenhoheit, wie etwa im Kontext von GDPR und NIS2, erhöht die Komplexität für Unternehmen."
Öffentliche Cloud-SaaS-Dienste haben darüber hinaus zusätzliche Standorte eingeführt, an denen Daten geschützt werden müssen. "Ein großer Unterschied besteht heute in der Anzahl unterschiedlicher Orte, an denen Unternehmen kritische Daten aufbewahren. Dies wird besonders deutlich, wenn man die zunehmende Nutzung von SaaS-Anwendungen betrachtet. Ein durchschnittliches mittelständisches Unternehmen nutzt mehr als 200 SaaS-Anwendungen, aber es gibt nur wenige Optionen für eine Datensicherung der Unternehmensklasse, die so skaliert werden kann, dass sie diese Anwendungen schützt und eine schnelle, granulare Wiederherstellung ermöglicht", so Kim King, Senior Director of Product Marketing beim Anbieter von Backup-Software HYCU. King zufolge zielen über 50 % der erfolgreichen Ransomware-Angriffe auf SaaS-Anwendungen ab.
Kerns bestätigt diese Ansicht zum Datenschutz bei SaaS. "Die Erfüllung der Unternehmensanforderungen an den Schutz von Datenbeständen sowohl in der öffentlichen Cloud wie auch On-Prem ist eine Herausforderung, die Anstrengungen und in der Regel neue Softwarelösungen erfordert." Mit dem Hinweis, dass Unternehmen aus den Fehlern anderer lernen sollten, fügt er hinzu: "Es existieren Fälle, in denen einige glaubten, dass dieser Aufwand für Daten in einer öffentlichen Cloud nicht notwendig sei."
Die öffentliche Cloud – wo Schatten ist, da ist auch Licht
Doch auch wenn öffentliche Clouds Herausforderungen mit sich bringen, geben mehrere Mitglieder unseres Gremiums zu Protokoll, dass zu den Vorteilen die Demokratisierung von Technologien gehört, die kleineren Unternehmen zugute kommt. Ein Beispiel hierfür nennt Norfolk von Bloor Research: "Früher gab es einen großen Unterschied zwischen großen Unternehmen mit richtigen Datenbanken und kleinen Unternehmen mit Datenspeichern, die ACID [Atomicity, Consistency, Isolation and Durability] nicht unterstützten. Die Cloud-Technologien haben das ausgeglichen."
Wir haben unsere Experten ferner gefragt, wie heutige Herausforderungen die von den Anbietern angebotenen Speichertechnologien und -dienste beeinflussen und verändern. Laut Serdyuk von Nakivo werden die Herausforderungen im Bereich Sicherheit durch die Entwicklung noch ausgeklügelterer Verteidigungsmaßnahmen gegen Cyberangriffe angegangen. "Die Anbieter integrieren fortschrittliche Verschlüsselungsmechanismen, Zugangskontrollen sowie Compliance-Funktionen in ihre Lösungen. Viele bieten sichere Enklaven und hardwarebasierte Sicherheit, um der sich entwickelnden Bedrohungslandschaft zu begegnen. Allerdings fehlt es vielen Speicherlösungen noch an umfassenden Backup- und Recovery-Tools", sagt er.
Die Notwendigkeit, Daten aus verschiedenen Quellen zu extrahieren und zu kategorisieren, treibt die Entwicklung von Softwaretools voran, die diesen Prozess automatisieren. Serdyuk: "Management-Tools wie Metadaten-Tagging, Versionskontrolle und Analysefunktionen gewinnen zunehmend an Bedeutung."
Multi-Cloud Lösungen - eine Antwort auf moderne Anforderungen
Mittlerweile benötigen Unternehmen auch Datenmanagement-Software, die sowohl hybride als auch Multi-Cloud-Infrastrukturen unterstützt. "Anbieter, die dies erkannt haben, entwickeln Lösungen, die eine einfache Integration mit verschiedenen Cloud-Anbietern, On-Prem-Infrastrukturen und gemischten Konfigurationen unterstützen. Sie bieten ferner Tools für die nahtlose Datenmigration und -synchronisation über verschiedene Umgebungen hinweg", so Serdyuk.
"Wir beobachten einen Druck zur Konsistenz der Technologie in verschiedenen Umgebungen. Einige Anbieter integrieren ihre Technologie in die Cloud", so Sinclair. Ein Beispiel für einen solchen Anbieter ist NetApp, dessen On-Prem-Storage- und Datenmanagement-Software jetzt auch in die öffentlichen Clouds AWS, Microsoft Azure und Google Cloud integriert ist. "Andere integrieren Technologien von Drittanbietern wie VMware oder Red Hat OpenShift, die an mehreren Standorten eingesetzt werden können", so Sinclair weiter.
Im Hinblick auf die Komplikationen, die sich aus der Notwendigkeit ergeben, die Datenhoheit aufrechtzuerhalten und unterschiedliche Datenvorschriften einzuhalten, die für die Datenspeicherung in mehreren öffentlichen Clouds über Landesgrenzen hinweg gelten können, sagt Signoretti: "Anbieter priorisieren souveräne Lösungen für regulierte Branchen wie etwa das Gesundheitswesen sowie den öffentlichen Sektor und betonen die Compliance in Regionen wie EMEA und APAC. Obwohl sie noch dem CLOUD-Gesetz unterliegen, haben Microsoft und AWS kürzlich souveräne Cloud-Speicherangebote eingeführt." Das CLOUD-Gesetz (Clarifying Lawful Overseas Use of Data) ist ein 2018 in Kraft getretenes US-Gesetz, das US- und Nicht-US-Behörden, die Straftaten untersuchen, das Recht gibt, auf Unternehmensdaten zuzugreifen, die von Dienstanbietern gespeichert werden.
In technischer Hinsicht verweist Craig Carlson, Berater des technischen Rats der Storage Networking Industry Association (SNIA), auf die Notwendigkeit, KI-Systemen einen schnellen Zugriff auf Daten zu ermöglichen. "KI wird derzeit durch die Untersuchung der Frage angegangen, was getan werden kann, um Netzwerke auf ihre höchste Leistung zu bringen und gleichzeitig hoch skalierbar zu sein. Diese Arbeit wird in Gruppen wie Ultra Ethernet fortgesetzt." Ein Gremium namens Ultra Ethernet Consortium entwickelt eine Architektur, die Ethernet so schnell wie aktuelle Supercomputer-Verbindungen machen soll, während es gleichzeitig hoch skalierbar, kosteneffektiv wie das aktuelle Ethernet (und dabei abwärtskompatibel) sein soll. Zu den Mitgliedern des stark geförderten Konsortiums gehören AMD, Arista, Broadcom, Cisco Systems, Huawei, HPE sowie Intel.
Unsere abschließenden Fragen an unsere Experten bezogen sich auf die zukünftigen Herausforderungen, die sie für Unternehmen erwarten, wenn die Datenmengen weiter wachsen, insbesondere im Zusammenhang mit KI und Maschinellem Lernen. "Mehr Daten führen absolut zu immer komplexeren Herausforderungen im Zusammenhang mit der Speicherung. Das Datenwachstum erhöht die Anforderungen in allen Dimensionen.", so Tintris Mowry.
Dringend benötigte Anpassungen werden wahrscheinlich durch Fortschritte bei den Datenverwaltungssystemen zur Verfügung stehen - die von Guilleaume erwähnte Metadatenkennzeichnung, Versionskontrolle und Analysefunktionen. Norfolk vermutet, dass KI diese und andere Fortschritte vorantreiben wird. "Die größten Herausforderungen heute bestehen im Kontext von KI und ihrem Appetit auf Daten - sowie in Fragen der Nachhaltigkeit und der Ressourcenkosten für riesige Datenmengen." "Die Datenqualität stellt ebenfalls eine große Schwierigkeit.dar. Entscheidungen sollten nicht auf veralteten, falschen oder verzerrten Daten beruhen. Insbesondere die KI kommt nicht gut damit zurecht, auf der Grundlage verzerrter Daten zu trainieren."
Datenspeicherung und Nachhaltigkeit – wohin geht die Reise?
Laut Guilleaume wird KI Fortschritte bei der Datenmobilität vorantreiben: "KI/ML wird den Bedarf an Datenmobilität zwischen den Ebenen, auf denen die Daten gespeichert werden, und denen, auf denen sie analysiert werden, weiter beschleunigen." Diese Fortschritte im Speichermanagement und in der Mobilität sind möglicherweise nicht nur auf die KI-Nutzung beschränkt. Carlson von SNIA sagt: "Es gibt immer ein Durchsickern von Technologie. So werden sich Technologien, die im Moment für die hochwertigsten KI-Rechenzentren entwickelt werden, in ein paar Jahren zum Mainstream mausern."
Norfolk war nicht der einzige Experte, der sich auf das Thema Nachhaltigkeit bezog. Roy Illsley, Chefanalyst des Forschungsunternehmens Omdia, sagt: "Wie können wir Datenspeicherung so 'grün' wie möglich gestalten? Irgendwann müssen wir entweder unser Leben und die Art und Weise, wie wir Dinge tun, ändern, oder die Technologie wird uns helfen. Ich denke, es wird eine Kombination aus beidem sein, was bedeutet, dass wir herausfinden müssen, wie wir weniger Daten erzeugen können oder aber genauer darüber Bescheid wissen, welche Daten wir haben."
Arwani nennt die Auswirkungen der Datenspeicherung auf die Umwelt, insbesondere in Bezug auf CO2-Emissionen sowie den Energieverbrauch, als eine der aktuellen Herausforderungen, neben der Interoperabilität der Plattformen sowie der Sicherheit. Er zitiert eine Schätzung der Internationalen Energieagentur (IEA), wonach der Stromverbrauch von Rechenzentren im Jahr 2022 etwa 1 % bis 1,3 % der weltweiten Nachfrage betrug. Die IEA prognostiziert, dass der Energieverbrauch von Rechenzentren bis 2026 um das Drei- bis Vierfache steigen könnte. "Diese Probleme sind kostspieliger und komplexer zu lösen, da sie nicht nur technologische Fortschritte, sondern auch ein Bewusstsein und Änderungen in der Datenverwaltung an sich erfordern", so Arwani.
Ausblick – welche Technologie hat Problemlöser-Potenzial?
Auf der Hardwareseite kommentiert Carlson die Tatsache, dass der Flash-Technologiekurve die Luft auszugehen scheine, da es für die Hersteller von Flash-Chips sehr viel schwieriger geworden sei, die Kosten zu senken, indem sie noch mehr Datenbits in jede Flash-Speicherzelle packten. "Wir dürfen gespannt sein, welche Technologie in den nächsten zehn bis 20 Jahren verlässliche Hochleistung in den Speicher bringen wird", sagt er. "Die langfristige Nutzung des derzeitigen Tape-Platten-Flash-Modells ist möglicherweise nicht machbar. Daher sehen wir die Entwicklung neuer (noch sehr experimenteller) Technologien, etwa die DNA-Speicherung."
Es überrascht nicht, dass Arwani von Biomemory die Ansicht vertritt, dass die DNA-Speicherung tatsächlich die Lösung darstellen wird. "Die Anbieter entwickeln umweltfreundlichere Lösungen, wie etwa Helium-Festplatten, die den Energieverbrauch senken, oder DNA-Speichertechnologien, wie sie von Biomemory und Catalog DNA entwickelt werden. Diese Technologien versprechen eine Speicherdichte von einem Exabyte pro Gramm und eine Haltbarkeit von mehreren Jahrtausenden. Darüber hinaus eröffnen sie die Möglichkeit neuer Anwendungsfälle, wie etwa die ersten Weltraum-Datenzentren."