Durch parallele Verarbeitung von Speichervorgängen nutzen Serverbetriebssysteme nicht mehr nur lokale Festplatten, sondern fassen den Speicher im Netzwerk zusammen und nutzen diesen gemeinsam. Das Zusammenwachsen von Speicher und System ist auch an der Übernahme von EMC durch Dell zu sehen sowie den neuen Storage-Produkten verschiedener Hardware-Hersteller. Auch die Erweiterungen, die VMware und Microsoft in ihre Serveranwendungen integrieren, zeigen, dass Storage ein wichtiger Bereich ist, der parallel mit Serverbetriebssystemen weiterentwickelt werden muss. Storage und Server wachsen also immer mehr zusammen,
VMware vSAN und Microsoft Storage Spaces Direct
Beispiele für diese Technik sind VMware vSAN und Storage Spaces Direct in Windows Server 2016. Hier werden die lokalen Festplatten der Hosts zu einem virtuellen Gesamtspeicher zusammengefasst und allen Hosts zur Verfügung gestellt. Dadurch ergibt sich für Serverdienste und Hosts ein gewisser virtueller Speicher, der auf die physischen Speicher der einzelnen Server zurückgreifen kann. Auf dem gleichen Wege lässt sich ein Netzwerkspeicher anbinden. Auch hier besteht die Möglichkeit den Server zu einem virtuellen Pool zusammen zu fassen, und auf die verschiedenen Server zu verteilen.
In ähnlicher Form funktioniert das auch bei VMware vSAN. Sie können in der aktuellen Version einen Cluster auf Basis von vSAN mit bis zu 64 Knoten zur Verfügung stellen. Bei vSAN handelt es sich sozusagen um eine vSphere-basierte Software Defined Storage-Funktion für Rechenzentren. Einfach ausgedrückt, bietet vSAN die Möglichkeit den lokalen Plattenspeicher von 3 bis 64 ESXi-Hosts zentral im Cluster zur Verfügung zu stellen. Anschließend wird der Speicher als so genannter Shared-Storage in der vSphere-Infrastruktur zur Verfügung gestellt. Sie virtualisieren dadurch quasi den Plattenspeicher Ihrer Server.
Foto: Thomas Joos
Arbeitsspeicher, Netzwerk und Festplatten arbeiten zusammen
Die neuen Storage-Systeme in VMware und Windows-Servern bieten aber nicht nur das virtuelle Zusammenfassen von Speicher, sondern können auch die Qualität und die Geschwindigkeit des Speichersystems dazu nutzen, die Daten möglichst effizient abzulegen. Durch spezielle Storage-Verwaltungs-Systeme kann zum Beispiel Arbeitsspeicher, lokaler Festplatten-Platz (SSD und HDD) sowie Netzwerkspeicher gemeinsam verwaltet und effizient zur Verfügung gestellt werden.
Häufig verwendete Daten speichert die Lösung im Arbeitsspeicher der Hosts, weniger häufig verwendete Daten speichert das System auf SSD und eher selten verwendete Daten werden auf herkömmlichen Festplatten oder Netzwerkspeicher abgelegt. Für Server, Applikationen und Benutzer laufen diese Vorgänge vollkommen transparent ab.
Es steht ein zentraler Speicher zur Verfügung, der sich logisch aufteilen lässt und die verschiedenen Speicherarten verwaltet. Dadurch können Server sehr viel effizienter Daten speichern, als beim umständlichen direkten Zugriff auf einzelne Storage-Systeme.
Ein solches Beispiel ist Atlantis mit seiner Lösung Atlantis-USX. Bei Atlantis-USX handelt es sich um eine Software-Defined-Storage-Lösung, die den Datenspeicher in ihrem Netzwerk virtualisiert, beschleunigt und zentralisiert Ihren vSphere-Hosts zur Verfügung stellen. Die Lösung bietet im Vergleich zu VMware vSAN deutlich höheren Performance und mehr Einstellungsmöglichkeiten.
Storage Defined Network ist die Zukunft
Im Zentrum der Speicherverwaltung stehen also keine Speichercontroller mehr, die einzelne Bereiche im SAN/NAS oder lokale Festplatten verwalten, sondern Lösungen die Storage zentral im Netzwerk zur Verfügung stellen.
Herkömmliche Speichersysteme kommen mit dem wachsenden Datenspeicherbedarf nicht mehr mit. Immer mehr Server und Serverdienste benötigen lokalen Speicher oder Speicher im Netzwerk. Dieser Speicher muss durch spezielle Dienste verwaltet werden. Dabei kann es sich um interne Dienste, wie VMware vSAN, Microsoft Storage Spaces Direct oder Zusatzanwendungen handeln.
Solche Software Definied Storage-Systeme sind dazu in der Lage die immer wachsende Datenmenge effizient verwalten zu können. Denn neben der Virtualisierung und Optimierung des Speichers können diese Systeme auch Dupletten (Deduplizierung) zuverlässig finden und entfernen. Speichern Anwender, Serverdienste oder Betriebssysteme identische Daten, dann werden diese Dateien nicht mehrfach abgelegt, sondern nur noch einmal an einem definierten Ort. Alle Clients kennen diesen Speicherort und können auf diese Dateien direkt zugreifen. Das spart Speicherplatz und steigert die Effizienz des Datenspeichers.
In Zukunft könnte man mit einem sogenannten "Storage-Definied-Networking" Serverdienst auf virtuellen oder physischen Servern dafür sorgen, dass alle Systeme im Netzwerk genügend Speicher zur Verfügung haben. Das würde Administratoren entlasten, da Freigaben nicht mehr manuell verwaltet werden müssen. Außerdem lässt sich der Datenspeicher dadurch wesentlich flexibler zuordnen. Zudem würde jeder Server sowie jede Serveranwendung genau den Speicherplatz erhalten, den sie benötigt.
- Big Data
Unternehmen sollten sich im Klaren sein, welche Daten sie erfassen und welche Ergebnisse sie erzielen wollen. Für Big Data sollten möglichst viele bis alle Daten erfasst werden können. Im Gegensatz zu BI-Lösungen sollten sich Verantwortliche nicht in Nebensächlichkeiten verstricken, sondern immer das große Ganze sehen. - Big Data
Der Branchenverband BITKOM bietet eine kostenlose PDF-Datei, die als Leitfaden für Big Data-Projekte verwendet werden kann. - Big Data
Mit Hadoop und HDInsight in Microsoft Azure können Sie Big Data auch in der Microsoft Cloud betreiben. - Big Data
Um sich mit Hadoop und Big Data zu beschäftigen, ist HDInsight der schnellste Weg. Microsoft stellt für Entwickler eine Offline-Testumgebung für HDInsight zur Verfügung. - Big Data
Um Big Data-Lösungen zu nutzen, benötigen Sie in den meisten Fällen eine NoSQL-Datenbank, zusätzlich zu vorhandenen Datenbanken, beispielsweise MongoDB. - Big Data
Wer sich etwas mit Big Data bereits auseinandergesetzt hat und Lösungen in diesem Bereich einsetzt, kann die Umgebung mit weiteren Möglichkeiten erweitern. Auch hier steht eine Vielzahl an Opensource-Pridukten zur Verfügung, zum Beispiel Apache Giraph. - Big Data
Microsoft noch das kostenlose ebook „Introducing Microsoft Azure HDInsight“ zur Verfügung. Diese bietet einen idealen Einstieg in die Möglichkeiten von Big Data, HDInsight und Hadoop, auch für andere Plattformen. - Big Data
HBase kann als Datenbank für Big Data-Lösungen genutzt werden. Diese Technologie baut auf Google Big Table auf und kann sehr große Datenmengen speichern. - Big Data
Die meisten Unternehmen nutzen für die Verarbeitung von Big Data vor allem Hadoop-Distributionen oder Cloud-Lösungen. Die meisten Tools und Distributionen gehören zum Apache Projekt. Apache Mahout erlaubt eine bessere Verwaltung der Daten in Hadoop. - Big Data
Cloudlösungen bei Microsoft Azure, Google Cloud Platform oder Amazon Web Services, werden oft nach Datenvolumen berechnet und Berechnungsdauer. Entwickler sollten in die Abfragen und die Big Data-Anwendungen daher auch das Herunterfahren und Ausschalten von Big Data-Umgebungen einbeziehen.
Big Data - der Speicherfresser
Neue Bereiche wie Big Data benötigen immer mehr Speicherplatz um die riesigen Datenmengen zu speichern, die in Echtzeit verarbeitet werden müssen. Hierbei ist es wichtig, dass Compute und Storage zusammenarbeiten. Auch Speicherkapazitäten in der Cloud werden in diesen Bereichen eingebunden und in lokalen Netzwerken als Storage zur Verfügung gestellt. Beispiele dafür sind Microsoft Azure Data Lake und StorSimple.
Microsoft bietet in Azure neue Speicherungsmöglichkeiten für sehr große Datenmengen. Azure Data Lake erlaubt die Speicherung beliebiger Daten in sehr hoher Menge (Petabyte) direkt in der Cloud. Microsoft verspricht mit dieser Technologie eine nahezu unbegrenzte Datenspeicherung. Data Lakes sind einfach ausgedrückt, eine firmeninterne Speichermöglichkeit für alle Formen von Daten aus beliebigen Quellen.
Anwender im Unternehmen, können auf Basis Ihrer Berechtigungen, auf diese Daten zugreifen und analysieren. Für gewöhnlich liegen die Daten im Data Lake in unveränderter Form vor. Sie werden also nicht transformiert. Der Zugriff auf den Data Lake erfolgt mit verschiedenen Analyse-Werkzeugen, welche die Daten erst für den eigenen Gebrauch umwandeln.
Bei StorSimple handelt es sich um eine zertifizierte Storage-Appliance, die lokale Speicherkapazitäten bietet und parallel noch Datenspeicher in Microsoft Azure. Die Anbindung an interne Netzwerke erfolgt über 10 Gigabit-LAN-Leitungen und iSCSI-Targets. Unternehmen die eine große Menge an lokalen Speicher benötigen, aber parallel noch Daten in die Cloud auslagern wollen, können mit Microsoft Azure und StoreSimple als Hybrid Cloud Storage Speicher lokal und in der Cloud zur Verfügung stellen. Zusätzlich bietet Microsoft virtuelle Hardware-Appliances mit der Bezeichnung StorSimple Virtual Appliance an. (hal)