computerwoche.de

Linux und Open Source

Grafana

Wie Observability zugänglich wurde

14.06.2023
Von 
Matt Asay ist Autor der US-Schwesterpublikation Infoworld.com.
Alle Posts des Autors
Grafana macht Softwareentwicklern seit zehn Jahren das Leben leichter. Und es ist kein Ende in Sicht.
Observability ist seit Grafana "ein Ding".
Observability ist seit Grafana "ein Ding".
Foto: panophotograph - shutterstock.com

Im "You build it, you run it"-Zeitalter hat sich Observability von einer Nischen-Disziplin im Bereich Platform- und Site-Reliability-Engineering zu einem riesigen Markt entwickelt. Laut den Marktforschern von IDC könnte dieser Bereich bis zum Jahr 2025 ein Marktvolumen von neun Milliarden Dollar erreichen. Das ist im Wesentlichen dem Open-Source-Projekt Grafana zu verdanken - einem quelloffenen, webbasierten Analytics- und Visualisierungs-Tool, das mit diversen Datenquellen kompatibel ist.

Als Grafana-Schöpfer Torkel Ödegaard 2014 sein Projekt zur Visualisierung von Service Behavior und -Performance vorstellte, suchten Unternehmen weltweit nach skalierbaren Methoden, um Fehler in Architekturen auf Microservices-Basis zu finden und zu beheben. Denn obwohl Continuous Delivery und Microservices den "Build"-Teil der eingangs genannten Gleichung dramatisch beschleunigen konnten, warf der "Run"-Teil jede Menge komplizierte Fragen auf, wenn es um Fehlerbehebung und Wartung der Services in der Produktion ging. Wie komplex sich das in der Praxis gestaltete, illustrierte Amazon-CTO Werner Vogels im Jahr 2008 mit seinem berühmten "Death Star"-Diagramm:

Grafana wurde entwickelt, um dieses Dilemma aufzulösen.

Der Weg zu Grafana v1

Ödegaard war Engineer bei eBay Schweden, als Microservices und Continuous Delivery durch die Decke gingen. Sein Streben danach, laufende Systeme beobachten zu wollen, führte ihn zur Zeitreihendatenbank Graphite. Die verfügte über integrierte und erstaunlich umfangreiche Diagramm- und Abfragefunktionen. Bei seiner Arbeit mit Tools wie StatsD und anderen Frameworks fiel Ödegaard auf, wie einfach es war, Metriken an Graphite zu senden, um sie grafisch darzustellen. In der Folge erschloss er eine neue Spielwiese für effektives Service Monitoring in Scale-Out-Umgebungen.

"Ich fand es einfach toll zu sehen, wie Applikationen und Services in Echtzeit zum Leben erwachten. Die Möglichkeit, sowohl Service Behavior und -Performance als auch Verhaltensmetriken zu visualisieren und zu sehen, wie sich diese in Echtzeit auswirken, war für mich wirklich transformativ", so der Grafana-Schöpfer.

Mit Graphite zu arbeiten, warf jedoch auch Probleme auf. Zum einen in Sachen Benutzerfreundlichkeit: Die eigentlichen Abfragen, Diagramme und Dashboards zu erstellen, gestaltete sich äußerst komplex. Zum anderen waren die Datenvisualisierungen nicht interaktiv. Es war also beispielsweise nicht möglich, in bestimmte Bereiche eines Diagramms "hineinzuzoomen". Kurze Zeit später folgte für Ödegaards Team bei eBay jedoch die Revolution in Form des Open-Source-Tools Kibana. Das quelloffene Werkzeug war darauf konzipiert, in Elasticsearch gespeicherte Protokolle zu durchsuchen.

Diese Entwicklungen inspirierten Ödegaard. Er stellte sich die Frage, wie man die Features von Kibana und Graphite vereinen könnte. Da Kibana exklusiv auf Elasticsearch ausgerichtet war, blieb für den Softwarespezialisten nur eine Konsequenz: Er verfolgte seine Vision in Form eines eigenen Kibana-Forks und begann Ende 2013 damit, Teile des Open-Source-Tools zu modifizieren, um Daten aus Graphite-Abfragen zu visualisieren. Das Ergebnis veröffentlichte der Entwickler im Januar 2014: Grafana v1.

Wie Grafana Branchenstandard wurde

Grafana war ein Instant-Hit bei Entwicklern, DevOps- und Plattform-Teams, die mit Zeitreihendaten arbeiteten. So entwickelte sich das Open-Source-Projekt schnell zur Defacto-Visualisierungs-Engine für Prometheus-Monitoring-Daten. Das war jedoch nur der Anfang: Grafanas offene Architektur und ein "Plug-in"-Modell ermöglichte Entwicklern, all ihre unterschiedlichen Daten einfach zu verbinden und zu visualisieren. Mit der Entscheidung, Grafana zu einem plattformübergreifenden Werkzeug zu machen, das multiple Datenquellen unterstützt, revolutionierten die Projektverantwortlichen die Monitoring-Branche, die bis dahin von proprietären Akteuren geprägt war.

Die Community, die sich um Grafana gebildet hat, nutzte das Plug-in-Modell, um Erweiterungen für so gut wie jeden gängigen Data Store bereitzustellen. Die User können ihre Infrastrukturdaten so mit Hilfe eines einzigen, quelloffenen Tools abfragen und die native Abfragesprache für jede Datenquelle einbringen. Dieses Daten-"Streamlining" und die Tatsache, dass es überflüssig wurde, neue Abfragesprachen zu erlernen, haben zu einer wesentlich optimierten Work Experience für Developer geführt (Stichwort "Tab-Hölle").

Darüber hinaus entwickelt sich Grafana zunehmend zum Branchenstandard für die Vereinheitlichung der "drei Säulen" der Observability: Logs, Traces und Metriken. Im Laufe der Jahre hat Grafana schrittweise skalierbare Backends für:

In der Praxis bieten nur alle drei Telemetrietypen in Kombination volle Transparenz. Grafana ermöglicht, diese in einer einzigen Ansicht abzufragen und zu korrelieren und reduziert so die kognitive Überlastung.

Grafanas glänzende Zukunft

Zehn Jahre nach seiner Entstehung hat Grafana die Marke von 20 Millionen Nutzern geknackt. Die Anwendungsfälle des Open-Source-Tools gehen inzwischen weit über Anwendungs- und Infrastruktur-Monitoring hinaus. Seine Visualisierungsfunktionen und die Möglichkeit, unterschiedliche Datenspeicher schnell zusammenzuführen, machen Grafana für Teams in den unterschiedlichsten Bereichen interessant. Zum Beispiel:

Grafana Labs, Ödegaards Unternehmen und Hauptsponsor von Grafana, pflegt zudem inzwischen gute Beziehungen beziehungsweise offizielle Partnerschaften mit etlichen Cloud-Hyperscalern, die sich in entsprechenden First-Party-Offerings niederschlagen - etwa bei:

Mit der GrafanaCon findet darüber hinaus auch eine jährliche Konferenz rund um das Open-Source-Tool statt. Im Jahr 2023 dreht sich der Event unter anderem um die kommende Version von Grafana (v10), die weitere, neue Funktionen bereithalten wird, um die Entwicklererfahrung in Sachen Observability und Visualisierung zu optimieren. Die weiterhin wachsende Community ist ein Garant dafür, dass das auch in den kommenden Jahren so bleiben wird. (fm)

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation Infoworld.