Das Verhältnis der Preis-Performance wird bestimmt, indem die jeweiligen Punktzahlen addiert und das Ergebnis anschließend halbiert wird. Eine Gewichtung beider Faktoren wird nicht vorgenommen, da je nach subjektiver Betrachtung der Preis oder die Performance einen höheren Stellenwert besitzt.

Die Anbieter müssen sich an einem Referenzwert messen lassen, welcher anhand des Mittelwerts bestehend aus der besten Wertung des Preises und der besten Wertung der Performance zusammensetzt.

Testkonfiguration

Für den Test wurde der typische Einsatz eines Webshops im Cloud-Hosting-Umfeld evaluiert. Die für den Test verwendete eCommerce-Software ist Magento. Dabei handelt es sich um eine häufig eingesetzte Plattform im professionellen Bereich. Die Lösung basiert auf PHP und benötigt einen LAMP-Stack (LINUX / Apache / MySQL / PHP). Das genutzte Magento-Framework selbst wurde nicht optimiert und als Magento-Demo-Shop aufgesetzt, um ein einheitliches Bild auf allen Plattformen zu gewährleisten. Weiterhin wurden Optimierungen, beispielsweise anhand der Nutzung von Amazon RDS oder Google Cloud SQL nicht berücksichtigt. Ferner und wichtiger ist jedoch, dass nicht alle Anbieter in diesem Kontext entsprechende dedizierte Higher-Level Services im Portfolio haben, um einen Vergleich auf dieser Ebene zu ermöglichen. Daher wurden für diesen Test ausschließlich die virtualisierten Rechner genutzt und miteinander verglichen.

Dieser konkrete Anwendungsfall setzt üblicherweise Kunden voraus. Darüber hinaus weist das Lastverhalten in der Regel über die Zeit verteilte Peaks auf. Um diesen Fall zu simulieren wurde BlazeMeter eingesetzt. BlazeMeter ist ein mit Apache JMeter kompatibles Software-as-a-Service-Angebot für Lasttests. Mit Hilfe der Testdefinition in JMeter ist es möglich innerhalb des Webshops mehrere Seiten aufrufen zu lassen und sogar einen Einkaufsvorgang zu simulieren.

In JMeter wurden für diese Analyse mehrere Skripte anhand einer graphischen Benutzeroberfläche erstellt. Diese wurden dann von mehreren Rechnern parallel ausgeführt, um die höhere Anzahl von Nutzern zu simulieren und unterschiedliche Lokationen zu emulieren. Ziel der Tests war es, ein möglichst realitätsnahes Verhalten der Nutzer nachzustellen. Die Tests wurden mit einer Simulation von 50 parallel agierenden Nutzern durchgeführt und in unregelmäßigen Zeiträumen mehrfach wiederholt. Dies dient dazu mögliche Fremdeinflüsse oder regionale Störungen bei den Anbietern herauszufiltern.

Preis-Performance

Die Performance der vier betrachteten Public IaaS-Angebote wurde auf Basis der ermittelten Antwortzeiten beurteilt. Anbieter, die während dieses Testlaufs hinweg niedrige Werte aufweisen, besitzen eine entsprechend höhere Performance. Die Tests wurden alle mit den identischen Workloads eines Magento Webshops durchgeführt. Das heißt, dass jeder Test die exakten Abläufe der Simulation durchlaufen hat, sodass eine Vergleichbarkeit sichergestellt ist.

Infrastrukturgröße ist kein Garant für Performance

Im Vergleich zur gesamten Performance zeichnet sich ein weitgehend klares Bild ab. Wahrend Google mit niedrigen Antwortzeiten eine hohe Performance zeigt, fällt Amazon AWS in diesen Testszenarien merklich ab. Trotz einer der größten Infrastrukturen und des hohen Marktanteils im Public Cloud-Bereich zeigt Amazon AWS die geringste Performance. Die Performance von Microsoft Azure und ProfitBricks schneidet im Vergleich zum Durchschnitt von etwa 8.300 ms über alle Anbieter etwas besser ab. Im direkten Vergleich sind die Unterschiede aber beinahe marginal. Nichtsdestotrotz kann ProfitBricks bei genauerem Hinsehen eine etwas höhere Performance bieten.

Günstiger Preis als Wettbewerbsfaktor

Der Preisvergleich bildet die Betriebskosten der gewählten Konfiguration für eine Stunde ausgehend von einer monatlichen Abrechnung eines 24/7-Betriebs ab. Es zeigt sich, dass ProfitBricks mit 0,04 Euro pro Betriebsstunde mit Abstand der günstigste Anbieter im Test ist. Neben dem enthaltenen Storage-Preis überzeugt das Preismodell ebenfalls mit einer flexiblen Abrechnung. So wird zwar der Preis der VM-Konfiguration auf Stundenbasis angegeben, allerdings erfolgt die Abrechnung minutengenau, sodass eine maximal nutzungsabhängige Preisgestaltung ermöglicht wird. Auch Google, mit 0,062 Euro, verfügt über ein relativ flexibles Abrechnungsmodell. Hier beträgt das Intervall fünf Minuten. Amazon AWS bietet mit 0,068 Euro eine etwas teurere Konfiguration und eine unflexible Abrechnung auf Stundenbasis. Die Microsoft Azure VM hat in diesem Vergleich den höchsten Preis pro Stunde. In den rund 0,07 Euro ist allerdings mehr als ausreichend lokaler Instanzspeicher enthalten, der für diesen Test notwendig war.

Was wirklich zählt: Preis-Performance

Für eine vollständige Aussage über die getesteten Public IaaS-Konfigurationen wurden Preis und Performance nach dem beschriebenen Vorgehen bewertet und ins Verhältnis zum Referenzwert gesetzt.

In diesem Vergleich setzt sich der Referenzwert aus der Performance von Google (8) und dem Preis von ProfitBricks (7) zusammen. Folglich ergibt der Referenzwert 7,5. An dieser Gesamtpunktzahl müssen sich alle Anbieter im Test messen lassen. Im Preis-Performance Test belegen Amazon AWS und Microsoft den gemeinsamen dritten Platz. Die Performance als auch der Preis liegen mit einem kombinierten Wert von 5,5 deutlich unter dem Durchschnitt. Zwischen den beiden Anbietern gleichen sich günstigerer Preis und bessere Performance aus. Amazon AWS bietet eine etwas günstigere Konfiguration, dafür ist Microsoft Azure hinsichtlich der Performance stärker. Performance-Sieger Google liegt bei der Preis-Performance mit einem Gesamtwert von 6,5 auf dem zweiten Platz. ProfitBricks kann in der Kombination aus Preis und Performance die Konkurrenz ausstechen. Mit einem Wert von 7 ist man nah an dem möglichen Referenzwert von 7,5 und zeigt dem Wettbewerb, dass sich auch mit geringen Preisen eine überdurchschnittlich gute Leistung erzielen lässt.

Der Benchmark-Report inklusive allen Hintergrundinformationen, Ergebnissen und Analysen steht unter "Cloud Price Performance Evaluation" kostenlos zum Download zur Verfügung.

Die Konfiguration der Test-Infrastrukturen und die technische Durchführung der Tests wurde von dem unabhängigen IT-Berater Björn Böttcher durchgeführt, welcher sich auf die Entwicklung und Integration von Cloud- und Mobile-Applikationen im Enterprise- Bereich spezialisiert hat.