Social-Media-Monitoring-Tools helfen Unternehmen, einen Überblick über ihre Präsenz im Social Web zu erhalten, sie zu analysieren und auf dieser Basis den Dialog mitzugestalten. Das richtige Tool für die individuellen Anforderungen zu finden ist jedoch nicht einfach. Der folgende Test machte vor allem quantitative Unterschiede der Tools deutlich. Folgende Softwarewerkzeuge (in alphabetischer Reihenfolge) haben sich dem Test gestellt:

• Brandwatch,

• Engagor,

• Radarly,

• Synthesio,

• Sysomos Heartbeat,

• Talkwalker.

Um die Vergleichbarkeit der Tools zu gewährleisten, galt es darauf zu achten, die Ergebnisse nicht durch das Setup des Tests zu verfälschen. Aus diesem Grund wurden einfache Suchbegriffe (Queries) mit zwei international erfolgreichen Markennamen herangezogen, die trotz ihrer Bekanntheit ein überschaubares Volumen an Meldungen aufweisen. Der Testzeitraum erstreckte sich vom 12. bis zum 19. November 2013. Um eine identische Grundvoraussetzung zu gewährleisten, wurde dabei sichergestellt, dass die Testzugänge nicht durch Beschränkungen beim Datenvolumen limitiert waren. Folgende Aspekte wurden im Rahmen des Performance-Tests untersucht:

• Datenvolumen,

• Quellenabdeckung,

• Tonalität,

• Reaktionszeit.

Analyse des Datenvolumens

Weil sich die Menge der Plattformen stetig verändert, ist es fast unmöglich, die tatsächliche Zahl der Quellen zu schätzen, die sich täglich zu diesen Marken äußern. Monitoring-Tools helfen, die Meldungen zu überblicken und möglichst alle Plattformen im Web abzusuchen. Eigentlich sollte die Zahl der Erwähnungen zu einem bestimmten Suchbegriff, beispielsweise einer bestimmten Marke, bei allen Tools gleich sein. Überraschenderweise fanden die getesteten Tools jedoch sehr unterschiedlich viele Meldungen - das Datenvolumen der gefundenen Tweets war relativ ähnlich, die Nennungen in Blogs, News und Foren divergierten aber stark.

Durchschnittlich fanden die Tools 164.866 Beiträge zum Suchbegriff 1 und 23.684 Beiträge zum Suchbegriff 2. Das Tool mit den meisten Ergebnissen entdeckte 60 Prozent mehr Beiträge als jenes mit den wenigsten Ergebnissen. International fand Talkwalker die meisten Ergebnisse. Für die Schweiz lieferte Brandwatch am meisten.

Interessant war die Abweichung der Treffer zwischen den beiden Suchbegriffen, die durch die unterschiedlich starke Abdeckung von fachspezifischen Quellen verursacht sein kann. Anzunehmen ist, dass die Zahl der Treffer - und damit eine Rangfolge nach Zahl der Nennungen - sich bei anderen Suchbegriffen wieder verändert. Allerdings zeichnete sich eine Tendenz ab, welche Tools über einen starken Crawler und damit über eine umfangreiche Quellenbasis verfügen.

Die rein quantitative Betrachtung des gemessenen Datenvolumens reicht jedoch nicht aus. Genauso wichtig ist die Qualität gefundener Beiträge. Sind Treffer, die ein Tool ausgibt, irrelevant (Spam) oder falsch kategorisiert (Land, Quelle), wird ein Tool in der Praxis kaum überzeugen. Die stichprobenartige Kontrolle zeigte: Radarly und Brandwatch weisen im Bereich der richtigen Länderzuordnung noch Verbesserungspotenzial auf.

Tipp: Erkundigen Sie sich vor der Wahl eines Monitoring-Tools beim Anbieter, ob Firmen aus dem entsprechenden Industriezweig und der gleichen Region das Tool bereits im Einsatz haben. Dies kann Hinweise auf die Relevanz der Datenbasis des Anbieters geben.

Analyse der Quellenabdeckung

Da anhand der gefundenen Beiträge nicht zwingend auf eine hochwertige Quellenabdeckung geschlossen werden konnte, wurde neben der Klassifizierung der Meldungen nach Region auch die Zuweisung auf den richtigen Medientyp (News, Blogs, Foren, Twitter und Facebook) untersucht. Im Test zeigte die quellenbasierte Analyse der jeweiligen Tools ebenfalls eine unterschiedliche Aufschlüsselung des Datenvolumens:

Die höchste internationale Quellenabdeckung in News zeigt Synthesio mit gesamthaft 36.655 Nennungen.

Im Bereich Blogs heben sich Engagor (11.825 Nennungen) und Talkwalker (12.770 Nennungen) hervor.

Die breiteste Abdeckung von Foren weist Brandwatch mit 39.151 Nennungen auf.

Bei Twitter und Facebook zeigte sich folgendes Bild: Das Volumen an Tweets war bei allen Tools auf ähnlichem Niveau. Die Abweichung bei der Zahl gefundener Nennungen liegt bei Twitter nur bei rund fünf Prozent, mit Ausnahme von Radarly. Allerdings überzeugte gerade Radarly beim Facebook-Monitoring und fand hier die meisten Nennungen.

Der Performance Test ergab: Die individuellen Stärken der Tools im Bereich der Quellendurchdringung entpuppten sich als sehr unterschiedlich. Je nach Fokus und gewünschter Periodizität der Durchsuchung einer bestimmten Quellengattung empfiehlt es sich, ein anderes Tool einzusetzen. Im Bereich Twitter ist die Qualität aller Tools - mit Ausnahme von Radarly - ziemlich identisch.

Tipp: Nutzt ein Tool die direkte Anbindung an den Twitter-Datenstrom (Firehouse Access), ist die Grundvoraussetzung einer vollständigen Twitter-Abdeckung in nahezu Echtzeit gegeben.