Analyse der Tonalität

Monitoring-Tools bieten neben einer reinen Dateninterpretation und -darstellung die Bewertung der Stimmung (Tonalität/Sentiment) eines Beitrags an. Meldungen werden als positiv oder negativ klassifiziert. Dabei gibt es unterschiedliche Ansätze:

Die untersuchten Monitoring-Anbieter bewerten automatisch anhand eines in unterschiedlichen Sprachen hinterlegten Vokabulars.

Die Tonalität lässt sich auch mit linguistischen Methoden (manuelle Sentiment-Bestimmung) oder mit der auf Satzbau bezogenen, automatischen Sentiment-Analyse durch spezialisierte Tools wie Attensity oder Web Analyzer bestimmen.

Die Zahl der positiv und negativ klassifizierten Beiträge variierte je nach Tool. Bei der aggregierten Betrachtung der Beiträge (Ergebnisse zum ersten und zum zweiten Suchbegriff) zeigte Talkwalker die meisten klassifizierten Beiträge an. Der Anbieter stufte 18 Prozent positiv und 18 Prozent negativ ein. Radarly hingegen nahm prozentual gesehen die geringste Bestimmung vor und wies vier Prozent positive und keine negativen Beiträge aus.

Aufgrund einer annähernd gleichen Datenbasis der gefundenen Twitter-Treffer wurde in einem zweiten Schritt die Tonalität im Micro-Blogging-Netzwerk genauer untersucht. Auch hier variierte die Einstufung, allerdings nicht so stark wie bei den anderen sozialen Plattformen. Die beiden Grafiken stellen die Tonalitäts-Bewertung der Twitter-Treffer dar.

Die Ergebnisse lassen darauf schließen, dass eine automatisierte Tonalitätsanalyse nicht verlässlich und allenfalls als Trend zu verstehen ist. Diese These stützen auch die Stichproben. Allerdings bieten alle Tools die Option einer nachträglichen manuellen Klassifizierung.

Aktuell lässt sich die tatsächliche Genauigkeit der Tonalitätsbestimmung nur abschätzen. Es gibt Tool-Hersteller, die eine Genauigkeit bei der Tonalität von etwa 70 Prozent versprechen. Das wäre nicht weit entfernt von den Ergebnissen einer manuellen Auswertung, die aufgrund individueller Fehler in der Regel auf eine Genauigkeit von etwa 80 Prozent kommt.

Tipp: Die Sentiment-Analyse ist lediglich als Indikator zu verstehen, und je nach Wichtigkeit empfiehlt es sich, die Ergebnisse manuell zu verifizieren. Bei der Interpretation sind vor allem große Verschiebungen zu überprüfen und zu analysieren. Aber auch bei der individuellen Einschätzung ist eine Fehlertoleranz zu berücksichtigen.

Analyse der Reaktionszeit

Hinsichtlich der Reaktionszeit wurde untersucht, mit welcher Schnelligkeit ein Tweet im Monitoring-System erscheint und ein E-Mail-Alert verschickt wird. Ausgewiesen wird jeweils die schnellste Zeit, die ein Tool benötigt, um auf Basis des Test-Tweets einen E-Mail-Alert anzuzeigen.

Hinsichtlich der Reaktionszeiten überzeugten vier der sechs Tools mit (nahezu) Echtzeit-Monitoring und fanden Meldungen innerhalb weniger Sekunden. Vor allem auf Engagement ausgerichtete Werkzeuge dominierten hier (Engagor und Radarly). Generell erlauben alle untersuchten Tools durch die Priorisierung gewisser Social-Media-Accounts ein Echtzeit-Tracking. Bei weiteren Quellen (Blogs, Foren, Online- News) waren die Angaben der Tool-Hersteller bezüglich der Häufigkeit der Seitenabfragen sehr unterschiedlich, unterlagen allerdings auch gewissen Restriktionen: Gegebenenfalls kann ein Seitenanbieter (zum Beispiel eine News-Quelle) den Crawler eines Monitoring-Tools blockieren, was Auswirkungen auf die Periodizität bei der Durchsuchung hat.

Tipp: Klären Sie ab, wie schnell ein Favoriten-Tool präferierte Quellen absuchen kann und welche Crawl-Zeiten gelten.

Ergebnisse und Fazit

Die Stärken der jeweiligen Tools sind unterschiedlich. Die Ergebnisse des Performance-Tests erlauben verschiedene Rückschlüsse für Unternehmen, die auf Monitoring des Social Web setzen.

Das genaue Hinschauen lohnt sich: Vergleicht man verschiedene Monitoring- Tools, sollte nicht nur die Zahl der gefundenen Beiträge den Ausschlag geben - sie wird nie zu 100 Prozent akkurat sein -, sondern genauso sollte die individuelle Stärke in den verschiedenen Channels berücksichtigt werden.

Beim Setup eines Monitoring-Tools lässt sich meist die Quellenbasis ausbauen. Zur Verfügung stehende Quellen sind immer zu prüfen und gegebenenfalls zu erweitern, um sicherzustellen, dass branchenspezifische Quellen und Plattformen berücksichtig werden.

Je nach strategischem Fokus ist ein anderes Tool zu wählen, denn jedes Tool hat seine Stärken: Brandwatch überzeugte im Bereich der Schweizer Quellenabdeckung, Talkwalker vor allem international. Engagor und Talkwalker dominierten durch eine starke Blog-Abdeckung. Im Echtzeit-Monitoring taten sich Radarly, Engagor und Sysomos besonders hervor. Radarly stach außerdem durch die meisten auf Facebook gefundenen Beiträge hervor. Synthesio gewann in der News-Abdeckung. (ba/jha)