Agenturqualität messen: Von der Wahrnehmung zur Kennzahl – Dr. Florian Bresler

Warum Qualität sich nicht direkt messen lässt

Eine Kommunikationsleistung entsteht im Austausch mit dem Auftraggeber und lässt sich nicht am Ende einer Linie prüfen wie ein Bauteil. Das QMC-Modell behandelt die Kommunikationsqualität deshalb als latente Größe: Sie ist nicht unmittelbar sichtbar, sondern wird aus mehreren Aussagen erschlossen, die ihre Voraussetzungen (Enabler) und ihre Wirkung (Erfolg) beschreiben. Dieses Vorgehen ist in der Marketing- und Dienstleistungsforschung üblich, weil Zufriedenheit, Vertrauen und Einstellung ebenfalls nicht direkt zu beobachten sind. Entscheidend ist dann, dass die Aussagen sorgfältig gewählt und geprüft werden.

Schritt 1: Kategorien aus der Literatur

Aus 31 Studien zu den Voraussetzungen guter Kommunikation und 24 Studien zur Erfolgsmessung leitete die Dissertation 26 Kategorien ab: vier je Enabler und drei oder vier je Erfolgsgröße. Damit steht die Messung auf einer breiten Fachgrundlage und nicht auf der Meinung einzelner Praktiker.

Schritt 2: Vorstudie mit Praktikern

Führungskräfte aus Agenturen bewerteten jede Kategorie auf ihre Relevanz, auf einer Skala von 0 bis 3. Kategorien deutlich unter dem Gesamtmittel von 1,70 wurden gestrichen, meist wegen Überschneidungen oder Unklarheit. So entfiel zum Beispiel die Mitarbeitermotivation als Erfolgsgröße, weil Mitarbeiterthemen im Modell bereits auf der Seite der Enabler stehen und sonst doppelt erfasst würden. Sechs Kategorien schieden aus, 20 Messgrößen blieben. Die Vorstudie wirkt damit wie ein Filter: Sie hält Kategorien aus dem Fragebogen, die Praktiker für unklar oder doppelt erfasst halten. Die Finanzkennzahlen blieben trotz Bedenken im Modell, obwohl die Befragten sie als spekulativ und erst langfristig messbar beschrieben.

Schritt 3: Befragung und Strukturgleichungsmodell

Ausgewertet wurden 209 vollständige Fragebögen von Auftraggebern, jeder zu einem abgeschlossenen Projekt mit einem Auftragswert von mehr als 100.000 Euro. Zwölf Aussagen betrafen die Enabler und wurden von 1 (schlechte Leistung) bis 5 (Top-Leistung) bewertet, acht den Erfolg im eigenen Unternehmen, von 1 (keine Zustimmung) bis 5 (maximale Zustimmung).

Ein Strukturgleichungsmodell schätzt, wie stark jede Voraussetzung die Kommunikationsqualität und diese wiederum den Erfolg erklärt. Als signifikant gilt in der Studie ein Pfad mit p < 0,10. Weil sich das Ausgangsmodell nur teilweise bestätigte, wurde es in drei Schritten bis zum Endmodell vereinfacht. Was wegfiel, ist selbst ein Ergebnis. Je Faktor dient dabei eine Aussage als Referenz, an der die übrigen gewichtet werden; deshalb haben manche Pfade keinen eigenen Signifikanzwert.

Was Mittelwerte nicht verraten

Alle 20 Aussagen liegen im Mittel zwischen 3,14 und 3,80. Die Höhe eines Urteils sagt nichts darüber, ob es Qualität erklärt. Die Kundenbindung erhielt den höchsten Mittelwert und fiel trotzdem aus dem Modell. Das Wissensmanagement wurde besser bewertet als jedes Führungsmerkmal und blieb ohne signifikanten Zusammenhang mit der Qualität. Wer Agenturqualität messen will, braucht deshalb beides: die Bewertung einzelner Aussagen und die Frage, welche davon das Gesamturteil tatsächlich erklären.

Was sich für die eigene Agentur übernehmen lässt

Ein Strukturgleichungsmodell braucht eine große Stichprobe und ist für den Agenturalltag zu aufwendig. Das Prinzip lässt sich dennoch verkleinern. Die folgenden Hinweise sind eine Übertragung, kein Befund der Studie:

• Urteile von Auftraggebern einholen statt interner Selbsteinschätzungen, und zwar zu einem konkreten, abgeschlossenen Projekt.
• Wenige Aussagen auf einer einheitlichen Skala von 1 bis 5 formulieren, je eine zu Leitung, Team, Zusammenarbeit und Vertrauen.
• Zusätzlich ein Gesamturteil erfragen und über mehrere Projekte prüfen, welche Aussage damit am stärksten zusammenhängt.
• Die Ergebnisse in einer Lernrunde besprechen und Maßnahmen für das nächste Projekt festhalten.

Zwei Grenzen bleiben: Alle Werte beschreiben Wahrnehmung, keine Bilanz- oder Messdaten, und Zufriedenheitsurteile fallen erfahrungsgemäß freundlich aus. Aussagekräftiger als der absolute Wert ist deshalb der Vergleich über die Zeit und zwischen Aussagen.