Arbeitszufriedenheit mit nur einer Frage messen?
Das klingt nach einem einfachen und effizienten Vorgehen. Tatsächlich sind solche sogenannten Single-Item Maße jedoch in der Wissenschaft ziemlich verpönt. Wer Single-Item Maße in seiner wissenschaftlichen Studie verwendet, läuft Gefahr, diese nicht veröffentlicht zu bekommen. In der Wirtschaft (z.B. in Mitarbeiterbefragungen) werden sie hingegen aus nachvollziehbaren und berechtigten Gründen eingesetzt. Wie passt das zusammen?
Erfahren Sie, wieso Single-Item Maße wahrscheinlich besser sind als ihr Ruf, und wie sie in Mitarbeiterbefragungen gewinnbringend eingesetzt werden können.
Einführung: Single-Item vs. Multi-Item Maße
Multi-Item Maße sind seit über 50 Jahren der wissenschaftliche Standard, um Konstrukte wie z.B. Motivation zu messen (Loo, 2002). Es werden also immer mehrere Fragen oder Aussagen präsentiert, zu denen die Befragten auf einer Ratingskala angeben sollen, wie sehr sie diesen zustimmen. Der Summenwert oder Mittelwert aller Antworten gibt dann die Ausprägung jeder/jedes Befragten auf dem Konstrukt an.
Single-Item Maße verwenden im Gegensatz dazu nur ein einziges Item. Beispielsweise kann die globale Arbeitszufriedenheit mit dem Item „Ich bin insgesamt mit meinem Job zufrieden.“ gemessen werden.
Wieso sind Single-Item Maße problematisch?
Eingeschränkte Verwendbarkeit
Zunächst einmal werden Single-Item Maße in der Wissenschaft eher selten verwendet, weil sie zur Messung vieler Konstrukte von vorneherein nicht in Frage kommen. Sie eignen sich nämlich nicht für sehr komplexe oder mehrdimensionale Konstrukte wie z.B. Persönlichkeitsmerkmale. Dies gilt auch für einige Konstrukte der Arbeits- und Organisationspsychologie. Ein Beispiel hierfür ist das organisationale Commitment der Mitarbeiter:innen, welches in affektives, normatives und kalkulatorisches Commitment eingeteilt werden kann. Wenn diese Facetten gemessen werden sollen, muss dies zwangsweise mit mehreren Items geschehen.
Auch komplexe Konstrukte wie z.B. kontraproduktives Verhalten am Arbeitsplatz (Counterproductive Work Behavior; CWB) eignen sich nicht als Single-Item Maß. CWB kann sich nämlich in vielen, zum Teil sehr verschiedenen Verhaltensweisen äußern, die in der Messung möglichst alle abgefragt werden sollten (u.a. Diebstahl/Missbrauch von Informationen/Verstöße gegen Sicherheitsvorschriften/Absentismus/verbale Aggression…).
Probleme mit der Reliabilität (Messgenauigkeit)
Auch aus messtheoretischer Sicht gibt es Probleme mit Single-Item Maßen. Es wird vermutet, dass sie eine geringere Reliabilität (Messgenauigkeit) aufweisen als die konventionellen Multi-Item Maße. Die Erklärung dafür liegt darin, dass das Aufsummieren vieler Antworten in Multi-Item Maßen einen entscheidenden Vorteil hat (Prinzip der Spearman-Brown Prophecy Formel; siehe z.B. Fuchs & Diamantopoulos, 2009). Es führt nämlich dazu, dass sich zufällige Messfehler und Response Biases gegenseitig aufheben, sodass ein Maß mit zunehmender Anzahl an Items immer reliabler (genauer) wird. Dieser Mechanismus kann bei Maßen, die nur aus einem einzigen Item bestehen, logischerweise nicht greifen. Somit ist theoretisch zu erwarten, dass Single-Item Maße eine geringere Reliabilität haben.
Ein weiteres Problem ist, dass es nicht so einfach ist, diese Annahme empirisch zu prüfen. Denn die Reliabilität von Single-Item Maßen kann nicht mit der konventionellen Methode der internen Konsistenz (Cronbach’s Alpha) berechnet werden. Dies ist zusätzlich problematisch, weil für viele weitere Berechnungen eine Schätzung der Reliabilität vorliegen muss. Daher ist die Tatsache, dass die Reliabilität von Single-Item Maßen nicht mit der einfachsten, konventionellen Methode bestimmt werden kann, in doppelter Hinsicht ein Nachteil.
Obwohl die Verwendung von Single-Item Maßen aus den genannten Gründen problematisch ist, gibt es Fragestellungen und Konstrukte, für die Single-Item Maße durchaus sinnvoll eingesetzt werden können. In der Tat werden Single-Item Maße grundsätzlich unterschätzt und bringen auch Vorteile mit sich.
6 Gründe, wieso Single-Item Maße besser sind als ihr Ruf
1. Viele bedeutende Konstrukte sind konkret und eindimensional
Trotz der genannten Einschränkungen im Hinblick auf die Reliabilität können Single-Item Maße in vielen Anwendungskontexten sinnvoll verwendet werden. Oftmals wird nämlich unterschätzt, wie viele bedeutende Konstrukte eben nicht komplex und mehrdimensional, sondern sehr konkret und eindimensional sind. Dies trifft auch auf Konstrukte und KPIs zu, die typischerweise in Mitarbeiterbefragungen erhoben werden. Dazu gehören beispielsweise Arbeitszufriedenheit, Vereinbarkeit von Beruf und Familie, Rollenklarheit oder Lebenszufriedenheit. Gerade für diese Konstrukte eignen sich Single-Item Maße nicht nur gut, sondern haben sogar entscheidende Vorteile gegenüber Multi-Item Maßen (siehe Punkte 3, 4 und 5).
In manchen Befragungskontexten ist zudem eine Aufteilung komplexer Konstrukte in verschiedene Facetten nicht erwünscht oder nötig, sodass es in diesen Fällen doch denkbar ist, Konstrukte wie beispielsweise organisationales Commitment mit nur einem Item zu erfassen. Dasselbe gilt, wenn lediglich eine globale Einschätzung benötigt wird, z.B. bezüglich der Unterstützung durch den/die Vorgesetzte/n oder der Zusammenarbeit zwischen Kolleg:innen.
2. Reliabilität ist zumindest über Umwege bestimmbar
Auch der zweite große Kritikpunkt an Single-Item Maßen kann zumindest teilweise entkräftet werden. Ihre Reliabilität ist zwar, wie bereits erwähnt, nicht über das Standardverfahren der internen Konsistenz bestimmbar. Es gibt jedoch auch andere Methoden, um die Reliabilität zu bestimmen (z.B. Retest-Reliabilität in Längsschnittdesigns oder eine Umformung der Spearman’schen Formel für die Attenuationskorrektur; Wanous et al., 1997). Die oft verwendete Schätzung durch die Spearman’sche Formel ist zwar etwas komplizierter als die konventionelle Methode, weil sie zusätzliche Annahmen benötigt. In vielen Fällen funktioniert sie aber dennoch.
3. Größere Motivation
Vielleicht kennt der ein oder andere die Ungeduld, die aufkommt, wenn in einem Fragebogen ein und dieselbe Frage immer wieder in verschiedenen Variationen gestellt wird (siehe Abbildung 1). So geht es vielen Befragten, wenn Multi-Item Maße redundante Items enthalten. Dies passiert nicht ohne Grund, denn wie bereits erwähnt kann eine Erhöhung der Itemanzahl zu einer (zumindest scheinbar) größeren Reliabilität führen. Daher ist es naheliegend, dass Multi-Item Maßen eher zu viele als zu wenige Items enthalten. Dies kann allerdings zu Motivationsverlusten auf Seiten der Befragten führen, da niemand Lust hat, die im Grunde genommen selbe Frage mehrmals zu beantworten.
Unabhängig davon können generell sehr lange Fragebögen zu Motivations- oder Konzentrationsverlusten führen. Dies ist auch in Mitarbeiterbefragungen problematisch, da lange und redundante Fragebögen zu einer hohen Abbruchquote und somit zu unvollständigen Daten führen. Darüber hinaus können eine hohe Motivation und Konzentration viele Antwortverzerrungen der Befragten verhindern. Dies erhöht die Qualität der erhobenen Daten enorm.
4. Größere Augenscheinvalidität
Ein Fragebogen besitzt Augenscheinvalidität, wenn er den Anschein erweckt, valide zu sein. In anderen Worten: Die Befragten haben den Eindruck, dass der Fragebogen tatsächlich das misst, was er messen soll. Single-Item Maße haben tendenziell eine höhere Augenscheinvalidität als Multi-Item Maße. Dies begründet sich erstens darin, dass Single-Item Maße (wie bereits erwähnt) eine geringere inhaltliche Redundanz aufweisen. Zweitens spiegelt das eine Item, aus dem sie bestehen, den Kern des Konstrukts klar und prägnant wider. Da sich Multi-Item Maße dagegen nicht auf nur ein Item beschränken müssen, ist zu erwarten, dass sie auch Items enthalten, die weniger optimal formuliert sind. Diese können unter den Befragten zu Verwirrung führen.
Die Augenscheinvalidität (und damit die Perspektive der Befragten) wird in der Wissenschaft häufig vernachlässigt. Sie ist allerdings unterschätzt, da Augenscheinvalidität für die Kooperationsbereitschaft und Motivation der Befragten sehr wichtig sein kann. In Mitarbeiterbefragungen ist es daher ein zentrales Anliegen, dass die Befragten die Sinnhaftigkeit der Befragung erkennen. Schließlich sollen und können die Fragebögen (zusammen mit den richtigen Folgeprozessen) die Employee Experience verbessern, anstatt zusätzlichen Stress und Arbeit für die Mitarbeiter:innen zu verursachen.
5. Zeit- und Kosteneffizienz
Nicht zuletzt spielen auch ökonomische Faktoren in Befragungen eine Rolle. In groß angelegten Studien verursacht beispielsweise jede Minute, die die Befragten länger am Fragebogen sitzen, zusätzliche Kosten für die Forschenden. Dieses Anliegen spielt auch in Mitarbeiterbefragungen eine Rolle. Auch hier ist es nämlich erstrebenswert, dass die Mitarbeiter:innen nicht mehr Arbeitszeit als nötig auf die Fragebögen verwenden. Eine geringere Bearbeitungszeit durch Single-Item Maße lohnt sich dabei insbesondere, wenn es sich um eine Pulsbefragung oder eine andere Art von regelmäßiger Befragung handelt.
Darüber hinaus sparen kürzere Fragebögen auch in der Auswertung der Befragung Zeit und Geld. Wenn diese im Paper-Pencil Format durchgeführt wird, müssen alle Antworten der Befragten händisch in ein digitales Format übertragen werden. Schon eine kleine Verringerung der Itemanzahl fällt hier ins Gewicht. Zudem gilt für alle Befragungsformate, dass bei Single-Item Maßen weniger Items in der Auswertung aggregiert oder gemittelt werden müssen, was ebenfalls Arbeit spart.
6. Gute Reliabilität und Validität
Empirische Studien zeigen, dass die Reliabilität für viele Single-Item Maße im Arbeitskontext zwar nicht ganz so hoch ist wie für entsprechende Multi-Item Maße, sich aber immer noch im akzeptablen oder guten Bereich befindet (Fisher et al., 2016). Für diese Maße kann also eine adäquate Messgenauigkeit angenommen werden.
Zudem zeigt die Forschung, dass viele Single-Item Maße sehr valide sind (Allen et al., 2022). Dies äußert sich beispielsweise darin, dass sie eine hohe Konvergenz zu konventionellen Multi-Item Maßen aufweisen (Fisher et al., 2016) oder theoretisch relevante Kriterien gut vorhersagen können (Gogol et al., 2014). Ang & Eisend (2018) zeigen sogar, dass Single-Item Maße zur Messung von Einstellungen eine genauso hohe Validität haben wie die entsprechenden konventionellen Multi-Item Maße. Somit kann die Datenerhebung mithilfe von Single-Item Maßen genauso valide, jedoch zusätzlich effizienter, kostengünstiger und für die Befragten angenehmer gestaltet werden als mit Multi-Item Maßen. Ähnlich positive Ergebnisse bezüglich der Validität zeigen sich auch für wichtige Konstrukte im Arbeitskontext, unter anderem für Arbeitszufriedenheit, Stellenwert von Familie und Arbeit, Lebenszufriedenheit oder Burnout (Fisher et al., 2016).
Fazit: Wann und wie sollten Single-Item Maße verwendet werden?
Single-Item Maße sind sicherlich nicht für jeden Anwendungskontext die beste Wahl. Nach wie vor sollte man für mehrdimensionale, komplexe und/oder abstrakte Konstrukte auf konventionelle Multi-Item Maßen zurückgreifen. Auch das Argument der etwas geringeren Messgenauigkeit ist nicht gänzlich von der Hand zu weisen. In Befragungssituationen, in denen hohe Anforderungen an die Reliabilität bestehen, sollten deshalb ebenfalls eher mehrere Items verwendet werden. Dies ist beispielsweise in Längsschnittstudien der Fall, oder wenn es um die zentralen Konstrukte von wissenschaftlichen Studien geht.
In praktischen Anwendungen von Fragebögen wie z.B. Mitarbeiterbefragungen gelten dagegen etwas andere Prioritäten. Hier eignen sich viele Konstrukte wie z.B. die Arbeitszufriedenheit sehr gut für Single-Item Maße, da sie eindimensional und weniger komplex sind. Zudem können sie genauso valide sein wie Multi-Item Maße. In diesen Fällen stellen Single-Item Maße nicht nur eine gleichwertige, sondern oft eine bessere Alternative dar. Durch ihre geringere Redundanz, inhaltliche Klarheit und eine Verkürzung des gesamten Fragebogens machen sie Mitarbeiterbefragungen nicht nur zu einer besseren Experience für die Mitarbeitenden, sondern sparen nebenbei auch Zeit und Kosten. Darüber hinaus führt eine höhere Motivation der Befragten zu vollständigeren Daten und einer besseren Datenqualität.
Zusammenfassend lässt sich also sagen: Single-Item Maße sind besser als ihr Ruf, das gilt insbesondere für anwendungsorientierte Kontexte wie Mitarbeiterbefragungen. Dass eindimensionale und konkrete Konstrukte und KPIs hier mit nur einem Item gemessen werden, ist nicht nur sinnvoll, sondern in vielerlei Hinsicht sogar die bessere Entscheidung.
Allen, M. S., Iliescu, D., & Greiff, S. (2022). Single item measures in psychological science: A call to action. European Journal of Psychological Assessment, 38(1), 1–5. https://doi.org/10.1027/1015-5759/a000699
Ang, L., & Eisend, M. (2018). Single versus multiple measurement of attitudes: A meta-analysis of advertising studies validates the single-item measure approach. Journal of Advertising Research, 58(2), 218–227. https://doi.org/10.2501/JAR-2017-001
Fisher, G. G., Matthews, R. A., & Gibbons, A. M. (2016). Developing and investigating the use of single-item measures in organizational research. Journal of Occupational Health Psychology, 21(1), 3–23. https://doi.org/10.1037/a0039139
Fuchs, C., & Diamantopoulos, A. (2009). Using single-item measures for construct measurement in management research. Die Betriebswirtschaft, 69(2), 195–210.
Gogol, K., Brunner, M., Goetz, T., Martin, R., Ugen, S., Keller, U., Fischbach, A., & Preckel, F. (2014). “My Questionnaire is Too Long!” The assessments of motivational-affective constructs with three-item and single-item measures. Contemporary Educational Psychology, 39(3), 188–205. https://doi.org/10.1016/j.cedpsych.2014.04.002
Loo, R. (2002). A caveat on using single‐item versus multiple‐item scales. Journal of Managerial Psychology, 17(1), 68–75. https://doi.org/10.1108/02683940210415933
Wanous, J. P., Reichers, A. E., & Hudy, M. J. (1997). Overall job satisfaction: How good are single-item measures? Journal of Applied Psychology, 82(2), 247–252.
Entdecken Sie, wie Sie Ihre HR Daten systematisch auswerten und für Ihre tägliche Arbeit einsetzen können.
