Wie das Antwortverhalten der Befragten zu Verzerrungen (Response Biases) in den Daten führen kann
Wie finde ich heraus, wie motiviert meine Mitarbeiter:innen sind? Oder wie zufrieden sie mit ihrer Führungskraft sind, und ob das möglicherweise mit ihrer Motivation zusammenhängt? Die Antwort auf diese und viele weitere Fragen lautet, sie direkt zu befragen. Nur so können businessrelevante „weiche“ Daten erhoben werden.
Best Practice
Fragenkatalog
Erfahren Sie in unserem Whitepaper, worauf es bei der Erstellung Ihres Mitarbeiterfragebogens ankommt – Ihre Starthilfe zur erfolgreichen Mitarbeiterbefragung.
Musterfragebogen
Eine Mitarbeiterbefragung klingt zunächst nach einer simplen Lösung. In der praktischen Umsetzung sind Befragungen jedoch immer auch mit Herausforderungen verbunden, die bereits auf Ebene der Daten beginnen. Ist wirklich gewährleistet, dass die Befragten ihre „wahre“ Meinung oder Einschätzung abgeben? Inwiefern können die Antworten der Befragten verzerrt sein – egal ob bewusst oder unbewusst? Und wie wirkt man diesen Antwortverzerrungen entgegen?
Inhalt
Wozu direkte Befragungen?
Immer mehr Unternehmen erkennen, dass „weiche“ Befragungsdaten im Human Resources Bereich eine erfolgsrelevante Ergänzung zu „harten“ Businessdaten darstellen. Denn sie können das Employee Engagement, die Gründe für Unzufriedenheit oder die Persönlichkeit der Mitarbeiter:innen nur erfahren, wenn sie die Mitarbeiter:innen direkt dazu befragt.
Über den gesamten Mitarbeiterpfad hinweg gibt es viele Anwendungsmöglichkeiten für direkte Befragungen von Mitarbeiter:innen und Bewerber:innen:
- Persönlichkeitstests werden in der Bewerberauswahl herangezogen, um die geeignetsten Kandidat:innen auszuwählen.
- Befragungen zur Candidate Experience können genutzt werden, um den Bewerbungsprozess kontinuierlich zu verbessern. Dies kann die Arbeitgeberattraktivität und infolgedessen auch die Offer Acceptance Rate positiv beeinflussen.
- Klassische Mitarbeiterbefragungen geben Einblicke in die Motivation, Zufriedenheit und Employee Experience der Mitarbeiter:innen. Aus diesen Daten können in einem zweiten Schritt wichtige Schlüsse gezogen werden, um beispielsweise das Wohlbefinden und die Leistung der Mitarbeiter:innen zu erhöhen. Das hilft nicht nur der Belegschaft, sondern steigert auch den Unternehmenserfolg.
- Führungskräftefeedback wird durch Befragungen erhoben. So kann die Führungsqualität datengestützt verbessert werden, was wiederum einen starken Hebel auf den Unternehmenserfolg hat.
- Exit-Befragungen können die Stimmung und Austrittsgründe von ausscheidenden Mitarbeiter:innen erfassen. Diese Informationen helfen, Austrittsgründe zu identifizieren und zu beheben, um zukünftige unerwünschte Fluktuation zu verhindern.
All diese Anwendungsfälle haben gemeinsam, dass (meistens) Ratingskalen für die Fragebögen verwendet werden. Das macht den Befragungsprozess zwar objektiver und einfacher, bringt aber auch Gefahren mit sich. Denn oftmals sind die Antworten der Befragten auf den Ratingskalen systematisch verzerrt.
Was sind Antwortverzerrungen?
Insight – Antwortverzerrungen
Antwortverzerrungen (engl. Response Biases) liegen vor, wenn die Antworten des/der Befragten neben dem zu messenden Konstrukt auch systematische Einflüsse enthalten, die nichts mit dem zu messenden Konstrukt zu tun haben (Paulhus, 1991). Dadurch gefährden sie die Validität der Daten.
Antwortverzerrungen können zum einen durch schlechtes Fragebogendesign entstehen. Wenn allerdings bestimmte Standards in der Fragebogenkonstruktion beachtet werden, können viele Verzerrungen bereits vermieden werden (mehr dazu hier). Zum anderen können sie jedoch auch durch das Antwortverhalten der Befragten ausgelöst werden. Dies soll in diesem Artikel näher dargelegt werden.
Dafür ist es sinnvoll, zwischen Antwortverzerrungen in Selbstberichten und Antwortverzerrungen in Fremdberichten zu unterscheiden. Dabei bedeuten Selbstberichte, dass die Befragten Aussagen über sich selbst machen oder sich selbst bewerten (z.B. klassische Befragungen oder Persönlichkeitstests). In Fremdberichten bewerten die Befragten dagegen andere Personen (z.B. im Führungskräftefeedback).
Warum unseriöses Fragebogendesign ein Problem ist
Ein schlecht konzipierter Fragebogen verursacht Verwirrung und Unzufriedenheit. In diesem Beitrag erfahren Sie, worauf Sie achten sollten.
Überblick über die wichtigsten Antwortverzerrungen durch das Antwortverhalten der Befragten
Antwortverzerrungen in Selbstberichten
Antwortstile (engl. response styles)
Oftmals verzerren Befragte ihre Antworten auf Ratingskalen, ohne dass es ihnen bewusst ist. Denn viele Menschen tendieren dazu, bestimmte Skalenpunkte der Ratingskala gegenüber anderen Skalenpunkten zu bevorzugen. Beispielsweise kreuzen manche Befragten lieber die Mitte der Skala an, andere Befragte dagegen die Extrempunkte. Wenn diese Tendenz zu bestimmten Skalenpunkten stabil und über viele Befragungssituationen hinweg besteht, nennt man sie einen Antwortstil (engl. response style; Wetzel et al., 2016). Folgende Antwortstile sind besonders relevant:
Akquieszenz („Zustimmungstendenz“)
Tendenz der befragten Person dazu, die Frage unabhängig von ihrem Inhalt mit „ja“ oder „stimme zu“ zu beantworten.
Tendenz zu extremen Urteilen (engl. extreme response style)
Bevorzugte Auswahl der Extrempunkte der Ratingskala (z.B. „stimme voll und ganz“ zu oder „stimme überhaupt nicht zu“).
Tendenz zur Mitte (engl. mid-point response style)
Bevorzugte Auswahl derjenigen Punkte auf der Ratingskala, die in der Mitte liegen (z.B. „teils/teils“).
Wieso sind Antwortstile problematisch?
Antwortstile sind erstens deshalb problematisch, weil sie es schwieriger machen, die Antworten verschiedener Personen zur selben Frage zu vergleichen. Beispielsweise hat Person A „stimme voll und ganz zu“ gewählt und Person B nur „stimme zu“. Stimmt Person A der Aussage nun tatsächlich stärker zu, oder kreuzt sie nur lieber die Extrempunkte an, während Person B sich eher in der Mitte der Skala aufhält? Diese Unsicherheit ist insbesondere in Persönlichkeitstests problematisch. Denn in diesen wird die Stärke der Zustimmung zu bestimmten Aussagen dazu genutzt, die Ausprägung des/der Befragten auf einer Persönlichkeitseigenschaft zu bestimmen.
Dieselbe Problematik entsteht nicht nur im Hinblick auf einzelne Personen, sondern auch im Vergleich von Personengruppen. Die Forschung zeigt nämlich, dass verschiedene Gruppen je nach Persönlichkeit, Geschlecht oder soziodemographischen Variablen verschiedene Antwortstile haben.
Zudem haben Antwortstile verzerrende Effekte auf wichtige Kennzahlen des gemessenen Konstrukts (z.B. Arbeitszufriedenheit). Sie verändern den Mittelwert und die Varianz, sowie die Korrelationen mit anderen Konstrukten (Van Vaerenbergh & Thomas, 2013). Somit können Scheinkorrelationen zwischen gemessenen Konstrukten entstehen, die zu folgenschweren Fehlinterpretationen der Daten führen können. Auch viele weitergehende multivariate Analysen (z.B. Regressionen oder Faktorenanalysen) basieren auf Korrelationen. Diese können also ebenfalls durch starke Antwortstile verzerrt werden.
Weitere Antwortverzerrungen in Selbstaussagen
Neben diesen größtenteils unbewussten Antwortstilen gibt es auch Antwortverzerrungen, die den Befragten stärker bewusst sind. Diese zeigen sich allerdings nicht so konstant über verschiedene Befragungssituationen hinweg, weil sie maßgeblich von der Befragungssituation abhängen. Daher fallen sie nicht unter die Kategorie der Antwortstile.
Folgende Antwortverzerrungen sind neben den Antwortstilen besonders wichtig:
Unseriöses Antwortverhalten (engl. careless responding)
Wahlloses Ankreuzen von Punkten auf der Ratingskala, unabhängig davon, was die dazugehörige Frage ist. Dieser Antwortstil ist hauptsächlich auf Motivationsdefizite zurückzuführen.
Faking
Gezielte Verfälschung der eigenen Antworten, um persönliche Ziele zu erreichen. In Bewerbungssituationen bedeutet Faking oftmals, dass die Antworten in Richtung sozialer Normen und Ideale verschoben werden.
Wieso sind unseriöses Antwortverhalten und Faking problematisch?
Dass unseriöses Antwortverhalten und Faking die Validität der Befragungsdaten gefährden, liegt auf der Hand. Bei unseriösem Antwortverhalten haben die erhobenen Daten (annähernd) nichts mit dem zu messenden Konstrukt zu tun, weil die Befragten die Fragen äußerst nachlässig beantworten oder diese sogar gänzlich ignorieren. Bei Faking sind die Angaben der Befragten dagegen etwas näher an der „wahren“ Antwort, jedoch systematisch so verschoben, dass der/die Befragte sich davon einen Vorteil erhofft. Somit ist große Vorsicht im Umgang mit Daten geboten, die unseriöses Antwortverhalten oder Faking beinhalten.
Am Rande sollte angemerkt werden, dass Faking im Gegensatz zu den Antwortstilen und unseriösem Antwortverhalten zwar häufig im Zusammenhang mit Ratingskalen auftritt, jedoch nicht auf diese beschränkt ist. Beispielsweise können Bewerber:innen auch in einem offenen Textfeld ihre Antworten in Richtung sozialer Normen und Ideale verschieben oder sich im Bewerbungsgespräch besser darstellen.
Antwortverzerrungen in Fremdberichten (Rater Biases)
Fragebögen zu Fremdberichten (Beschreibung oder Bewertung andere Personen) werden im HR Kontext vor allem zur Evaluation von Mitarbeiter:innen und Führungskräften eingesetzt, beispielsweise im 360-Grad-Feedback. Da auch hier meistens Ratingskalen verwendet werden, können zunächst dieselben Antwortverzerrungen auftreten wie in Selbstberichten, nämlich Antwortstile, unseriöses Antwortverhalten und Faking.
Besonders relevant sind allerdings Antwortverzerrungen, die nur in Fremdbeschreibungen entstehen können. Diese werde auch Rater Biases genannt.
Halo-Effekt
Tendenz dazu, alle Verhaltensweisen bzw. Aspekte gleich gut oder schlecht zu bewerten (Übermäßige Konsistenz der Urteile).
Härte/Milde Fehler
Tendenz dazu, übermäßig hart oder mild in der Beurteilung aller Verhaltensweisen bzw. Aspekte zu sein.
Der Halo Effekt stammt ursprünglich aus dem Bereich der kognitiven Verzerrungen. Er entsteht, wenn unabhängige oder nur mäßig miteinander korrelierte Eigenschaften als zusammenhängend wahrgenommen werden. Die Wahrnehmung einer Eigenschaft „überstrahlt“ dann die Wahrnehmung der anderen Eigenschaften.
Der Halo-Effekt entsteht beispielsweise, wenn Mitarbeitende ihre Führungskraft sehr charismatisch oder attraktiv finden, und diese Wahrnehmung die Bewertung anderer Eigenschaften der Führungskraft positiv beeinflusst (z.B. das Arbeitsverhalten oder die Pünktlichkeit). Das passiert, obwohl die anderen Eigenschaften eigentlich nichts mit Charisma oder Attraktivität zu tun haben. Andersherum kann der Halo-Effekt sich auch negativ auswirken: Zum Beispiel wenn Mitarbeitende die Führungskraft sehr unsympathisch finden und dem Halo-Effekt unterliegen, werden sie alle Eigenschaften der Führungskraft im Lichte dessen negativ bewerten.
Wieso sind Rater Biases problematisch?
Sowohl der Halo-Effekt, als auch der Härte/Milde Fehler gefährden die Validität der Befragungsergebnisse, jedoch auf unterschiedliche Art und Weisen. Der Halo-Effekt führt zum einen zu undifferenzierterem Feedback, da die Bewertenden nicht unabhängig auf die verschiedenen Teilaspekte eingehen, sondern diese einfach gemäß ihres Gesamturteils bewerten. Zudem entstehen durch den Halo-Effekt übermäßig hohe Korrelationen zwischen den verschiedenen Teilaspekten. Eine solche Verzerrung der Korrelationen kann sich, wie bereits beschrieben, auch auf die Ergebnisse weitergehender statistischer Verfahren übertragen.
Der Härte/Milde Fehler führt hingegen eher dazu, dass die mittlere Bewertung zu schlecht oder zu gut ausfällt. Dies ist vor allem ein Problem, wenn zwei Personen miteinander verglichen werden, von denen die eine zu hart oder mild bewertet wurde, während die andere eine unverzerrte Bewertung erhalten hat.
Ähnlich wie beim Faking sollte angemerkt werden, dass die hier aufgeführten Rater Biases zwar oft auf Ratingskalen gezeigt werden, sich aber nicht auf diese beschränken. Denn sowohl der Halo-Effekt als auch der Härte/Milde Fehler können auch in einer ausformulierten oder mündlich erfassten Bewertung auftreten.
Fazit: Was tun gegen Antwortverzerrungen durch die Befragten?
Antwortverzerrungen durch die Befragten haben viele negative Auswirkungen auf die Validität der erhobenen Daten. Somit auch auf die Validität der Schlussfolgerungen, die aus ihnen gezogen werden. Daher ist es wichtig, die richtigen Maßnahmen zu ergreifen, um viele Antwortverzerrungen bereits im Vorfeld bestmöglich einzudämmen.
Maßnahmen gegen Antwortstile
Im Fall von Antwortstilen sind die möglichen Maßnahmen allerdings recht begrenzt. Viele Studien legen nämlich nahe, dass Antwortstile mit soziodemographischen Variablen und Persönlichkeitsmerkmalen zusammenhängen (wobei die Befunde inkonsistent darin sind, in welche Richtung verschiedene Merkmale die Antwortstile beeinflussen; Wetzel et al, 2016). Allerdings ist bekannt, dass sich Antwortstile unter mangelnder Motivation verstärken. Somit kann die Motivation als Stellhebel verwendet werden, um Antwortstile zumindest zu verringern.
Maßnahmen gegen unseriöses Antwortverhalten
Motivation ist auch ein wichtiger Aspekt, wenn es um unseriöses Antwortverhalten geht. Weil dieses meist durch fehlende Motivation zustande kommt, sollten die Befragten hinreichend motiviert werden. Oftmals reicht es dabei schon, den Befragten zu erklären, wieso die Befragung für das Unternehmen wichtig ist und welche persönliche Relevanz sie auch für jede:n einzelne:n Befragte:n hat. Zudem sollte den Befragten genügend freie Zeit eingeräumt werden, um den Fragebogen zu beantworten. Denn auch Zeitdruck kann dazu führen, dass Befragte durch den Fragebogen hindurcheilen und unseriöses Antwortverhalten zeigen.
Smartes Employee Experience Management
mit dem HAI-PAD
Laden Sie sich die Success Story herunter und erfahren Sie, wie Sie die Arbeitserfahrung in Produktionsunternehmen steigern können.
Success story
Maßnahmen gegen Faking
Da Faking stark durch situative Anreize getrieben ist (z.B. dem Anreiz, die offene Stelle zu bekommen), müssen Merkmale der Situation verändert werden, um Faking einzudämmen. Beispielsweise kann es bereits helfen, die Befragten darauf hinzuweisen, dass unehrliche Antworten in der Auswertung auffallen werden. Eine andere Möglichkeit wäre, statt Ratingskalen ein forced-choice Format zu wählen. Dieses Format ist zwar etwas komplexer in der Auswertung und verlangt einiges an Expertise, kann jedoch Faking sehr effektiv eindämmen.
Maßnahmen gegen Rater Biases
Eine Maßnahme, die sowohl den Halo-Effekt als auch den Härte/Milde Fehler eindämmen kann, ist, die Reihenfolge der Bewertungen zu verändern. Die Rater sollten nicht alle zu bewertenden Personen nacheinander durchgehen, sondern jeden Teilaspekt nacheinander für jede Person beurteilen. Dies kann stärkere Vergleichsprozesse zwischen den verschiedenen zu bewertenden Personen auslösen, sodass die Urteile differenzierter ausfallen. Allerdings ist diese Maßnahme logischerweise nur anwendbar, wenn jede:r Beurteilende mehrere Personen beurteilt.
Um den Härte/Milde Fehler zu vermindern, könnten außerdem verankerte Skalen oder Beispiele eingesetzt werden. Ein gutes Rater-Training, in dem die Bewertenden lernen, welche Profile welche Urteile erhalten sollten, kann in dieser Hinsicht viel bewirken.
Nach der Datenerhebung
Sind die Daten bereits erhoben, sollten unbedingt Fälle mit unseriösem Antwortverhalten statistisch identifiziert und aus der Datenanalyse ausgeschlossen werden. Da Verfahren zur Erkennung von unseriösem Antwortverhalten recht einfach anzuwenden sind, sollten diese immer eingesetzt werden. Kompliziertere Verfahren können auch Antwortstile und Rater Biases erkennen und diese aus den Daten herausrechnen. Dies ist allerdings aufwändiger und sollte nur in Fällen geschehen, in denen Antwortstile ein großer Vorbehalt sind (z.B. im Vergleich verschiedener Kulturen).
Video: Software
im Überblick
Entdecken Sie functionHR in 2 Minuten! Erfahren Sie im Schnelldurchlauf alles Wichtige über unsere Befragungs- und Analyse-Software.
Video: Unsere Software
Entdecken Sie functionHR in 2 Minuten! Erfahren Sie im Schnelldurchlauf alles Wichtige über unsere Befragungs- und Analyse-Software.
Sie sehen gerade einen Platzhalterinhalt von HubSpot. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr Informationen
Fazit
Leider ist es nicht möglich, Antwortverzerrungen durch das Verhalten der Befragten gänzlich zu verhindern. Eine professionelle Durchführung und Auswertung der Befragung kann allerdings viele Risiken für die Entstehung von Antwortverzerrungen identifizieren und aus dem Weg räumen. Dabei sollte nie pauschal vorgegangen werden, sondern immer die Risiken und Hindernisse der konkret vorliegenden Befragungssituation beurteilt werden. So kann sichergestellt werden, dass direkte Befragungen von Mitarbeiter:innen wirklich einen Erkenntnisgewinn und Mehrwert für das Unternehmen liefern.
Paulhus, D. L. (1991). Measurement and control of response bias. In J. P. Robinson, P. R. Shaver, & L. S. Wrightsman (Eds.), Measures of personality and social psychologi- cal attitudes. (1991-97206-001; pp. 17–59). Academic Press; APA PsycInfo. https://doi.org/10.1016/B978-0-12-590241-0.50006-X
Van Vaerenbergh, Y., & Thomas, T. D. (2013). Response styles in survey research: A litera- ture review of antecedents, consequences, and remedies. International Journal of Public Opinion Research, 25(2), 195–217. https://doi.org/10.1093/ijpor/eds021
Wetzel, E., Böhnke, J. R., & Brown, A. (2016). Response biases. In F. Leong, D. Bartram, F. Cheung, K. F. Geisinger, & D. Iliescu (Eds.), The ITC International Handbook of Testing and Assessment (pp. 349–363). Oxford University Press. https://kar.kent.ac.uk/49093/
Entdecken Sie, wie Sie Ihre HR Daten systematisch auswerten und für Ihre tägliche Arbeit einsetzen können.
Weitere Artikel
Austrittsbefragungen: Warum Sie einen standardisierten Fragebogen brauchen
Insight – Standardisierte Austrittsbefragungen Um aussagekräftige Ergebnisse und Handlungsimplikationen zu erhalten, ist eine standardisierte Befragung zwingend notwendig. Eine Standardisierung reduziert die Prozesskosten und erhöht den
Befragungen von Mitarbeitenden ohne festen Arbeitsplatz
Besonderheiten bei Befragungen im Blue Collar Sektor Ein Großteil der wissenschaftlichen, aber auch praxisnahen Literatur bezieht sich auf Mitarbeiterbefragungen im White Collar Bereich. Es stellt
5 Gründe für Exit Surveys
„Wir brauchen keine Exit Surveys, wir wissen aus unseren Exit Interviews warum unsere Mitarbeiter:innen das Unternehmen verlassen.“ Persönliche Exit Interviews sind das gängige Instrument für
