Die vorrangig zu beantwortende Fragestellung lautet: Welchen prognostischen Wert haben einzelne Skalen des Beschäftigungspotenzials hinsichtlich des Verbleibs von Personen am Arbeitsmarkt? Diese Frage soll unter Berücksichtigung der Umsetzung von Empfehlungen für AMS -Maßnahmen geklärt werden. Da die prognostische Validität jedoch nur von tatsächlich durchgeführten AMS-Interventionen beeinflusst werden kann, wurden lediglich diese in den Modellberechnungen zur Prognostischen Validität berücksichtigt. Die Fragestellung wird über Regressionsanalysen und ein Strukturgleichungsmodell beantwortet.

Ferner interessiert, inwiefern die Skalen des Beschäftigungspotenzials weitere gängige Gütekriterien für standardisierte Verfahren erfüllen. Gemäß dem State-of-the-Art wird hierbei neben den Hauptgütekriterien der Objektivität, Reliabilität und Validität auch die Fairness, Skalierung, Unverfälschbarkeit, Zumutbarkeit und Ökonomie der Verfahren begutachtet.

Die Fragestellung wird über eine umfassende Literaturrecherche in Testmanualen und psychologischen Datenbanken beantwortet. Für die Leistungsmotivation (verwendete Skalen des LMI ) wurde auch eine faktoren- und regressionsanalytische Überprüfung durchgeführt.

Die dritte Fragestellung, die im Projektverlauf hinzukam, lautete: Werden die von move-ment empfohlenen Maßnahmen vom AMS umgesetzt? Die Fragestellung wird über eine Kreuztabellierung der empfohlenen mit den durchgeführten Maßnahmen durchgeführt. Auf Basis der bestehenden Daten kann jedoch keine Aussage darüber getroffen werden, ob andernfalls keine oder eine Maßnahme außerhalb der AMS-Verantwortung getroffen wurde, wie z. B. das Aufsuchen einer Suchtberatung.

Da das Beschäftigungspotenzial mit zahlreichen Variablen und Instrumenten erfasst wird, stellt sich die Frage, ob ein latentes Konstrukt »(Psychische) Beschäftigungsfähigkeit« existiert und die Testskalen unterschiedliche Facetten des Konstrukts erfassen, ohne dabei austauschbar zu sein.

Als erster Schritt zur Analyse wird überprüft, ob die einzelnen Skalen miteinander korrelieren. Die Interkorrelationsmatrix der Testverfahren und Subskalen des Beschäftigungspotenzials in Tabelle 9 (siehe Anhang) zeigt durchaus Zusammenhänge zwischen den Verfahren. Dies weist bereits darauf hin, dass die Verfahren ähnliche Konstrukte messen.

Als zweiter Schritt wird mittels Fakten- und Hauptkomponentenanalyse überprüft, wie viele dahinterliegende Faktoren es gibt, auf wie viele unterschiedliche Faktoren die Daten also reduziert werden können. Es stellt sich heraus, dass fast eine einfaktorielle Lösung erreicht wird. Dieses Ergebnis ist insofern überraschend, da die psychologischen Skalen durchaus Unterschiedliches erheben.

Die Abbildung 4 zeigt zwar, dass bei der Faktorenanalyse das Eigenwertkriterium »kleiner als 1« nicht ganz erreicht wurde. Es liegt jedoch nahe, dass bei einer gezielten Konstruktion bzw. Zusammensetzung der Erhebungsinstrumente vermutlich leicht eine tatsächlich einfaktorielle Lösung erzielt werden könnte (was nicht Forschungsgegenstand der Studie war.) Eine einfaktorielle Lösung bedeutet, dass die Varianzen auf einen latenten Faktor zurückführbar sind, der grob als (psychische) Beschäftigungsfähigkeit der Teilnehmer_innen umschrieben werden kann.

In einem dritten Schritt wurde versucht, die Daten in einem Strukturgleichungsmodell abzubilden, in dem auch die Variablen »Alter«, »Geschlecht« und »Dauer der Arbeitslosigkeit« und das Beschäftigungsvolumen aufgenommen werden. Hypothetischen Überlegungen nach könnte es so sein, dass die psychologischen Tests und der ABI eine latente Dimension »Beschäftigungsfähigkeit« abbilden, die wiederum in einem bestimmten Ausmaß das Beschäftigungsvolumen erklären kann. (Im Unterschied dazu: Bei den Regressionsmodellen wurde direkt von jedem einzelnen Score/Testkennwert auf die Beschäftigungsfähigkeit geschlossen.) Den höchsten Model-Fit wies dabei das in Abbildung 5 dargestellte Modell auf.

Da nicht alle Skalen des Leistungsmotivationsinventars LMI vorgegeben wurden, musste überprüft werden, ob Leistungsmotivation als eine Dimension gesehen werden kann. Die faktorenanalytische Überprüfung ergab, dass auch bei dieser gekürzten Version des LMI eine eindimensionale Lösung (im aktuellen Datensatz) vorliegt. Während daher die Skalen »Engagement«, »Flexibilität«, »Lernbereitschaft«, »Selbständigkeit«, »Selbstkontrolle«, »Furchtlosigkeit« und »Beharrlichkeit« des LMI die latente Dimension »Leistungsmotivation« bilden, sind die verschiedenen FPI-R-Skalen als faktoriell unterschiedlich anzusehen und gingen daher einzeln in das Modell ein. Zusätzlich wurden erneut der SOC-Gesamtwert, die Positiv-Strategien des SVF-78 , die FKK-Tertiärskala und der ABI -Gesamtwert inkludiert.^[20] Diese bilden gemeinsam, wie faktorenanalytisch festgestellt werden kann, die latente Dimension der »(psychischen) Beschäftigungsfähigkeit« bzw. des Beschäftigungspotenzials ab.

Die (psychische) Beschäftigungsfähigkeit wiederum sagt teilweise, gemeinsam mit dem Alter und dem Geschlecht der Teilnehmer_innen sowie der bisherigen Dauer ihrer Arbeitslosigkeit, das relative Beschäftigungsvolumen voraus (s. o.). So erweist sich das Beschäftigungsvolumen als tendenziell höher, wenn die Teilnehmer_innen jünger und weiblich sind, die Dauer ihrer bisherigen Arbeitslosigkeit geringer ist und ihr Beschäftigungspotenzial hoch ist.

Objektivität meint die Unabhängigkeit der Testwerte der Teilnehmer_innen von den Testleiter_innen.^[21] Durchführung, Auswertung und Interpretation eines Instrumentes müssen also unbeeinflusst durch die individuelle Person des Testleiters oder der Testleiterin bleiben.

Den Ansprüchen für standardisierte, psychologische Persönlichkeitsfragebögen folgend enthalten FPI-R, LMI, FKK, SOC, SVF-78 und die H-Skalen exakte Instruktionen für die Durchführung der Tests. Durch leicht verständliche Angaben zum Ausfüllen der Fragebögen wird zudem die Wahrscheinlichkeit von Nachfragen durch die Teilnehmer_innen, was unstandardisiertes Reagieren der Testleiter_innen erforderlich machen würde, minimiert. Um die (Durchführungs-)Objektivität zusätzlich zu erhöhen, ist zudem eine computerunterstützte Umsetzung möglich.

Ferner stehen eindeutige Auswertungsregeln sowie Normen zum Vergleich bzw. zur Interpretation der resultierenden Testwerte zur Verfügung. Die Gefahr von Übertragungsfehlern kann, trotz der insgesamt sehr großen Itemzahl, als vernachlässigbar angesehen werden. Betreffend dem SVF-78 ist zudem zu beachten, dass zu seiner Interpretation lediglich die Normtabellen des SVF-120 vorliegen, wobei nie überprüft wurde, ob die Kennwerteverteilung in den beiden SVF-Versionen voneinander abweicht.^[22]

Grundsätzlich leicht eingeschränkt ist zudem die Objektivität des ABI, da die Instruktionen zur Testvorgabe lückenhaft sind^[23]. Das Testleiter_innenverhalten und die situativen Bedingungen können daher variieren und das Antwortverhalten der Teilnehmer_innen beeinflussen. move-ment begegnet dem durch eigene, in Form von mind-maps verschriftlichten Testleiter_inneninstruktionen. Da zudem die adäquate Interpretation der Ergebnisse (arbeits-)medizinisches Vorwissen erfordert, kann nur dann von weitgehender Objektivität ausgegangen werden, wenn der ABI von Personen mit ärztlicher Erfahrung durchgeführt, ausgewertet und/ oder interpretiert wird. Dies gilt insbesondere, da dem Test keine standardisierten Normtabellen geeigneter Vergleichsstichproben zur Veranschaulichung der Testwerte beiliegen. Jedoch wird versucht, die Interpretation der Ergebnisse durch anschauliche Darstellungen dessen, was die Antworten bedeuten können, zu erleichtern.

Die dargestellten Einwände gelten selbstredend auch für die nicht-normierten Fragen zur eigenen Einschätzung der Beschäftigungsfähigkeit der Teilnehmer_innen.^[24] Auch hier fehlen unmissverständliche Hinweise zur Durchführung, Auswertung und Interpretation möglicher Antworten.

Mit Vorsicht betrachtet sollte ferner die FPI-R-Skala »Offenheit« werden, die, da sie mittelbar ebenso wie unmittelbar von der tatsächlichen Offenheit der Teilnehmer_innen abhängig ist, nur uneindeutig zu interpretieren ist.

Die leicht eingeschränkte Objektivität des ABI, der nicht-normierten Fragen und der FPI-R-Skala »Offenheit« ist bei der Beurteilung der Gütekriterien der Tests und der Testbatterie zu beachten, da die Höhe der Reliabilität und, in weiterer Folge, der Validität eines Tests stets von jener der Objektivität abhängt.

Die (Durchführungs-)Objektivität des gesamten Instrumentes wird nicht zuletzt auch davon beeinflusst, wann, in welcher Reihenfolge und in welchem Kontext die einzelnen Testverfahren vorgegeben werden. Der Wunsch nach einer standardisierten Vorgabe der sieben einzelnen Verfahren ist jedoch gegen die Vorteile der Flexibilität im Beratungskontext abzuwägen.

Die Reliabilität beschreibt die Zuverlässigkeit und Messgenauigkeit eines Instrumentes.^[25] Sie wird als gewährleistet angenommen, wenn die Testergebnisse zu späterer Zeit (»Stabilität«) wiederholbar sind. Zudem sollen die Items einer Skala das gleiche Konstrukt messen (»Interne Konsistenz«, »Split-Half-Reliabilität«, »Paralleltest-Reliabilität«), während die Testskalen unabhängig voneinander interpretierbar sein sollen (»Profilreliabilität«).

Die Angaben zu mehreren der in den Tests erfassten Konstrukte sind situationsabhängig und veränderungssensitiv, weshalb die Berechnung der Stabilität der Testwerte vorwiegend über kurze Zeiträume hinweg sinnvoll ist. Über kurze Perioden von zwei bis vier Wochen zeigten der WAI, der dem ABIzugrunde liegt, und die H-Skalen^[26] akzeptable Retest-Reliabilitäten.^[27] Über mehrere Monate und sogar Jahre hinweg annähernd stabil erwiesen sich insbesondere der SOC-29^[28] sowie ferner der LMI,^[29] der FKK^[30] und das FPI-R .^[31] Die Stabilität des SVF-78 wird, in Anlehnung an die Retest-Reliabilitäten des äquivalenten Fragebogens für Kinder und Jugendliche (SVF-KJ), als akzeptabel angenommen, während für die verwendete Version des SVF-78 die Berechnung der Retest-Reliabilität ausständig ist.

Zu beachten ist, dass einige der Fragebögen, etwa der SVF-78, vergleichsweise kurz ausfallen, was Gedächtnis- und Lerneffekte erleichtert. Das konsistente Antwortverhalten könnte zum Teil also auch hierauf zurückgeführt werden.

Die interne Konsistenz eines Instrumentes, gemessen über Cronbachs α, gibt hingegen an, wie sehr die einzelnen Items eines Tests miteinander zusammenhängen. Insgesamt befinden sich die meisten internen Konsistenzen der Tests und Subtests über α=0,8, viele sogar über dem weniger liberalen Kriterium von α=0,9. Dies gilt, wenn überprüft, sowohl für männliche als auch für weibliche Teilnehmer_innen.

Die Spannbreite der internen Konsistenzen des SVF-78 liegt dabei zwischen α=0,77 und α=0,94, die der FPI-R-Skalen zwischen α=0,73 und α=0,83. Der Gesamtwert der H-Skalen weist eine interne Konsistenz von α=0,92 auf, während der LMI-Gesamtwert mit α=0,89 gleichfalls höchst konsistent ist. Ebenso liegen die internen Konsistenzen der Langform sowie der Kurzformen des SOC-29 durchgehend über α=0,8, betreffend die Langform sogar über α=0,91.

Während für den deutschsprachigen ABI, der sich aus dem WAI abgeleitet hat, keine Reliabilitätsberechnungen dokumentiert sind, werden betreffend den WAI in verschiedenen Studien akzeptable interne Konsistenzen im Bereich von α=0,72 bis α=0,83 angegeben^[32]. Diese bestehen länder- und sprachübergreifend und wurden auch für den deutschsprachigen Bereich bestätigt.

Kritischer ist der FKK einzuschätzen, für den unterschiedliche Studien zur internen Konsistenz vorliegen. Die Ergebnisse dieser schwanken stark; es werden Kennwerte von α=0,65 bis α=0,90 angegeben. Dass die Items der vier Subskalen hier jeweils das gleiche Konstrukt messen, scheint also unzureichend gesichert zu sein. Als problematisch sind darüber hinaus nur wenige Subtests der Bestandteile des Instrumentes zu betrachten, so etwa die SVF-78-Skalen zu Situationskontrolle und Ablenkung, sowie mehrere Subskalen des LMI, die im Extremfall eine interne Konsistenz von nur α=0,68 aufweisen.

Analog zu den internen Konsistenzen können Split-Half-Reliabilitäten über die Testhalbierungsmethode berechnet werden. Hierbei wird überprüft, inwiefern die beiden Hälften eines Tests zusammenhängen, indem zwei vergleichbaren Stichproben jeweils nur das halbierte Instrument vorgegeben wird.

Nicht für alle der psychologischen Tests wurden bereits Split-Half-Reliabilitäten berechnet. Ausständig sind diese noch für den ABI bzw. den WAI.

Der SVF-78, der LMI, der SOC-29 und die H-Skalen erreichen auch hier durchgehend Werte von r>0,8. Die Split-Half-Reliabilitäten des SVF-78 etwa weisen Werte von bis zu r=0,95 auf, wobei der Subtest mit der niedrigsten Reliabilität immer noch r=0,74 erreicht. Der Gesamtwert der H-Skalen zeigt eine Split-Half-Reliabilität von r=0,85, der LMI-Gesamtwert eine solche von r=0,94 und der SOC-29 eine solche von r=0,9.

Problematisch hingegen erscheinen FKK und FPI-R. Die Split-Half-Reliabilitäten der FKK-Subtests übersteigen nur selten |r|=0,8. Der niedrigste Wert liegt gar bei r=0,63. Für den neueren FPI-R liegen keine Split-Half-Reliabilitäten vor. Betreffend den FPI-G von 1970, aus dem der FPI-R entstanden war, sind aber bereits Split-Half-Reliabilitäten festgestellt worden, die zum Teil sehr niedrig erschienen. Insbesondere erwies sich die Skala »Offenheit« als kritisch, die regelmäßig Split-Half-Reliabilitäten von r<0,7 zeigte.

Darüber hinaus kann die Genauigkeit eines Tests über die Paralleltestreliabilität beschrieben werden. Hierbei füllen die Teilnehmer_innen zwei Parallelformen eines Tests oder zwei verschiedene Tests, die sehr ähnliche Konstrukte messen, aus, woraufhin die Ergebnisse auf systematische Zusammenhänge überprüft werden. Die Paralleltestreliabilität beträgt für den Gesamtwert der H-Skalen r=0,89 und wurde für sämtliche anderen Testverfahren des Instrumentes bisher nicht berechnet.

Um Profil- bzw. Differenzenreliabilität sicherzustellen, ist außerdem eine möglichst niedrige Interkorrelation zwischen den einzelnen Skalen erforderlich. Nur dann können die Skalen getrennt voneinander interpretiert werden.

Die Interkorrelationen der LMI-Skalen streuen in der vorliegenden Studie über die Range von r=0,14 (Engagement gegen Furchtlosigkeit) bis r=0,70 (Furchtlosigkeit gegen Beharrlichkeit), sind überwiegend jedoch akzeptabel.

Mehrere der Interkorrelationen der Subtests des SVF-78 liegen hingegen über r=0,5.

Auch beim FPI-R bestehen deutliche Interkorrelationen zwischen verschiedenen Skalen, die aber insgesamt geringer ausfallen als in der älteren Version des FPI-G. Die gemeinsame Varianz zweier Skalen beträgt im FPI-R maximal 20 Prozent (Erregbarkeit gegen Aggressivität). In der vorliegenden Studie reicht die Range der Beträge der Interkorrelationen von |r|=0,03 (Leistungsorientierung gegen Offenheit) bis |r|=0,74 (Beanspruchung gegen Emotionalität). Insbesondere die Interkorrelationen der Emotionalitäts-Skala mit sämtlichen anderen Skalen sind als kritisch anzusehen.

Auch die Items aus den vier Primärskalen des FKK zeigen oftmals Interkorrelationen, die über |r|=0,5 liegen. Der höchste Zusammenhang besteht zwischen der Skala der sozialen und jener der fatalistischen Externalität (r=0,57). Da aber keine Interkorrelationen zwischen internalistischen und externalistischen Konzepten besteht, kann inhaltlich auf eine akzeptable Profilreliabilität geschlossen werden.

Hierauf aufbauend wurde auch überprüft, inwiefern die Testverfahren, aus denen das Instrument zur Messung der Beschäftigungsfähigkeit besteht, interkorrelieren. Starke Zusammenhänge würden bedeuten, dass die entsprechenden Testskalen austauschbar und redundant sind. Die Interkorrelationen der Skalen des LMI und des FPI-R miteinander sowie mit dem ABI-Gesamtwert, den Positiv-Strategien der Stressverarbeitungsweisen, der Hoffnungslosigkeitsskala, der Testung zum Kohärenzgefühl und der FKK-Skalen lagen nur selten über |r|=0,6.

Insgesamt erweisen sich die Tests als stabil und reliabel, obwohl FKK , LMIund FPI-R immer wieder durch eine geringe interne Konsistenz auffallen.

Die Validität eines Tests beschreibt seine Eigenschaft zu messen, was er zu messen vorgibt (»Gültigkeit«). Dies kann »nach Augenschein« überprüft werden, aber auch indem ein Außenkriterium zum Vergleich herangezogen oder das der Testlogik zugrundeliegende Konstrukt überprüft wird.

Die gängigste Möglichkeit, die Validität eines Instrumentes zu überprüfen, ist, ein geeignetes Außenkriterium zu wählen (»Kriterienvalidität«). Wenn theoriegeleitet festgelegt werden kann, womit die Testwerte in Gegenwart oder Zukunft (nicht) zusammenhängen sollten, kann die Gültigkeit des Konzepts über dessen Zusammenhang mit der Varianz der Außenkriterien quantifiziert werden. Hierfür muss selbstredend ein Kriterium gewählt werden, das beobachtbar und messbar ist.

Kern der vorliegenden Studie war die Feststellung der prognostischen Validität des Instrumentes, die eine Variante einer solchen Kriterienvalidität darstellt, bei der die Testwerte eine zukünftige Maßzahl (i. d. F. das Beschäftigungsvolumen) vorherzusagen versuchen. Die prognostische Validität des Instrumentes erwies sich dabei als grundsätzlich gegeben. Betreffend die Einzelverfahren zeichnete sich ab, dass insbesondere die prognostische Validität des ABI sowohl in der Vergangenheit als auch in der vorliegenden Studie hoch gewesen war. Bereits in den früheren Studien zeigte sich, dass der WAI, der dem ABI zugrundeliegt, vorzeitigen Berufsausstieg, den Gedanken an einen Berufsausstieg und längere Perioden der Arbeitsunfähigkeit vorhersagen kann.^[33]

Eine Variante der Kriterienvalidität stellt die Übereinstimmungsvalidität bzw. diagnostische Validität dar. Hierbei wird ein Außenkriterium gewählt, das gegenwärtig besteht und messbar ist. Insbesondere betreffend instabile Konstrukte ist die Übereinstimmungsvalidität eine die prognostische Validität ergänzende Möglichkeit des Erkenntnisgewinns.

So spricht es für die Validität des ABI, dass Teilnehmer_innen, die laut dem ABI bzw. dem WAI eine hohe individuelle Arbeitsfähigkeit aufweisen, auch eher physische und psychische Gesundheit sowie Arbeitszufriedenheit angeben und seltener Stress oder Depressivität empfinden^[34]. Der ABI ist grundsätzlich für Personen in Arbeit konstruiert und der ermittelte Punktwert stellt das Verhältnis von aktueller Leistungsfähigkeit zu gestellter Arbeitsanforderung dar. Daher ist der Einsatz des ABI bei arbeitsuchenden Personen nicht zulässig. Allerdings hat move-ment die Kurzversion des ABI leicht adaptiert, sodass Fragen nicht mehr hinsichtlich der konkreten, aktuellen Arbeitssituation sondern allgemein hinsichtlich »einer Arbeit« gestellt werden. Das adaptierte Instrument wurde nach mündlicher Auskunft von move-ment mehrfach überprüft und mit dem Entwicklerteam des ABI abgesprochen.

In vergleichbarer Weise bestehen theoriekonforme Zusammenhänge der FPI-R-Testwerte mit der beruflichen Situation, der Lebenssituation, dem Gesundheitszustand, dem Gesundheitsverhalten, dem Berufsstatus und der beruflichen Belastung der Teilnehmer_innen.

Die H-Skalen hingegen weisen zu erwartende Zusammenhänge mit klinischen und Persönlichkeitsmerkmalen sowie mit entwicklungsbezogenen Korrelaten auf. Hoffnungslose Personen zeigen eher Anzeichen von Depressivität und Suizidalität, geringere Lebenszufriedenheit, größere Belastung, mehr kritische Lebensereignisse und pessimistischere Zukunftsaussichten. Nicht zuletzt beeinflussen hohe Werte auf den H-Skalen alltagsnahe Verhaltenstendenzen, hängen sie doch mit einer geringeren Behandlungsbereitschaft von Alkoholiker_innen, mit einer verminderten Anzahl der Alltagsaktivitäten und mit seltenerem politischen oder sozialen Engagement zusammen.

Auch die Zusammenhänge des LMI-Gesamtwertes mit Bildungsabschlüssen, Noten, den Motiven bei der Bildungswahl, der Leistungszufriedenheit und -erwartung, dem Jahreseinkommen, der Statusorientierung der Befragten, der Wochenarbeitszeit, der Stellung in der Hierarchie und den Einstellungen gegenüber Schule und Bildung entsprechen den Erwartungen. Ferner geht hohe Leistungsmotivation mit der Teilnahme an Wettbewerben, einer größeren Menge der Hobbies und einer höheren Anzahl an wahrgenommenen Funktionen, so z. B. in Vereinen, einher.

Personen mit externaler Kontrollüberzeugung gemäß FKK zeigen häufiger Hinweise auf Depressivität und starke Schüchternheit. Hingegen zeigen Proband_innen mit internaler Kontrollüberzeugung und positivem Selbstkonzept optimistischere Zukunftsaussichten und höhere Lebenszufriedenheit und erweisen sich in unterschiedlicher Hinsicht als (politisch) aktiver.

Während ursprünglich davon ausgegangen war, dass das Kohärenzgefühl, gemessen über den SOC-29, mit der körperlichen Gesundheit von Personen zusammenhängt, weist die heutige Kenntnislage darauf hin, dass es sehr viel eher mit der psychischen Gesundheit korreliert. Aufgrund des gegenwärtigen Forschungsstandes ist dieser Zusammenhang unmittelbar einsichtig; dass er bei der Konzeption des SOC-29 nicht berücksichtigt wurde, wird jedoch oftmals kritisiert.

Für den SVF-78 ist die Quantifizierung der so zentralen Übereinstimmungsvalidität noch ausständig.

Versuche, die Änderungssensitivität der Testverfahren für Effekte psychologischer Interventionen festzustellen, können zusätzlich Hinweise darauf liefern, dass die Tests gemessen haben, wogegen letztlich therapeutisch vorgegangen wurde. Dass die H-Skalen, trotz prinzipiell bestehender Stabilität, negativ auf eine therapeutische Intervention reagierten, zeugt daher von der Zuverlässigkeit der Daten. Selbiges gilt für den FKK, dessen Werte durch autogenes Training ebenso wie durch die Therapie depressiver Störungen verbessert werden können. In Anlehnung an den SVF-KJ für Kinder und Jugendliche ist auch betreffend den SVF-78 für Erwachsene von Änderungssensitivität nach therapeutischen Interventionen auszugehen.

Eine weitere Variante, die Kriterienvalidität abzuschätzen, stellt die Berechnung der differenziellen Validität dar. Hypothesengeleitet werden hierbei Personengruppen verglichen, von denen anzunehmen ist, dass sie sich hinsichtlich der Testwerte unterscheiden.

Der ABI wurde in Anlehnung auf den WAIentwickelt, welcher wiederum external konstruiert wurde. Da die Items also demnach ausgewählt wurden, inwiefern sie zwischen den Personengruppen mit unterschiedlich hohem Beschäftigungsvolumen diskriminieren konnten, erfüllt der ABI automatisch das Kriterium, dass Personen mit geringerer Fähigkeit zur Arbeitsbewältigung geringere Scores erreichen.

Ferner unterscheiden sich die FPI-R-Testwerte theoriekonform zwischen Personengruppen, die aufgrund von klinisch-psychologischen, beruflichen und anderen psychosozialen sowie soziodemographischen Merkmalen gebildet wurden. So wird etwa die höchste Lebenszufriedenheit von verheirateten, berufstätigen oder pensionierten Personen angegeben, während die meisten körperlichen Beschwerden von alleinstehenden Hausfrauen sowie von Pensionist_innen berichtet werden.

In ähnlicher Weise konnte gezeigt werden, dass klinische Gruppen deutlich höhere Werte auf den H-Skalen aufweisen als nicht-klinische Gruppen. Insbesondere gilt dies für suizidale und depressive Personen sowie Alkoholiker_innen. Generell konnte unter (nicht nur) psychiatrischen Krankenhauspatient_innen größere Hoffnungslosigkeit festgestellt werden.

Der FKK ist ebenfalls dazu in der Lage, zwischen verschiedenen Personengruppen zu unterscheiden. Dies gilt etwa entlang von Differenzierungsmerkmalen betreffend die berufliche Situation und den Arbeitsplatz der Personen, etwa hinsichtlich unterschiedlicher Strukturiertheit und Beeinflussbarkeit der Arbeitsabläufe. Stärker noch differenziert der FKK zwischen klinischen Gruppen. Insbesondere Personen mit Sucht- und depressiven Erkrankungen weisen auffällige FKK-Profile mit hoher Externalität auf. Ebenso zeigen Häftlinge mit einiger Regelmäßigkeit ein spezifisches FKK-Profil, das ebenfalls vor allem auf hohe Gefühle (fatalistischer) Externalität hinweist.

Zwischen klinischen Gruppen zu unterscheiden vermag auch der SOC-29. Personen, die innerhalb der zwölf Monate vor der SOC-29-Testung eine psychiatrische Diagnose erfüllten, weisen im Vergleich das niedrigste Kohärenzgefühl auf; Personen, die noch nie eine solche Diagnose erfüllten, das höchste^[35]. Jedoch stellte sich heraus, dass der SOC-29 wenig dazu geeignet ist, zwischen Personen mit und ohne körperlichen Erkrankungen zu differenzieren.

Konfirmatorische Faktorenanalysen verhelfen darüber hinaus, die faktorielle Validität eines Instrumentes zu messen. In diesen wird festgestellt, inwiefern die Einteilung der Testitems in Subskalen statistisch begründet ist.

Die Überprüfung der faktoriellen Validität der H-Skalen etwa legte eine 4-Faktoren-Lösung nahe. Jedoch schien auch eine Einfaktorenlösung akzeptabel, zumal die Reliabilitätsüberprüfung der Gesamtskala sehr vielversprechend war. Daher wurde auf die Bildung von Subskalen verzichtet.

Die einzelnen Skalen des LMIhängen korrelativ relativ stark zusammen, was die Verwendung eines Gesamtwertes rechtfertigt.^[36] Wird eine Faktorenanalyse nach der Hauptkomponentenmethode über alle Items umgesetzt und eine erzwungene 17-faktorielle Lösung gesucht, wird die Zuordnung der Items zu den Skalen relativ gut reproduziert.

Die FKK-Faktorenanalyse nach der Hauptkomponentenmethode mit anschließender Varimax-Rotation bestätigt die vierfaktorielle Lösung. Die Faktoren können, wie theoretisch angenommen, als Selbstkonzept eigener Fähigkeiten, soziale Externalität, fatalistische Externalität und Internalität operationalisiert werden.

Betreffend den SVF-78 weist eine Faktorenanalyse nach der Hauptkomponentenmethode und anschließender Varimax-Rotation auf die Gültigkeit einer 5-Faktoren-Lösung hin, wobei die Negativ-Strategien in einem Faktor subsumieren, die drei Positivbereiche jeweils einen Faktor darstellen und das Unterstützungsbedürfnis einen eigenen Faktor darstellt. Weitgehend kann damit die deduktive Einteilung der Items in Skalen bestätigt werden.

In analoger Weise wurde für den FPI- faktorenanalytisch eine 10-Faktoren-Lösung gefunden. Eine Clusteranalyse offenbarte eine kleinteiligere Struktur, die jedoch, aufgrund der geringeren Ökonomie, den 10 Faktoren unterlegen zu sein scheint.

Hingegen ließen sich die auf theoretischen Vorüberlegungen basierenden SOC-29-Subskalen, namentlich Verstehbarkeit, Handhabbarkeit und Sinnhaftigkeit problematischer Situationen, bisher nicht in annehmbarer Weise faktoriell reproduzieren. Es gilt zu vermuten, dass die Konstrukte konzeptuell so ähnlich sind, dass methodisch kaum zwischen ihnen unterschieden werden kann.

Betreffend den ABI erscheint die Einteilung in unabhängige Subskalen und die Berechnung der faktoriellen Validität nicht sinnvoll.

Grundsätzlich können darüber hinaus Aussagen über die Konstruktvalidität eines Instrumentes getroffen werden, wenn profunde Kenntnisse über das dem Instrument zugrundeliegende Konstrukt vorhanden sind bzw. das Instrument direkt aus dem Konstrukt abgeleitet wurde. Wenn dies der Fall ist, können aus dem Konstrukt begründete Prämissen hergeleitet und statistisch überprüft werden.

Der LMI etwa wurde in Anlehnung an verschiedene Theorien der Leistungsmotivation und an persönlichkeitstheoretische Konzepte konstruiert. Die Formulierung der Skaleninterpretation folgt den Iteminhalten.

Auch der FPI-R basiert auf althergebrachten persönlichkeitspsychologischen Konzepten, vor allem dem Persönlichkeitskonzept nach Eysenck, wurde aber durch Eigenschaften ergänzt, die in einem personalpsychologischen Kontext von Bedeutung sind.

Bei der Konstruktion des FKKwurde auf eine hohe phänomenologische Relevanz jedes Items für das jeweilige Konstrukt und damit eine hohe inhaltliche Validität geachtet. Die Skalenwerte stimmen zudem erwartungsgemäß mit den Selbst- und den Fremdeinschätzungen durch nahestehende Personen überein.

Für die allgemeine Konstruktvalidität der H-Skalen hingegen spricht, dass Laien, denen das Konzept der Hoffnungslosigkeit erläutert worden war, die Items zur Hoffnungslosigkeit und Items zu verwandten Bereichen^[37] den jeweiligen Themenkreisen korrekt zuordnen können.^[38]

Die Konstruktvalidität eines Instrumentes kann ferner mithilfe von Konvergenz- und Diskriminanzvaliditäten festgestellt werden. Dabei wird überprüft, inwiefern die Testwerte des Instrumentes mit jenen verwandter Tests übereinstimmen (»Konvergenzvalidität«) bzw. inwiefern sie unabhängig von den Werten nicht-verwandter Tests sind (»Diskriminanzvalidität«).

So bestehen, zum Teil sehr deutliche, theoriekonforme Zusammenhänge des WAI, der dem ABI zugrunde liegt, mit Ergebnissen aus anderen klinischen und Gesundheitsfragebögen.^[39]

Der FPI-R dagegen bewies sich im Vergleich zu verwandten Persönlichkeitsfragebögen, Fremdbeurteilungen betreffend die Selbstsicherheit und Selbstbeurteilungen betreffend die Gehemmtheit, Extraversion, Lebenszufriedenheit und Leistungsorientierung.

Wie der Vergleich der H-Skalen- und der SVF-78-Testwerte bestätigt, neigen darüber hinaus hoffnungslose Personen auch eher zu negativen Stressbewältigungsmechanismen.

Wie dies bereits in der Vergangenheit festgestellt wurde, zeigt ein Vergleich der Ergebnisse des LMI mit denen des NEO-FFI enge Zusammenhänge der Leistungsmotivation mit Neurotizismus und Gewissenhaftigkeit. Ferner hängt der LMI mit dem Sozialen Erwünschtheitsmaß von Crowne-Marlowne zusammen.

Der FKKhängt erwartungsgemäß mit Skalen zu generalisierten sowie bereichsspezifischen Kontrollüberzeugungen sowie zu generalisierten sowie bereichsspezifischen Selbstkonzeptmerkmalen, namentlich mit dem LOC-E (»Locus-of-Control-Event«), dem IPC-Fragebogen (»Internal, Powerful Others, and Chance Scales«) und den FSKN (»Frankfurter Selbstkonzeptskalen«) zusammen. Dahingegen sind keine nennenswerten Korrelationen mit allgemeinen Persönlichkeitsinventaren wie dem FPI-R, dem Eysenck-Persönlichkeitsinventar und den 16 PF-Fragebögen festzustellen, was darauf hinweist, dass der FKK zusätzliche, von den bereits messbaren Persönlichkeitseigenschaften unabhängige Konstrukte misst.

Die Konvergenz- und Diskriminanzvaliditäten der meisten der verwendeten Testverfahren verhalten sich also erwartungsgemäß. Dass der SOC-29 außerordentlich hoch mit Skalen zu Ängstlichkeit, Depressivität, Neurotizismus und negativer Affektivität korreliert, obwohl die Skala ein qualitativ abweichendes Konstrukt messen sollte, wurde jedoch immer wieder als Kritikpunkt herangezogen.

Die verwendeten Testverfahren sind allgemein als fair zu beurteilen, da sie für die Teilnehmer_innen nicht mit einer systematischen Benachteiligung einhergehen und diskriminierende Formulierungen durchgehend vermeiden.

Betreffend Geschlecht, Alter, Bildungsgrad und Einkommensgruppe wurden betreffend einiger Tests Haupteffekte, seltener auch Wechselwirkungseffekte, gefunden. Dies gilt insbesondere für den SVF-78 , den FPI-R , den SOC-29 und den LMI. Die entsprechenden Effekte waren mehrheitlich jedoch bereits in anderen Tests festgestellt worden und verhielten sich theoriekonform.

Eine allgemeine Schwäche von schriftlichen Persönlichkeitsfragebögen jedoch ist, dass sie an die sprachliche Kompetenz der Teilnehmer_innen gebunden sind. Eine geringe Ausprägung der Lesekompetenz oder des Verständnisses der deutschen Sprache kann dazu führen, dass die Fragebögen nicht vollständig oder nicht akkurat ausgefüllt werden können.^[40] Dass etwa der ABIbereits in 25 Sprachen übersetzt wurde, vermindert zumindest die Voraussetzungen, die an die Kenntnis der deutschen Sprache gestellt werden.

Eine Möglichkeit, mit dem Problem der Sprachabhängigkeit umzugehen, liegt in Tests, die culture-fair bzw. sprachunabhängig sind. Dies gilt in der Regel für objektive Persönlichkeitstests. Hierbei aber muss beachtet werden, dass diese computerbasiert funktionieren und nur dann als fair angesehen werden können, wenn davon ausgegangen werden kann, dass sämtliche Teilnehmer_innen bereits grundlegende Erfahrungen im Umgang mit Computern gesammelt haben.

Ein Test erfüllt das Gütekriterium Skalierung, wenn die laut Verrechnungsvorschriften resultierenden Testwerte die empirischen Verhaltensrelationen adäquat abbilden.^[41] In diesem Zusammenhang kann als problematisch angesehen werden, dass das Instrument zum Messen der Beschäftigungsfähigkeit ausschließlich aus Persönlichkeitsfragebögen sowie aus nicht-normierten Fragen besteht. Die Verfälschbarkeit ist daher groß und Effekte des Antwortens gemäß sozialer Erwünschtheit und der Akquieszenz möglich. Insofern misst das Instrument stets nicht nur die Beschäftigungsfähigkeit, sondern, gerade bei sehr persönlichen Fragen, die als zudringlich empfunden werden können, auch die Tendenz der Teilnehmer_innen, offen und aufrichtig zu antworten.

Da es sich jedoch um eine Beratungssituation handelt, könnte prinzipiell davon ausgegangen werden, dass das Bedürfnis der Teilnehmer_innen, wahrheitsgemäß zu antworten, einigermaßen groß ist. Nicht außen vor gelassen werden darf aber auch, dass die Teilnehmer_innen unter Umständen gar nicht in der Lage sind, sich selbst adäquat einzuschätzen.

Den insofern miteinander assoziierten Problemen der Skalierung und der Verfälschbarkeit kann durch den Einsatz objektiver Persönlichkeitstests begegnet werden. Da bei diesen das Verhalten während der Erfüllung von Leistungsaufgaben gemessen wird, ist die Messintention oftmals nicht unmittelbar einsichtig, wodurch es beinahe verunmöglicht wird, das Ergebnis zu verfälschen.

Ein Test wird dann als zumutbar angesehen, wenn die psychische und körperliche Belastung, die von ihm ausgeht, seine Nützlichkeit nicht übertrifft.^[42] Insofern der psychische und körperliche Allgemeinzustand und die Lesefähigkeit der Teilnehmer_innen das Ausfüllen eines Fragebogens generell gestattet, kann daher von allgemeiner Zumutbarkeit der Testverfahren ausgegangen werden. Einige der Fragen betreffen die Privatsphäre der Teilnehmer_innen, was jedoch, angesichts der Zielsetzung, durchaus zu rechtfertigen ist.

Hiermit einher geht auch die prinzipiell gegebene Akzeptanz der Tests durch die Teilnehmer_innen. So wurde etwa für den FPI-R festgestellt, dass der Fragebogen in Evaluationen als interessant eingestuft wurde und dass nur wenige Items nicht beantwortet worden waren. Die Formulierung einzelner Items der Testverfahren kann jedoch bemängelt werden.

Die Ökonomie eines Tests meint seine Kosten-Nutzen-Relation. Relevante diesbezügliche Aspekte sind etwa die Durchführungszeit, die Möglichkeit zur Durchführung in der Gruppe, der Materialaufwand, die Notwendigkeit der Schulung der Testleiter_innen sowie der Auswertungsaufwand.^[43]

Die einzelnen Tests können als relativ ökonomisch angesehen werden; die Itemanzahl ist oftmals vergleichsweise gering. Dass der Materialaufwand niedrig, die Anwendung in der Gruppe und am PC prinzipiell möglich, die Handhabbarkeit gut und die Auswertung einfach und schnell ist, spricht zusätzlich für eine hohe Ökonomie der einzelnen Testverfahren.

Thematische Überschneidungen des ABI mit den nicht-normierten Zusatzfragen sind jedoch evident. Es könnte daher überlegt werden, die Zusatzfragen zu reduzieren.

Für die Durchführung sämtlicher psychologischer Tests müssen in Summe etwa 120 Minuten eingerechnet werden. Der ABI, der mit Abstand den höchsten Prognosewert betreffend das zukünftige Arbeitsvolumen hat, beläuft sich hierbei auf nur fünf Minuten. Die anderen Tests einzusetzen ist also nur dann als ökonomisch zu betrachten, wenn diese auch eine andere als eine prognostische Funktion erfüllen, etwa wenn sie den Beratungseinstieg oder Beratungsverlauf unterstützen.

Die einzelnen Testverfahren erwiesen sich als grundsätzlich objektiv, reliabel und valide mit zum Teil bemerkenswerten empirischen Übereinstimmungsvaliditäten. Mehrheitlich entsprachen die Verfahren zudem dem aktuellen State-of-the-Art.

Nur selten ist Kritik an den verwendeten Persönlichkeitsfragebögen zu äußern. Wiederholt problematisch erscheint lediglich der SOC-29, dessen konzeptuelle Konstruktion auf überholten theoretischen Annahmen basiert und sich empirisch nicht bestätigen lässt.^[44] In Reaktion auf die Kritikpunkte an den SOC-29-Skalen wurde die Leipziger Kurzform von Schumacher und Brähler^[45] sowie die SOC-HD-Skala^[46] entwickelt, deren Verwendung alternativ angedacht werden kann. Betreffend die Erfüllung der Gütekriterien wurden aber keine Unterschiede zwischen diesen Skalen und dem vorliegenden SOC-29 festgestellt.

Um die Objektivität, und damit auch die darauf basierende Reliabilität und Validität, weiterhin sicherzustellen, ist zudem auf eine standardisierte und einheitliche Durchführung des gesamten Instrumentes zu achten. Zur Erhöhung der (Durchführungs-)Objektivität kann zudem eine computerunterstützte Anwendung der Tests angedacht werden. Dies würde zusätzlich die Ökonomie des Instrumentes erhöhen, ginge jedoch zulasten der Fairness, insofern nicht davon ausgegangen werden kann, dass sämtliche Teilnehmer_innen über basale Computerkenntnisse verfügen.

Selbiges gilt für die Möglichkeit, die verfälschbaren Persönlichkeitsfragebögen, wo möglich, durch kaum verfälschbare objektive Persönlichkeitstests zu ersetzen und dadurch eine niedriger dimensionierte Skalierung und potenziell höhere Validität zu erreichen. Dies kann insbesondere für den LMI angedacht werden, der konzeptuell einfach durch den OLMT^[47] (»Objektiver Leistungsmotivationstest«) sowie durch Subskalen des AHA^[48] (»Arbeitshaltungen«) ersetzt werden könnte. Da objektive Persönlichkeitstests nur am Computer vorgegeben werden können, müssen aber begleitende Überlegungen zu Ökonomie und Fairness gestellt werden.

Insgesamt können Ökonomie und Zumutbarkeit des Instrumentes durch eine Reduktion der Anzahl der Testverfahren verbessert werden. Dies mag alleine angesichts der hohen prognostischen Validität des ABI gerechtfertigt erscheinen, ist aber davon abhängig zu machen, inwiefern die weiteren Tests und Skalen die Beratung unterstützen.