Die Bewertung der Konstruktvalidität setzt voraus, dass die Korrelationen der Messgröße im Hinblick auf Variablen untersucht werden, von denen bekannt ist, dass sie mit dem Konstrukt zusammenhängen (die angeblich durch das zu bewertende Instrument gemessen werden oder für die es theoretische Gründe für die Erwartung gibt, dass sie zusammenhängen). Dies steht im Einklang mit der Multitrait-Multimethoden-Matrix (MTMM) zur Untersuchung der Konstruktvalidität, die in der bahnbrechenden Arbeit von Campbell und Fiske (1959) beschrieben wurde. Neben der MTMM gibt es weitere Methoden zur Bewertung der Konstruktvalidität. Sie kann durch verschiedene Formen der Faktorenanalyse, Strukturgleichungsmodellierung (SEM) und andere statistische Auswertungen bewertet werden. Es ist wichtig zu beachten, dass eine einzelne Studie die Konstruktvalidität nicht beweisen kann. Vielmehr handelt es sich um einen kontinuierlichen Prozess der Bewertung, Neubewertung, Verfeinerung und Entwicklung. Korrelationen, die dem erwarteten Muster entsprechen, sind ein Beweis für die Konstruktvalidität. Die Konstruktvalidität ist ein Urteil, das auf der Akkumulation von Korrelationen aus zahlreichen Studien mit dem zu evaluierenden Instrument beruht.
Die meisten Forscher versuchen, die Konstruktvalidität vor der Hauptforschung zu testen. Zu diesem Zweck können Pilotstudien eingesetzt werden. Bei Pilotstudien handelt es sich um Vorstudien in kleinem Maßstab, mit denen die Durchführbarkeit eines vollständigen Tests geprüft werden soll. Durch diese Pilotstudien wird die Stärke der Forschung ermittelt und es können notwendige Anpassungen vorgenommen werden. Eine weitere Methode ist die Technik der bekannten Gruppen, bei der das Messinstrument an Gruppen verabreicht wird, von denen erwartet wird, dass sie sich aufgrund bekannter Merkmale unterscheiden. Das Testen hypothetischer Beziehungen beinhaltet eine logische Analyse auf der Grundlage von Theorien oder früherer Forschung. Interventionsstudien sind eine weitere Methode zur Evaluierung der Konstruktvalidität. Interventionsstudien, bei denen eine Gruppe mit niedrigen Werten für das Konstrukt getestet, mit dem Konstrukt vertraut gemacht und dann erneut gemessen wird, können die Konstruktvalidität eines Tests nachweisen. Wenn ein signifikanter Unterschied zwischen den Ergebnissen vor und nach dem Test besteht, der durch statistische Tests analysiert wird, kann dies ein Beweis für eine gute Konstruktvalidität sein.
Konvergente und diskriminante ValiditätBearbeiten
Konvergente und diskriminante Validität sind die beiden Untertypen der Validität, die die Konstruktvalidität ausmachen. Die konvergente Validität bezieht sich auf das Ausmaß, in dem zwei Messungen von Konstrukten, die theoretisch zusammenhängen sollten, tatsächlich zusammenhängen. Im Gegensatz dazu prüft die diskriminante Validität, ob Konzepte oder Messungen, die nicht miteinander verbunden sein sollten, tatsächlich nicht miteinander verbunden sind. Nehmen wir zum Beispiel das Konstrukt des allgemeinen Glücks. Hätte ein Maß für allgemeines Glück konvergente Validität, dann müssten ähnliche Konstrukte wie Glück (Zufriedenheit, Zufriedenheit, Fröhlichkeit usw.) positiv mit dem Maß für allgemeines Glück zusammenhängen. Wenn dieses Maß diskriminante Validität hat, dann sollten Konstrukte, die nicht positiv mit dem allgemeinen Glück zusammenhängen (Traurigkeit, Depression, Verzweiflung usw.), nicht mit dem Maß des allgemeinen Glücks zusammenhängen. Maßnahmen können eine der Unterarten der Konstruktvalidität aufweisen und die andere nicht. Am Beispiel des allgemeinen Glücks könnte ein Forscher ein Inventar erstellen, bei dem es eine sehr hohe positive Korrelation zwischen allgemeinem Glück und Zufriedenheit gibt, aber wenn es auch eine signifikante positive Korrelation zwischen Glück und Depression gibt, dann wird die Konstruktvalidität der Messung in Frage gestellt. Der Test hat konvergente Validität, aber keine diskriminante Validität.
Nomologisches NetzBearbeiten
Lee Cronbach und Paul Meehl (1955) schlugen vor, dass die Entwicklung eines nomologischen Netzes für die Messung der Konstruktvalidität eines Tests wesentlich ist. Ein nomologisches Netz definiert ein Konstrukt, indem es seine Beziehung zu anderen Konstrukten und Verhaltensweisen veranschaulicht. Es ist eine Darstellung der Konzepte (Konstrukte), die in einer Studie von Interesse sind, ihrer beobachtbaren Erscheinungsformen und der Beziehungen zwischen ihnen. Es wird untersucht, ob die Beziehungen zwischen ähnlichen Konstrukten mit den Beziehungen zwischen den beobachteten Maßen der Konstrukte berücksichtigt werden. Die sorgfältige Beobachtung der Beziehungen zwischen den Konstrukten kann neue Konstrukte hervorbringen. So gelten beispielsweise Intelligenz und Arbeitsgedächtnis als stark verwandte Konstrukte. Durch die Beobachtung ihrer zugrundeliegenden Komponenten haben Psychologen neue theoretische Konstrukte entwickelt, wie z. B. kontrollierte Aufmerksamkeit und Kurzzeitladung. Die Erstellung eines nomologischen Netzes kann auch die Beobachtung und Messung bestehender Konstrukte effizienter machen, indem Fehler aufgedeckt werden. Forscher haben herausgefunden, dass das Studium der Beulen am menschlichen Schädel (Phrenologie) kein Indikator für Intelligenz ist, wohl aber das Volumen des Gehirns. Wenn man die Theorie der Phrenologie aus dem nomologischen Netz der Intelligenz entfernt und die Theorie der Evolution der Gehirnmasse hinzufügt, werden die Konstrukte der Intelligenz effizienter und leistungsfähiger. Die Verflechtung all dieser miteinander verbundenen Konzepte und ihrer beobachtbaren Merkmale schafft ein „Netz“, das ihr theoretisches Konzept unterstützt. Im nomologischen Netzwerk für akademische Leistungen würden wir zum Beispiel erwarten, dass beobachtbare Merkmale für akademische Leistungen (d. h. GPA, SAT- und ACT-Ergebnisse) mit den beobachtbaren Merkmalen für Fleiß (Lernstunden, Aufmerksamkeit im Unterricht, Detailgenauigkeit der Notizen) zusammenhängen. Wenn dies nicht der Fall ist, gibt es ein Problem mit der Messung (der akademischen Leistung oder des Fleißes) oder mit der angeblichen Theorie der Leistung. Wenn sie Indikatoren füreinander sind, wird das nomologische Netzwerk und damit die konstruierte Theorie der akademischen Leistung gestärkt. Obwohl das nomologische Netzwerk eine Theorie zur Stärkung von Konstrukten vorschlägt, sagt es uns nicht, wie wir die Konstruktvalidität in einer Studie bewerten können.
Multitrait-Multimethoden-MatrixBearbeiten
Die Multitrait-Multimethoden-Matrix (MTMM) ist ein Ansatz zur Untersuchung der Konstruktvalidität, der von Campbell und Fiske (1959) entwickelt wurde. Dieses Modell prüft die Konvergenz (Nachweis, dass verschiedene Messmethoden für ein Konstrukt ähnliche Ergebnisse liefern) und die Unterscheidbarkeit (Fähigkeit, das Konstrukt von anderen verwandten Konstrukten zu unterscheiden). Es misst sechs Merkmale: die Bewertung der konvergenten Validität, die Bewertung der diskriminanten (divergenten) Validität, Merkmals-Methoden-Einheiten, Multitrait-Multimethoden, wirklich unterschiedliche Methoden und Merkmalsmerkmale. Dieses Design ermöglicht es den Forschern, zu testen auf: „Konvergenz zwischen verschiedenen Messungen … derselben ‚Sache‘ … und auf Divergenz zwischen Messungen … verwandter, aber konzeptionell unterschiedlicher ‚Sachen'“