Utvärdering av konstruktionsvaliditet kräver att mätningens korrelationer undersöks med avseende på variabler som är kända för att vara relaterade till konstruktionen (som påstås mätas av instrumentet som utvärderas eller för vilka det finns teoretiska grunder för att förvänta sig att den ska vara relaterad). Detta stämmer överens med MTMM-matrisen (multitrait-multimethod matrix) för undersökning av konstruktionsvaliditet som beskrivs i Campbell och Fiske’s banbrytande artikel (1959). Det finns andra metoder för att utvärdera konstruktionsvaliditet än MTMM. Den kan utvärderas genom olika former av faktoranalys, strukturell ekvationsmodellering (SEM) och andra statistiska utvärderingar. Det är viktigt att notera att en enskild studie inte bevisar konstruktionsvaliditet. Det är snarare en kontinuerlig process av utvärdering, omvärdering, förfining och utveckling. Korrelationer som stämmer överens med det förväntade mönstret bidrar till att bevisa konstruktionsvaliditeten. Konstruktionsvaliditet är en bedömning som bygger på en ackumulering av korrelationer från många studier där man använder det instrument som utvärderas.
De flesta forskare försöker testa konstruktionsvaliditeten före den huvudsakliga forskningen. För att göra detta kan pilotstudier användas. Pilotstudier är småskaliga preliminära studier som syftar till att testa genomförbarheten av ett test i full skala. Dessa pilotstudier fastställer styrkan i deras forskning och gör det möjligt för dem att göra nödvändiga justeringar. En annan metod är tekniken med kända grupper, som innebär att mätinstrumentet administreras till grupper som förväntas skilja sig åt på grund av kända egenskaper. Testning av hypotetiska samband innebär en logisk analys baserad på teori eller tidigare forskning. Interventionsstudier är ytterligare en metod för att utvärdera konstruktionsvaliditet. Interventionsstudier där en grupp med låga poäng i konstruktionen testas, lär sig konstruktionen och sedan mäts på nytt kan visa på ett testets konstruktionsvaliditet. Om det finns en signifikant skillnad mellan pre-test och post-test, som analyseras med statistiska tester, kan detta visa på god konstruktionsvaliditet.
Konvergent och diskriminant validitetRedigera
Konvergent och diskriminant validitet är de två undertyperna av validitet som utgör konstruktionsvaliditet. Konvergent validitet avser i vilken grad två mått på konstruktioner som teoretiskt sett borde vara relaterade, faktiskt är relaterade. Diskriminerande validitet däremot testar om begrepp eller mätningar som inte ska vara besläktade faktiskt är besläktade. Ta till exempel en konstruktion av allmän lycka. Om ett mått på allmän lycka hade konvergent validitet borde konstruktioner som liknar lycka (tillfredsställelse, tillfredsställelse, glädje osv.) ha ett positivt förhållande till måttet på allmän lycka. Om detta mått har diskriminerande validitet bör konstruktioner som inte förväntas vara positivt relaterade till allmän lycka (sorg, depression, förtvivlan osv.) inte relateras till måttet på allmän lycka. Mätningar kan ha en av undertyperna av konstruktionsvaliditet och inte den andra. Om man använder exemplet med allmän lycka kan en forskare skapa en inventering där det finns en mycket hög positiv korrelation mellan allmän lycka och tillfredsställelse, men om det också finns en betydande positiv korrelation mellan lycka och depression ifrågasätts måttets konstruktionsvaliditet. Testet har konvergent validitet men inte diskriminant validitet.
Nomologiskt nätRedigera
Lee Cronbach och Paul Meehl (1955) föreslog att utvecklingen av ett nomologiskt nät var väsentlig för att mäta ett tests konstruktionsvaliditet. Ett nomologiskt nät definierar en konstruktion genom att illustrera dess förhållande till andra konstruktioner och beteenden. Det är en representation av de begrepp (konstruktioner) som är av intresse i en studie, deras observerbara manifestationer och det inbördes förhållandet mellan dem. Det undersöker om relationerna mellan liknande konstruktioner beaktas med relationer mellan de observerade måtten på konstruktionerna. En noggrann observation av konstruktionernas relationer till varandra kan generera nya konstruktioner. Till exempel anses intelligens och arbetsminne vara starkt relaterade konstruktioner. Genom att observera deras underliggande komponenter har psykologer utvecklat nya teoretiska konstruktioner, t.ex. kontrollerad uppmärksamhet och korttidsbelastning. Att skapa ett nomologiskt nät kan också göra observationen och mätningen av befintliga konstruktioner effektivare genom att man kan lokalisera fel. Forskare har kommit fram till att studiet av knölarna på människans skalle (frenologi) inte är en indikator på intelligens, men att hjärnans volym är det. Genom att ta bort teorin om frenologi från intelligensens nomologiska nät och lägga till teorin om utvecklingen av hjärnmassan, blir konstruktioner av intelligens effektivare och kraftfullare. Genom att väva samman alla dessa sammankopplade begrepp och deras observerbara egenskaper skapas ett ”nät” som stöder deras teoretiska begrepp. I det nomologiska nätverket för akademiska prestationer skulle vi till exempel förvänta oss att observerbara egenskaper för akademiska prestationer (t.ex. genomsnittligt betyg, SAT- och ACT-poäng) skulle relatera till observerbara egenskaper för studiero (timmar som läggs ner på studier, uppmärksamhet på lektionerna, detaljerade anteckningar). Om de inte gör det finns det ett problem med mätningen (av akademiska prestationer eller studielöshet) eller med den påstådda teorin om prestation. Om de är indikatorer för varandra stärks det nomologiska nätverket, och därmed den konstruerade teorin om akademiska prestationer. Även om det nomologiska nätverket föreslog en teori om hur man förstärker konstruktioner, talar det inte om för oss hur vi kan bedöma konstruktionsvaliditeten i en studie.
Multitrait-multimethod matrixEdit
Matrisen multitrait-multimetodmatris (MTMM) är ett tillvägagångssätt för att undersöka konstruktionsvaliditet som utvecklades av Campbell och Fiske (1959). Denna modell undersöker konvergens (bevis för att olika mätmetoder för en konstruktion ger liknande resultat) och diskriminerbarhet (förmåga att särskilja konstruktionen från andra relaterade konstruktioner). Modellen mäter sex egenskaper: utvärdering av konvergent validitet, utvärdering av diskriminerande (divergent) validitet, enheter för egenskapsmetoder, multitrait-multimetoder, verkligt olika metoder och egenskapsegenskaper. Denna utformning gör det möjligt för utredare att testa följande: ”konvergens mellan olika mått… av samma ’sak’… och för divergens mellan mått… av besläktade men konceptuellt skilda ’saker'”