NIP
NIP
Voor studenten
Voor studenten

Home COTAN Beoordelingsprocedure

Beoordelingsprocedure

De COTAN beoordeelt de kwaliteit van psychodiagnostische instrumenten. Dit zijn bijvoorbeeld tests, vragenlijsten en observatieschalen. Met het COTAN Beoordelingssysteem (pdf) worden tests beoordeeld aan de hand van zeven criteria. Het beoordelingssysteem is in de loop van de jaren uitgebreid met diverse addenda’s.

Beoordelingscriteria

Aan de hand van het Beoordelingssysteem worden tests beoordeeld op zeven criteria:

  1. Uitgangspunten van de testconstructie
  2. Kwaliteit van het testmateriaal
  3. Kwaliteit van de handleiding
  4. Normen
  5. Betrouwbaarheid
  6. Begripsvaliditeit
  7. Criteriumvaliditeit

Aanmelden en insturen

Voorwaarden

De COTAN neemt een test in de beoordelingsprocedure op als:

  • De test voor het Nederlands taalgebied is geconstrueerd, vertaald en/of bewerkt.
  • De afnameprocedure gestandaardiseerd is.
  • De validiteit, de betrouwbaarheid of de normen zijn onderzocht.
  • Het instrument voor professioneel gebruik ontwikkeld is.
  • Het instrument direct of indirect uitspraken over personen mogelijk maakt.

 

Aanmelden

Vul het online aanmeldformulier in. Upload daar de testmaterialen die relevant zijn voor de beoordeling. Denk hierbij aan:

  • Handleiding
  • Technische verantwoording
  • Normtabellen (indien niet opgenomen in de handleiding of verantwoording)
  • Antwoordformulieren
  • Scoringssleutels
  • Drie aparte logins (cotan1, cotan2 en cotan3) bij digitale tests

In enkele gevallen is het nodig  om fysieke materialen op te sturen (o.a. vanwege de aard van het instrument of voorkeur van beoordelaar). Indien dit het geval is neemt de COTAN hierover contact met je op.

Beoordeling

1. Twee beoordelaars

Na ontvangst gaat het materiaal onder strikte geheimhouding naar twee beoordelaars met inachtneming van de richtlijn onpartijdigheid COTAN (pdf). Het toegezonden materiaal wordt nooit uitgeleend, of aan derden ter inzage gegeven. Het wordt uitsluitend gebruikt voor de beoordeling door de COTAN en voor de beschrijving van het instrument in de COTAN Documentatie. Vervolgens wordt het materiaal opgeslagen in het COTAN-archief.

2. Anonieme beoordeling

De beoordelaars verrichten onafhankelijk van elkaar een anonieme beoordeling. De beoordelaars worden uitgezocht op deskundigheid en objectiviteit. Auteurs beoordelen nooit hun eigen tests en zijn niet werkzaam bij het bedrijf of de instelling die de test heeft ontwikkeld of een concurrerend bedrijf of instelling.

3. Voorleggen discrepanties

De beoordelingen worden voorgelegd aan de Senior Eindredacteur Testaangelegenheden van de COTAN. De eindredacteur bespreekt eventuele discrepanties in de beoordelingen met de beoordelaars. Indien nodig schakelt de eindredacteur een derde deskundige/beoordelaar in.

4. Versturen initiële beoordeling

Nadat de initiële beoordeling is vastgesteld wordt deze met een Toelichting verstuurd naar de indiener. De indiener kan hierop reageren met inachtneming van daarvoor vastgestelde richtlijnen (pdf).

5. Definitieve beoordeling

De beoordelaars en de eindredacteur stellen naar aanleiding van een reactie van een testuitgever of testauteur de definitieve beoordeling op. Deze wordt gepubliceerd in de online COTAN Documentatie.

6. Herbeoordeling

Als nieuwe onderzoeksgegevens beschikbaar komen of wanneer er een nieuwe, herziene handleiding verschijnt, kan een herbeoordeling nodig zijn. De hierboven geschetste procedure wordt daarbij in zijn geheel opnieuw doorlopen. Een herbeoordelingsprocedure kan niet eerder plaatsvinden dan tenminste een jaar na afronding van de voorafgaande beoordeling.

Aanvullingen COTAN Beoordelingssysteem (addenda)

Door onder andere ontwikkelingen op het gebied van testconstructie heeft de COTAN in 2015 het Beoordelingssysteem uitgebreid met twee addenda. Ook zijn de tabellen voor de vaststelling van het eindoordeel van een aantal criteria aangepast. In 2018 is een van de addenda herzien en is er een nieuw addendum toegevoegd. In 2021 zijn de tabellen voor de vaststelling van het eindoordeel voor Domeingerichte interpretatie en Criteriumgerichte interpretatie van het criterium Normen gewijzigd, in lijn met de wijzigingen die in 2015 zijn doorgevoerd.

De addenda met betrekking tot unproctored gegevensverzameling, actualisatie instrumenten, fairness en de gewijzigde tabellen:

 

Terug naar boven