Beoordelingsprocedure
De COTAN beoordeelt de kwaliteit van psychodiagnostische instrumenten. Dit zijn bijvoorbeeld tests, vragenlijsten en observatieschalen. Met het COTAN Beoordelingssysteem worden tests beoordeeld.
Beoordelingscriteria
Tests worden beoordeeld op zeven criteria:
- Uitgangspunten van de testconstructie
- Kwaliteit van het testmateriaal
- Kwaliteit van de handleiding
- Normen
- Betrouwbaarheid
- Begripsvaliditeit
- Criteriumvaliditeit
De beoordeling
De beoordeling kan van start gaan als de testaanbieder akkoord is met de Algemene voorwaarden van de COTAN. Na ontvangst gaat het materiaal onder strikte geheimhouding naar drie beoordelaars conform de richtlijn onpartijdigheid COTAN.
Het toegezonden materiaal wordt nooit uitgeleend tijdens de beoordeling, of aan derden ter inzage gegeven. Het wordt uitsluitend gebruikt voor de beoordeling door de COTAN en voor de beschrijving van het instrument in de COTAN-Documentatie. Vervolgens wordt het materiaal opgeslagen in het COTAN-archief.
Anonieme beoordeling
De beoordelaars verrichten onafhankelijk van elkaar een anonieme beoordeling. De beoordelaars worden uitgezocht op deskundigheid en objectiviteit. Auteurs beoordelen nooit hun eigen tests en zijn niet werkzaam bij het bedrijf of de instelling die de test heeft ontwikkeld of een concurrerend bedrijf of instelling.
Voorleggen discrepanties
De samengevoegde beoordelingen worden voorgelegd aan de beoordelaars. De beoordelaars bespreken eventuele discrepanties in de beoordelingen en stellen de initiële beoordeling op. Indien nodig schakelt de eindredactie extra expertise in.
Versturen initiële beoordeling
Nadat de initiële beoordeling is vastgesteld wordt deze met een toelichting verstuurd naar de testaanbieder. De testaanbieder kan hierop reageren met inachtneming van daarvoor vastgestelde richtlijnen.
Definitieve beoordeling
De beoordelaars stellen naar aanleiding van een reactie van een testaanbieder de definitieve beoordeling op. Deze wordt gepubliceerd in de online COTAN-Documentatie.
Herbeoordeling
Als nieuwe onderzoeksgegevens beschikbaar komen of wanneer er een nieuwe, herziene handleiding verschijnt, kan een herbeoordeling nodig zijn. Wanneer deze is geprioriteerd voor een COTAN-herbeoordeling, wordt de hierboven geschetste procedure daarbij in zijn geheel opnieuw doorlopen. Een herbeoordelingsprocedure kan niet eerder plaatsvinden dan tenminste een jaar na afronding van de voorafgaande beoordeling.
Het COTAN-Beoordelingssysteem
Beoordelingen worden gedaan aan de hand van het COTAN-Beoordelingssysteem voor de kwaliteit van tests (Evers, Lucassen, Meijer & Sijtsma, 2010) en de bijbehorende addenda:
- COTAN Beoordelingssysteem (pdf)
- COTAN-Herzien addendum unproctored gegevensverzameling per 01-12-18
- COTAN-Addendum actualisatie instrumenten per 01-12-18
- COTAN-Herzien Fairness addendum per 14-07-2021
- COTAN-Wijzigingen tabellen Beoordelingssysteem per 01-06-21
- English: COTAN-review system for evaluating test quality (pdf)