Home COTAN Beoordelingsprocedure

Beoordelingsprocedure

De COTAN beoordeelt de kwaliteit van psychodiagnostische instrumenten. Dit zijn bijvoorbeeld tests, vragenlijsten en observatieschalen. Met het COTAN Beoordelingssysteem worden tests beoordeeld.

Beoordelingscriteria

Tests worden beoordeeld op zeven criteria:

  1. Uitgangspunten van de testconstructie
  2. Kwaliteit van het testmateriaal
  3. Kwaliteit van de handleiding
  4. Normen
  5. Betrouwbaarheid
  6. Begripsvaliditeit
  7. Criteriumvaliditeit

De beoordeling

De beoordeling kan van start gaan als de testaanbieder akkoord is met de Algemene voorwaarden van de COTAN. Na ontvangst gaat het materiaal onder strikte geheimhouding naar drie beoordelaars conform de richtlijn onpartijdigheid COTAN.

Het toegezonden materiaal wordt nooit uitgeleend tijdens de beoordeling, of aan derden ter inzage gegeven. Het wordt uitsluitend gebruikt voor de beoordeling door de COTAN en voor de beschrijving van het instrument in de COTAN-Documentatie. Vervolgens wordt het materiaal opgeslagen in het COTAN-archief.

Anonieme beoordeling

De beoordelaars verrichten onafhankelijk van elkaar een anonieme beoordeling. De beoordelaars worden uitgezocht op deskundigheid en objectiviteit. Auteurs beoordelen nooit hun eigen tests en zijn niet werkzaam bij het bedrijf of de instelling die de test heeft ontwikkeld of een concurrerend bedrijf of instelling.

Voorleggen discrepanties

De samengevoegde beoordelingen worden voorgelegd aan de beoordelaars. De beoordelaars bespreken eventuele discrepanties in de beoordelingen en stellen de initiële beoordeling op. Indien nodig schakelt de eindredactie extra expertise in.

Versturen initiële beoordeling

Nadat de initiële beoordeling is vastgesteld wordt deze met een toelichting verstuurd naar de testaanbieder. De testaanbieder kan hierop reageren met inachtneming van daarvoor vastgestelde richtlijnen.

Definitieve beoordeling

De beoordelaars stellen naar aanleiding van een reactie van een testaanbieder de definitieve beoordeling op. Deze wordt gepubliceerd in de online COTAN-Documentatie.

Herbeoordeling

Als nieuwe onderzoeksgegevens beschikbaar komen of wanneer er een nieuwe, herziene handleiding verschijnt, kan een herbeoordeling nodig zijn. Wanneer deze is geprioriteerd voor een COTAN-herbeoordeling, wordt de hierboven geschetste procedure daarbij in zijn geheel opnieuw doorlopen. Een herbeoordelingsprocedure kan niet eerder plaatsvinden dan tenminste een jaar na afronding van de voorafgaande beoordeling.

Het COTAN-Beoordelingssysteem

Beoordelingen worden gedaan aan de hand van het COTAN-Beoordelingssysteem voor de kwaliteit van tests (Evers, Lucassen, Meijer & Sijtsma, 2010) en de bijbehorende addenda: