Après chaque édition de l’ÉCSO, toutes les questions d’examen subissent une analyse rigoureuse de la part du Comité d’Évaluation afin d’assurer que les questions soient claires et spécifiques. Les questions qui ne rencontrent pas les critères d’intégrité psychométrique sont éliminées pour tous les candidats.

Les circonstances particulières individuelles sont aussi considérées de sorte que si une question n’a pas été posée équitablement à un certain candidat, elle peut être éliminée de l’évaluation pour ce candidat uniquement. Par exemple, si un événement se produisant pendant une session d’habileté technique empêchait un candidat d’obtenir certains résultats, toutes les questions touchées seront éliminées de la note du candidat en question.

Les réponses des Évaluateurs sont révisées afin de s’assurer de leur exactitude en comparant les résultats cliniques attendus aux résultats obtenus par les candidats. Des erreurs au niveau des réponses des Évaluateurs sont rectifiées avant la correction des examens.

Avant la publication des résultats, le Comité d’Évaluation étudie la fiabilité globale des résultats obtenus. Le comité s’assure que les résultats d’analyse générale ou individuelle des questions ont été appliqués pour chaque candidat.

Lorsqu’un candidat semble avoir échoué une composante, une analyse supplémentaire est effectuée pour s’assurer que la note du candidat provienne bel et bien des performances du candidat en question et non de facteurs extrinsèques.

Ces procédés sont utilisés pour assurer une évaluation équitable des candidats et de leurs performances. Ces mécanismes requièrent beaucoup d’effort et de temps. Ils constituent la principale cause de l’intervalle qui sépare l’administration de l’ÉCSO et la publication des résultats.