Passo 4: Determinazione dei criteri di valutazione
Un’esigenza imprescindibile di ogni valutazione è di potersi fondare su criteri che permettano giudizi sistematici ed imparziali. La loro determinazione avviene nella quarta fase del processo di valutazione.
Essi costituiscono la base di riferimento a cui si affida la valutazione della qualità o dell'idoneità dell’oggetto della valutazione. Gli aspetti della valutazione considerati rilevanti devono risultare misurabili, vanno quindi operazionalizzati. Inoltre, per ogni criterio operazionalizzato dovrebbe essere definita una soglia. Questa sorta di "punto di svolta", in cui il giudizio passa da positivo a negativo o anche da positivo a molto positivo, ecc. può essere descritto sia con un numero che con un termine indicante un valore, di arrivo oppure intermedio. I criteri operazionalizzati dovrebbero essere definiti prima dell'inizio del rilevamento dei dati, ma al più tardi prima dell'inizio dell’analisi degli stessi. In questo modo si evita che la ponderazione dei criteri venga adeguata o che le soglie vengano modificate retroattivamente, ad esempio con intenti giustificatori, sulla base della raccolta e dell'analisi dei dati o in funzione degli interessi di determinati gruppi. Ciò è particolarmente importante se la valutazione deve essere utilizzata per una presa di decisione di principio o per ragioni di rendicontazione.
La definizione dei criteri per un giudizio appropriato su un oggetto della valutazione è spesso particolarmente impegnativa. In nessun caso i criteri di valutazione devono essere fissati ad hoc, in modo puramente intuitivo, non controllato metodologicamente o non comprensibile.
La seguente lista contiene quattro fonti generiche per i criteri e può essere utilizzata come lista di controllo per la loro identificazione:
- il quadro di riferimento all'interno del quale gli attori individuano l'oggetto della valutazione (ad esempio, le finalità di un'organizzazione o una teoria delle scienze sociali).
- il consenso sociale o il discorso sul diritto, l'etica e i valori sociali.
- un modello logico che permette di determinare i criteri relativi alla coerenza del concetto, alla correttezza dell’attuazione e all’efficacia.
- letteratura sulla valutazione che utilizza vari criteri, la cui trasferibilità alla valutazione prevista sia verificabile.
Per ogni interrogativo valutativo e attributivo è indispensabile disporre di almeno un criterio operazionalizzato. Idealmente, l'elenco definitivo dei criteri (portata e ponderazione) viene sviluppato con il coinvolgimento dei vari stakeholder. Anche le soglie devono essere definite in modo comprensibile e tenendo conto del contesto e delle particolarità dell'oggetto della valutazione.
Che i giudizi si basino su criteri operazionalizzati e su soglie è indispensabile nel caso servano a prese di decisione di principio e anche per la rendicontazione. Per ogni valutazione occorre stabilire chi determina i criteri di valutazione e quale ruolo svolgono i valutatori nel processo valutativo. Una delle principali sfide della valutazione è di trovare un equilibrio tra le diverse esigenze di valutazione e di creare trasparenza su di esse.