INVALSI: adesso è il computer a giudicare gli studenti

Anche per i quesiti aperti!

di Anna Angelucci

Dal 2018, per effetto di un decreto delegato della Buona Scuola (62/2017), le prove, svolte dagli alunni di terza media al computer nelle scuole, sono corrette automaticamente, a livello centrale. Il computer dell’Invalsi riceve le prove appena svolte, poi corregge, misura e valuta, esprimendo un giudizio di merito in livelli che descrivono le prestazioni cognitive del singolo alunno, giudizio che viene restituito individualmente attraverso la Certificazione delle competenze di fine primo ciclo. Cosa significa in pratica? Per allontanare lo spettro della “copiatura” (cheating) gli alunni non rispondono alle stesse domande e l’equità del punteggio finale è affidata a un complesso modello statistico (i cui limiti e le cui falle sono note). Non solo, ma sulla base di questi punteggi il computer redige un esteso giudizio qualitativo sull’allievo che tocca valutazioni sulla sua capacità di comprendere il testo, cogliendone anche il tono, per esempio ironico o polemico. Che la correzione automatica sia estesa ai “Quesiti aperti a risposta articolata” non può che aumentare le perplessità. Ricordiampo che una analoga certificazione delle competenze è prevista pure per il secondo ciclo, come avevamo segnalato qui. Nel frattempo, Invalsi procede con la sperimentazione della misurazione delle soft skills delle creature piccole. Alla standardizzazione si stanno dunque accompagnando l’automazione e la profilazione. A quali principi educativi, a quale didattica, a quale pedagogia rispondono queste nuove, inaccettabili, misure?

Nelle pagine seguenti sono presentati i risultati campionari delle prove INVALSI condotte nella primavera di quest’anno. Mentre è consueta la modalità di presentazione e il periodo in cui questo avviene – il primo giovedì di luglio – quest’anno sono state introdotte e realizzate importanti novità così come previsto dal Decreto Legislativo 62/2017. Si tratta di innovazioni che hanno cambiato notevolmente la prassi delle prove e riguardano 4 aspetti:

• la separazione delle prove dall’esame di Stato della terza secondaria di primo grado, così come richiesto dalle scuole, ma nello stesso tempo con l’obbligo per gli alunni di parteciparvi;
• l’introduzione della prova di Inglese per il grado 5 (quinta primaria) e per il grado 8 (terza secondaria di primo grado);
• la realizzazione delle prove al computer nel grado 8 e nel grado 10, con correzione centralizzata delle prove stesse;
• la restituzione individuale dei risultati delle prove del grado 8 non più con punteggi, ma per livelli descrittivi delle prestazioni cognitive proprie di ciascun livello. La rilevanza di queste innovazioni si articola su diversi piani.

In primo luogo la separazione dei due momenti – quello delle prove INVALSI e quello degli esami finali – consente due risultati “puliti”, nel senso che non sono “mischiati” nel voto finale, così come era accaduto sinora, ma sono registrati in due diverse attestazioni. [ … ]

L’introduzione delle prove al computer (meglio note con la sigla CBT, computer based test) comporta inoltre diversi vantaggi.

Il primo vantaggio è dato dalla possibilità di realizzare prove diverse ed equivalenti dal punto di vista misuratorio, che impediscono la collaborazione durante l’esecuzione. Un secondo vantaggio è la correzione automatica che si traduce in minor carico di lavoro dei docenti, anche questo più volte richiesto dai docenti. Tanto la diversità delle prove che la correzione automatica contribuiscono a ridurre, sin quasia farlo sparire, il cheating, vale a dire l’adozione di comportamenti opportunistici, degli studenti o degli stessi docenti, e a ottenere una maggiore autenticità dei risultati. È importante sottolineare anche la valenza etica ed educativa di questo importante cambiamento.

La restituzione per livelli descrittivi rappresenta probabilmente la novità che avrà maggiori conseguenze sul piano della didattica e sul lavoro dei docenti. Riconoscere quanto “hanno reso” le proposte didattiche messe a punto da ciascun docente, mediante la lettura della collocazione dei propri alunni nei diversi livelli, risulterà un dato particolarmente importante per poter correggere il tiro, se necessario, avendo come riferimento le operazioni cognitive che sono indicate in ciascun livello.

Ciò infine consentirà anche un dialogo più diretto tra docenti di discipline diverse che potranno confrontarsi proprio sulle operazioni cognitive che ciascuna disciplina può promuovere e sui diversi punti di contatto che possono rilevarsi.

Come si vede, si sta delineando un quadro molto innovativo e rivolto all’effettiva promozione del miglioramento della nostra scuola, a partire dalla funzione eminentemente informativa che la valutazione riveste.” (Anna Maria Ajello, Rapporto Nazionale Prove Invalsi 2018, pp. 3-4)

Ho evidenziato in neretto le parti dell’introduzione della Presidente dell’Invalsi su cui intendo ragionare in questo mio articolo.

Si tratta di questa importante novità: dal 2018 i test Invalsi di grado 8, ovvero di terza media, sono computer based (CBT) e restituiscono, oltre alla tradizionale misurazione quantitativa dei risultati degli apprendimenti degli alunni – con l’attribuzione di un punteggio su una scala quantitativa (Rasch) – anche una loro valutazione qualitativa – con l’attribuzione di un livello da 1 a 5, a seconda del minore o maggiore livello di competenza dimostrato nella prova.

Cosa significa in dettaglio? Significa che le prove, svolte dagli alunni al computer nelle scuole, sono corrette automaticamente, a livello centrale. Il computer dell’Invalsi riceve le prove appena svolte, poi corregge, misura e valuta, esprimendo un giudizio di merito in livelli che descrivono le prestazioni cognitive del singolo alunno, giudizio che viene restituito individualmente attraverso la Certificazione di fine ciclo.

Infatti, come riporta il documento aggiornato al 5 settembre 2018, in merito all’organizzazione e somministrazione delle prove Invalsi CBT,

“gli esiti delle prove INVALSI confluiscono nella Certificazione delle competenze in livelli descrittivi distinti per Italiano, Matematica e Inglese, secondo l’art. 9, c. 3, lettera f del D. Lgs. 62/2017 e l’art. 4 del D.M. 742 del 3.10.2017). Ai sensi dell’art. 4, c. 2 e c. 3 del D.M. 742/2017, INVALSI predispone e redige una sezione della Certificazione delle competenze. Tale certificazione è disponibile sul portale SIDI secondo modi e tempi definiti dal MIUR in base a quanto previsto dal D. Lgs. n. 62/2017″.

Insomma la novità è che, dal 2018, il computer, con l’algoritmo Invalsi, misura, valuta, giudica e certifica. Siamo sicuri che vada bene così? Che i nostri studenti siano giudicati da un computer? Che questo giudizio sia ufficializzato in una Certificazione? E ancora, come funziona l’algoritmo Invalsi?

La Certificazione delle competenze di fine ciclo rilasciata da Invalsi è un documento ufficiale, che si accompagna al diploma rilasciato al termine degli Esami di Stato di terza media. Sembra un provvedimento neutrale ma non lo è. Non sappiamo cosa ci riserva il futuro. Non sappiamo se e quanto questa Certificazione potrà pesare sul prosieguo della carriera scolastica di ogni alunno. Non sappiamo se questa novità, per ora limitata alla terza media, diventerà una prassi rispetto alle ulteriori quattro batterie di test censuarie che attualmente gli alunni svolgono. Non sappiamo se questa esperienza farà da modello alla rilevazione Invalsi dell’ultimo anno delle scuole superiori, sostituendosi, potenzialmente, al titolo rilasciato dopo l’Esame di Stato conclusivo, e magari diventando dirimente per l’accesso ai percorsi universitari o per l’inserimento nel mondo del lavoro.

Quello che sappiamo però è che si tratta di un’operazione distopica, totalmente computerizzata, fatta con un algoritmo che non conosciamo e che Invalsi deve rendere noto e deve spiegare. Quello che sappiamo è che davvero, come dice Ajello, questo cambiamento ha una rilevanza etica ed educativa. Ma non perché si risparmia lavoro ai docenti (ed è gravissimo che nel Rapporto nazionale 2018 si affermi questo).

Qui stiamo parlando di una valutazione – ribadisco, non più solo una misurazione – fatta da un computer. Una valutazione fatta da un computer che costituisce una Certificazione con valore legale.

Ma ci rendiamo conto di quali siano le implicazioni culturali, etiche, giuridiche, politiche di tutto questo?

Vorrei aggiungere un ulteriore elemento di riflessione, a partire dall’analisi della misurazione computerizzata (e relativa valutazione e certificazione) delle competenze di Italiano degli studenti di terza media. Questi sono, testualmente, i 5 livelli del giudizio declinati da Invalsi:

Livello 1) L’allievo/a individua singole informazioni date esplicitamente in parti circoscritte di un testo. Mette in relazione informazioni facilmente rintracciabili nel testo e, utilizzando anche conoscenze personali, ricava semplici informazioni non date esplicitamente. Conosce e usa le parole del lessico di base, e riesce a ricostruire il significato di singole parole o espressioni non note ma facilmente comprensibili in base al contesto. Svolge compiti grammaticali che mettono a fuoco un singolo elemento linguistico, e in cui è sufficiente la propria conoscenza naturale e spontanea della lingua. L’esito conseguito dall’allievo/a nella prova non consente il raggiungimento del livello 1.

Livello 2) L’allievo/a individua informazioni date esplicitamente in punti anche lontani del testo. Ricostruisce significati e riconosce relazioni tra informazioni (ad esempio, di causa-effetto) presenti in una parte estesa di testo. Utilizza elementi testuali (ad esempio, uso del corsivo, aggettivi, condizionale, congiuntivo) per ricostruire l’intenzione comunicativa dell’autore in una parte significativa del testo. Conosce e usa parole ed espressioni comuni, anche astratte e settoriali, purché legate a situazioni abituali. Svolge compiti grammaticali in cui la conoscenza naturale e spontanea della lingua è supportata da elementi di riflessione sugli aspetti fondamentali della lingua stessa.

Livello 3) L’allievo/a individua una o più informazioni fornite esplicitamente in una porzione ampia di testo, distinguendole da altre non pertinenti. Ricostruisce il significato di una parte o dell’intero testo ricavando informazioni implicite da elementi testuali (ad esempio, punteggiatura o congiunzioni) anche mediante conoscenze ed esperienze personali. Coglie la struttura del testo (ad esempio titoli, capoversi, ripartizioni interne) e la funzione degli elementi che la costituiscono. Conosce e usa parole ed espressioni comuni, anche non legate a situazioni abituali. Conosce e utilizza le forme e le strutture di base della grammatica e la relativa terminologia.

Livello 4) L’allievo/a riconosce e ricostruisce autonomamente significati complessi, espliciti e impliciti. Riorganizza le informazioni secondo un ordine logico-gerarchico. Comprende il senso dell’intero testo e lo utilizza per completare in modo coerente una sintesi data del testo stesso. Coglie il tono generale del testo (ad esempio, ironico o polemico) o di sue specifiche parti. Padroneggia un lessico ampio e adeguato al contesto. Conosce e utilizza i principali contenuti grammaticali e li applica all’analisi e al confronto di più elementi linguistici (parole, gruppi di parole, frasi).

Livello 5) L’allievo/a riconosce e ricostruisce autonomamente significati complessi, espliciti e impliciti in diversi tipi di testo. Coglie il senso del testo al di là del suo significato letterale, e ne identifica tono, funzione e scopo, anche elaborando elementi di dettaglio o non immediatamente evidenti. Riconosce diversi modi di argomentare. Mostra una sicura padronanza lessicale e affronta compiti grammaticali che richiedono di analizzare e confrontare strutture linguistiche complesse, tenendo sotto controllo contemporaneamente più ambiti della grammatica (ad esempio, sintassi e morfologia)

Qual è, a mio avviso, analizzando questi descrittori – che, ripeto, configurano il giudizio che il computer dà al test Invalsi di Italiano del singolo alunno – l’elemento più significativo? Il fatto che, all’aumentare dei livelli, non solo dovrebbe aumentare la capacità di comprensione degli aspetti formali del testo, ovvero della sua struttura, ma si determinerebbe anche, attestata ai livelli più alti, la comprensione profonda del senso del testo, dei suoi significati complessi, molteplici, espliciti e impliciti, al di là del suo significato letterale. Tutto questo, lo sappiamo, avviene attraverso processi di astrazione, interpretazione, formulazione di inferenze, elaborazione di ipotesi. Un complesso sistema di operazioni che afferisce alla dimensione simbolica – soggettiva – della mente umana.

Sono in grado i test Invalsi di esplorare questa dimensione, visto che la misurano, la valutano e la certificano? Vediamo come sono costruiti e formulati i quesiti, citando testualmente dal ‘Quadro di Riferimento di italiano’ disponibile sul sito Invalsi:

Nelle prove Invalsi di Italiano vengono utilizzati quesiti di due tipi: a risposta chiusa, nei quali lo studente deve scegliere la risposta corretta tra più alternative date, e a risposta aperta, nei quali lo studente deve formulare lui stesso la risposta.

I quesiti a risposta chiusa sono: a scelta multipla (QSM); a scelta multipla complessa (QSMC); quesiti nei quali lo studente deve stabilire delle corrispondenze (matching), riordinare gli elementi; inserire parole scelte da una lista (cloze). I quesiti a risposta aperta sono: a risposta univoca; a risposta articolata, comunque predeterminata in una lista, con un numero massimo di parole o caratteri ammessi, in un range di ‘accettabilità’ qualitativa e quantitativa riconoscibile dall’algoritmo.

Ebbene, io credo che in questo modo, sopra descritto, non sia possibile esplorare, e tanto meno restituire, racchiuso in un giudizio di valore espresso da un computer, la dimensione simbolica, interpretativa e soggettiva della mente dei nostri studenti. Attribuire su questa base un livello da 1 a 5 di valutazione delle “prestazioni cognitive” in Italiano dei bambini di terza media è un atto inaccettabile, a livello scientifico, etico, giuridico e politico.

Io credo che tutta questa operazione automatizzata di misurazione, valutazione, espressione di un giudizio e Certificazione delle competenze di fine ciclo vada interrotta perché è tossica. Così come va interrotta la sperimentazione della misurazione delle soft skills delle creature piccole. Sono misure funzionali ad una didattica e ad una pedagogia mostruose, subordinate a inaccettabili esigenze di automazione e profilazione, che nulla hanno a che vedere con la formazione e l’educazione.

Sono misure profondamente disfunzionali e potenzialmente pericolose per i nostri bambini, per i nostri adolescenti, per i nostri studenti, rispetto alle quali la presa in carico delle responsabilità culturali, etiche e politiche, da parte di tutti gli operatori del mondo dell’istruzione appare davvero indifferibile.