Le classifiche delle migliori università sono una cagata pazzesca.

Qualche settimana fa sono usciti i risultati della valutazione della didattica nella mia facoltà. Questi alcuni dei commenti che ò ricevuto sul mio profilo:

I loved that Prof. Butta took the time to explain every task with a scientific understandable background and not just let us follow the intructions like machinese

He is definetly one of the best lectureres at FEL. He explaines the subject incredibly well and aswers all questions that are asked. He makes sure that you understand and he is great at keeping the students attention.

I liked how we was really ggod at explaining the topics in the subject and I really appreciate how he was oper to explaining concepts to our other classes as well.

Ovviamente c’è anche chi non mi sopporta, specialmente quelli che pensano che passare un corso sia un diritto inalienabile dello studente (e che si spetasciano contro la mia esigenza). Per gli altri invece, quelli che vengono all’università per imparare, il parere sulla mia didattica è questo qui sopra.

Lo pubblico qui per tirarmela? Anche, perché no? Sono un buon insegnante, perché dovrei fare il finto umile. Ci sono tante cose che non so fare e che cerco di evitare facendole fare agli altri; insegnare è una cosa che mi viene bene, non vedo perché dovrei nasconderlo.

Potrei raccontarvi anche di quella volta che, lo scorso giugno, tornato a casa da una cena mi trovo l’email di un mio studente in panico prima dell’esame e che mi chiede aiuto. Alle undici di sera passate mi sono messo lì su scaip a fargli una consultazione al volo di oltre un’ora in cui gli ò spiegato tutto ciò che non capiva. Quando vedi uno studente desideroso di imparare, anche se si è ridotto all’ultimo minuto, ti commuovi per l’inaspettato interesse e gli fai la consultazione anche a mezzanotte.

Sono un buon inegnante? Sì, e non ò alcun problema a dirlo, fanculo la modestia. Però di tutto ciò non rimane niente nelle classifiche mondiali delle migliori università.

Avete presente quelle classifiche che escono periodicamente in cui mettono in fila le università del mondo e sulle quali vengono spesi fiumi di bit?
Ogni volta che escono mi devo sorbire articoli su articoli in cui si celebrano successi o editoriali pieni di seghe mentali basate su queste classifiche.
Tutte parole basate su di un fatto dato per scontato: l’attendibilità di queste classifiche.

Ecco, forse è arrivato il momento di spiegare che normalmente queste classifiche sono una cagata pazzesca.

Anche il mio insegnamento è valutato in queste classifiche, come quello dei miei colleghi. Eppure nessuno di coloro che compila queste classifiche è venuto ad ascoltare una mia lezione.
Ricevo valutazioni dai miei studenti, come quelle sopra, e talvolta i dirigenti della mia facoltà mandano “ispettori” che si siedono il classe e ascoltano la mia lezione, ma nessuno di coloro che compila le classifiche delle migliori università del mondo viene ad ascoltare una mia lezione: come fanno dunque a valutarla?

Direte: ok, non ascoltano la tua lezione ma ascoltano quella del tuo collega. Faranno un campionamento statistico, analizzano 20 lezioni della tua università e danno un voto alla didattica del tuo ateneo. Non valutano te ma il tuo vicino d’ufficio.
Ehm, no.

Prendete una classifica come il THE: basta leggere la metodologia per capire che la didattica è valutata senza alcuna… valutazione della didattica!

Il punteggio per la parte di didattica viene valutato così:

  • Reputation survey: 50%
  • Staff-to-student ratio: 15%
  • Doctorate-to-bachelor’s ratio: 7,5%
  • Doctorates-awarded-to-academic-staff ratio: 20%
  • Institutional income: 7,5%

Analizziamo queste voci una per una.

Reputation survey: fanno 20 mila questionari nel mondo in cui chiedono quanto è buona la didattica del tal ateneo. Anche a me arrivano questi sondaggi ogni tanto. Ma spiegatemi, perché io dovrei sapere se sono buone o meno le lezioni all’Università di Vattelapesca o alla Stocazz State University? Io nella mia vita ò frequentato (come studente) solo due università, posso valutare solo quelle e pure con un certo margine di incertezza. Come faccio a sapere come si insegna in università che non ò frequentato?

Potrei valutare la qualità della didattica indirettamente dai risultati: nel corso della mia vita incontro laureati di diverse università e se quelli laureati all’Università di Vattelapesca sono bravi mentre quelli con la laurea della Stocazz State University sono dei coglioni deduco che si insegna meglio nella prima università e peggio nella seconda. Tuttavia l’incertezza qui esplode. Io ò avuto molti studenti che erano dei totali idioti: se voi incontrate uno di questi miei ex-studenti e deducete che le mie lezioni fanno cagare siete in torto. Le mie lezioni sono ottime, soltanto non ò i poteri di Gesù Cristo per convertire un idiota in un genio.

In realtà la nostra valutazione indiretta delle migliori università si basa sulla fama che ogni università porta con sé.
Più una università è prestigiosa e più sei portato a pensare che lì si insegni bene, più una università è sconosciuta (e in una città poco importante) e più pensi che lì si insegni male. Anche se non ài mai ascoltato una lezione di quella università.

Facciamo pure un esempio: quanti di voi sono convinti che a Oxford, Cambridge o Yale si insegni bene? Molti, suppongo. Quanti di voi però ànno seguito un corso in queste università o conosciuto gente che le ànno frequentante? Pochissimi.
Su cosa avete basato il vostro giudizio dunque quando avete detto che a Oxford, Cambridge o Yale si insegna bene?
La loro fama.
Il vostro giudizio non si basa su una valutazione oggettiva ma sulla fama di una università.

In termini pubblicitari questa è quella che viene definita come percezione di un marchio, che è una cosa totalmente diversa dalla qualità di un prodotto.
La percezione di un marchio è influenzata da tante cose. La grafica della confezione ad esempio: ci sono fior di studi che dimostrano come una diversa confezione induca il consumatore a valutare in modo differente il medesimo prodotto. Oppure la pubblicità: più vedi un marchio in TV più sei portato a pensare che il prodotto sia importante e quindi di qualità.
Prendete un marchio di pasta famoso. Se chiedi alla gente se quella pasta è buona o no quelli probabilmente ti diranno di sì, anche se magari non l’ànno mai mangiata! Ti diranno che è buona perché al supermercato vedono le confezioni eleganti, il prezzo più elevato (se è cara siamo portati a pensare che sia di maggiore qualità), o perché vedono la telepromozione con Mike Bongiorno ogni giorno in TV.
Poi magari in un test in doppio cieco non saprebbero distinguerla da una pasta sconosciuta che costa la metà.
Perché in un test in doppio cieco valuti la qualità mentre con un sondaggio valuti la percezione del marchio. Sono due cose diverse.

Un sondaggio sulla qualità della didattica fatto a persone che non ànno mai frequentato le università che chiedi di valutare è come un sondaggio sulla percezione del marchio Barilla fatto a persone che non ànno mai mangiato Barilla. Quella magari ti diranno che è buona perché il marchio è famoso o non buona perché il proprietario è contro i ghei, ma ciò non à nulla a che vedere con la qualità oggettiva di quella pasta.

Quel 50% sul reputation survey quindi non à nulla a che vedere con la qualità oggettiva della didattica. È solo percezione del “marchio dell’università“.
Le altre voci invece? Analizziamole.

Abbiamo un 15% per il rapporto tra numero di studenti e insegnanti (o meglio, “staff”). Questo potrebbe sembrare un parametro oggettivo. Dopo tutto, se ò pochi alunni per insegnante sono portato a pensare che la didattica sia migliore, no?
Be’, anche in questo caso il valore può essere molto fuorviante, e questo per due motivi. Innanzitutto perché avere un numero alto di insegnanti non significa che si dedichino sempre alla didattica. Io ad esempio dedico il 20% del mio tempo alla didattica e l’80% del tempo alla ricerca. Altri dedicano più tempo alla didattica. Dovresti misurare per ogni persona il tempo dedicato effettivamente alla didattica, un lavoraccio.
Il secondo motivo però è più importante: tu puoi anche avere tanti insegnanti che dedicano tante ore alla didattica, rapportati al numero di studenti. Ma se sono pessimi insegnanti la qualità della didattica non diventa magicamente buona. Siamo tutti d’accordo che una classe piccola è migliore di una classe con 400 alunni, ma se il professore insegna male la lezione sarà sempre una lezione di merda. Non è che diventa un’ottima lezione perché invece di 400 alunni se ne trova in classe solo 40.
Certo, se ài 40 studenti puoi seguirli molto meglio se vengono a consultazione, ma posso dirvi che non è certo il tempo quello che manca per fare le consultazioni.

Esperienza personale di quando ero studente. Esercitazioni di analisi: eravamo una classe di 120 alunni circa quindi per le esercitazioni ci diedero due assistenti e ci divisero in due gruppi da 60. Un assistente era bravo, l’altra assistente faceva cagare. Dopo la prima settimana 110 studenti seguivano l’assistente bravo e solo 10 erano rimasti con l’altra (la partecipazione era libera quindi anche se tu appartenevi a un gruppo potevi andare nell’altro). I 10 che erano rimasti con l’assistente che faceva cagare erano i tipici leccaculo che si mettevano sempre in prima fila per farsi vedere. Altrimenti sarebbe rimasta sola.
Davanti a due insegnanti, uno bravo e uno no, spontaneamente lo studente preferisce stare con l’insegnante bravo anche se il prezzo da pagare è stare in una classe con 110 studenti anziché 10. Ovviamente questo ragionamento à dei limiti (classi di 400 persone in cui ti devi sedere per terra sono un’altra cosa), ma in generale il fatto di avere una classe di 10 persone non dice molto sulla qualità della didattica. Se l’assistente fa cagare come quell’arpia di analisi farà cagare anche se gli metti davanti una classe di 10 persone.

Altre due voci sono il rapporto tra dottorati e lauree di primo livello (che conta per il 7,5%) e il rapporto tra dottorati rilasciati e il numero di accademici (20%). In questo caso puoi farti tutte le seghe mentali che vuoi, ma nessuno di questi due valori dice alcunché sulla qualità della didattica. Il fatto che ci siano molti o pochi dottorandi in rapporto agli studenti di primo livello non è che rende le lezioni migliori o peggiori. Al massimo ti dice che l’università punta di più a un mercato che a un altro, il che dipende anche dal contesto economico dove ti trovi. Uno non è che decide di fare un dottorato perché pensa “tu guarda, in questa università si insegna così bene che voglio restarci altri quattro anni a fare il dottorato“. Se decide di continuare a fare il dottorato è per mille motivi: perché vuole fare la carriera accademica, perché gli piace la ricerca, perché il quel luogo le industrie assumono gente col dottorato… ma di sicuro non perché gli piacevano le lezioni e quindi à deciso di frequentarle ancora per un po’.
In ogni caso il fatto di avere più dottoranti o più sbarbatelli non rende l’insegnante più o meno bravo a far lezione.

Allo stesso modo, il fatto di rilasciare più o meno dottorati rispetto al numero di accademici non dice nulla sulla qualità delle lezioni. Innanzitutto perché il dottorato di solito non à quasi nulla a che vedere con la didattica. Quando fai un dottorato passi la giornata a fare ricerca, solo ogni tanto frequenti qualche corso che il più delle volte è un corso per studenti della laurea magistrale, non un corso apposta per dottorandi. Se tu ài tanti studenti che prendono il dottorato da te ciò non dice niente sulla lezione del Prof. Pincopallo. Non è che se si trova in aula 50 studenti della magistrale e 4 del dottorato in aggiunta ad essi allora la sua lezione magicamente migliora.

Infine c’è l’institutional income che vale il 7,5%. Ossia, quanto è ricca l’università (paragonato al potere d’acquisto nel paese dove si trova). La metodologia dice che questo valore serve per valutare “an institution’s general status and gives a broad sense of the infrastructure and facilities available to students and staff“. Ok, siamo tutti d’accordo che fare lezione seduti per terra non è l’ideale, ma vi assicuro che io vi faccio una lezione ottima anche con una lavagna di Lavagna e una scatola di gessi. Il massimo del lusso che pretendo è una scatola di gessi colorati da 5 euro. Ecco, quelle sono le facilities che mi servono.
Ad essere onesto una volta mi è capitato di usare per qualche settimana la stanza delle videoconferenze per consentire a uno studente extracomunitario di seguire le lezioni da casa visto che era bloccato a causa di un visto che non era stato rinnovato. Ma parliamo di casi eccezionali. Normalmente avere super strutture tecnologiche non influenza particolarmente la qualità della didattica.

Come vedete, in ogni voce si cerca di valutare la didattica indirettamente, ma ogni singola voce è fallace. Ovviamente c’è un modo per valutare la didattica: andare a lezione.
Io non avrei alcun problema ad aprire la porta a ispettori intenzionati a valutare le mie lezioni: prego, si accomodino pure.
Il problema è che mandare migliaia e migliaia di ispettori in tutte le università costa un botto di soldi. Così si valuta la didattica chiedendo come si insegna nella tal università a persone che non l’ànno mai frequentata. Logico, no?

Costa poco ma il risultato è che non ti dice nulla sulla qualità della didattica. In molti dicono che non potendo fare una valutazione diretta della didattica è meglio che niente. In realtà non è così. Se non puoi permetterti decine di migliaia di ispettori non è che un metodo di misura intrinsecamente fallace diventa affidabile.

Come dire: vuoi misurare la temperatura su Alfa Centauri però non ài l’attrezzatura per farlo. Allora ti lecco un dito lo metti in aria e stimi: “per me sono 2305 °C“. Quando qualcuno ti dice che un dito umettato non è un buon metodo per misurare la temperatura su Alfa Centauri tu gli dici che non essendoci alternative tu fai così. Ovviamente sei un cretino.

Allo stesso modo sei un cretino se, non potendo valutare la qualità della didattica andando a sentire le lezioni, chiedi come sono le lezioni a gente che non le à mai frequentate.

Fin qui ò parlato di didattica, dimostrando che il valore di questa classifica, metodologia alla mano, è zero.

Ci sono poi altri settori che compongono il punteggio finale. Quello più oggettivo sono le citazioni (anche se pure qui potremmo fare qualche discorsetto, ma non voglio appensantire il discorso).
Per quanto riguarda la ricerca ancora una volta il 50% del punteggio dipende da un sondaggio sulla reputazione dell’ateneo che, esattamente come detto prima, è solo una valutazione sulla percezione del marchio.
Salvo rari casi è molto difficile che una persona intervistata, anche se attiva nel campo della ricerca, sia in grado di dare un valore alla ricerca fatta in una università. Io posso conoscere a malapena la qualità della ricerca fatta da qualche gruppo specifico di cui sono a conoscenza. Per il resto la gente si convince che in una università si faccia ricerca importante solo per la fama che l’accompagna. Questo lo vedi anche notando come molte riviste scientifiche pubblicano fuffa assoluta solo perché viene da università famose.

Ci sono tante altre voci minori come la percentuali di studenti o di accademici stranieri. Anche in questo caso, se il ministero dell’interno ceco si decide e mi dà la cittadinanza ceca la mia facoltà all’improvviso si trova con meno accademici stranieri. Le mie lezioni diventano peggiori per questo?

Ti dicono: se uno viene dall’estero a studiare nella tua università significa che è importante!
Non necessariamente: può avere fama (che non significa essere di qualità), ma soprattutto l’arrivo di studenti stranieri è influenzato da mille fattori che non ànno nulla a che vedere con la qualità dell’università. Pensate al caso – ironico – di tutti gli slovacchi che studiano a Praga: sono tantissimi e sono stranieri per le statistiche, ma solo perché nel 1993 c’è stata la secessione. Altrimenti sarebbero stati cittadini cecoslovacchi, non stranieri. L’università sarebbe stata peggiore per questo?
Io ò avuto studenti da Israele o dal Sud Africa che studiavano a Praga solo perché avevano un passaporto UE per via di un nonno rumeno o cipriota, il che facilitava la loro residenza UE senza necessità di visto. Dall’altra parte ò visto studenti che studiavano a Praga perché la Rep. Ceca dava loro il visto mentre altri paesi no.
Per non parlare del costo della vita in un paese o di problemi come la nostrificazione della maturità: in Rep. Ceca per studiare all’univeristà devi fare il riconoscimento della maturità, un processo complicatissimo in cui spesso devi ripetere l’esame di maturità in un istituto simile a quello dove ài ricevuto la maturità (e spesso trovarlo non è semplice) con un traduttore giurato se non parli ceco. Alcuni miei studenti sono arrivati a ricevere la nostrificazione della maturità quando ormai erano al terzo anno di università. Di mio scapperei a gambe levate da un posto del genere. Ma se lo Stato ti mette regole assurde per riconoscerti la maturità estera non significa che le università di quel paese sono pessime.

Come vedete, tolte le citazioni, tutta la classifica si fonda su valutazioni fallaci. Traduzione: è pura fuffa.

A questo punto potreste chiedermi perché me ne frega tanto di queste classifiche. Perché mi sono preso la briga di smontare la fuffa che c’è dietro di esse.
Ovviamente a me non cambia nulla: io so che sono un buon insegnante e m’interessa ciò che scrivono i miei studenti in commenti come quelli che ò pubblicato all’inizio. Fotte sega del parere di uno che non viene nemmeno alla mia lezione.
C’è però un problema causato da queste classifiche. Siccome però il post è già lungo così ne parliamo in un altro posto.

Continua.

3 Comments

  1. kheimon said:

    La fama e il blasone delle università al top è self-fulfilling in maniera neanche troppo sottile.

    È un semplice cartello. Gli alumni in posizioni di comando tendono ad assumere altri alumni e ne puntellano la carriera, facendoli arrivare in alto, e questi a loro volta si circondano di nuovi arrivati presi dalla stessa cricca. Poi, gli alumni con tasche belle piene e profonde, una volta diventati CEO o ministri, elargiscono grosse donazioni alla propria ricca università, rendendola ancora più ricca. E poi ci organizzano eventi, progetti di collaborazione, ecc… rendendola ancora più prestigiosa. Le università al top hanno imparato che per restare tali devono mantenere forti legami con i propri ex allievi, innescando un effetto a valanga…

    Io mi sono laureato in una dignitosissima università italiana e ho ricevuto didattica di buon livello, sebbene forse troppo incentrata sulla teoria. Ma non mi sento parte di un club, il livello di engagement è zero. La mia ex-università non mi scrive, il mio professore della tesi non mi chiede come va il lavoro. Non ci caghiamo. E non è perché ci stiamo sul culo a vicenda, è solo perché ero e sono solo un numero, una riga su una tabella in un database. Prendi “Oxbridge” invece: mica è così, altroché.

    21 Marzo 2019
    • mattia said:

      Poi, gli alumni con tasche belle piene e profonde, una volta diventati CEO o ministri, elargiscono grosse donazioni alla propria ricca università, rendendola ancora più ricca.

      Non solo. Quando comandano nelle aziende stabiliscono che assumono solo persone laureate nelle top university, specificandolo come requisito negli annunci di lavoro. Che magari uno è bravissimo ma si è laureato altrove, quindi è tagliato fuori.
      Così poi la gente sgomita per entrarci aumentando a dismisura le domande di iscrizione, cosa che consente di fare selezione e prendere il meglio degli studenti, aumentando la retroazione positiva.

      21 Marzo 2019
    • kheimon said:

      Sì, quello che hai aggiunto era ciò che avevo tentato di esprimere, meno bene di te, con la frase immediatamente precedente a quella che hai citato.

      È una situazione molto triste.

      Penso comunque che se le università italiane intrattenessero rapporti più stretti con i propri alumni, in particolar modo quelli non scarsi, non farebbero un soldo di danno, anzi. A dire il vero alcune lo fanno, ma non ai livelli di Oxford e Cambridge. Non vedo la mia università come una comunità alla quale ho appartenuto e tutt’ora appartengo, ma come una serie di interazioni prevalentemente transazionali (seguo le lezioni, vado a fare l’esame, prendo il voto) lunga 5 anni. Il che non vuol dire che gli voglia male, ma…

      21 Marzo 2019

Comments are closed.