Per quanto stiano evolvendo in fretta, le intelligenze artificiali – anche le più raffinate – continuano ad avere diversi problemi. Alcuni perfettamente umani, come le famose allucinazioni a cui vanno incontro, o i pregiudizi che spesso ereditano dai loro «addestratori» umani. Altri più esotici: a differenza di un essere umano, ad esempio, un’intelligenza artificiale sembra faticare parecchio a comprendere la parola «no», o meglio, la negazione di qualcosa. Il fenomeno è stato descritto di recente da un team di ricercatori del Massachusetts Institute of Technology e potrebbe creare molti problemi soprattutto alle applicazioni dell’intelligenza artificiale in campo medico. Per il loro studio, i ricercatori hanno creato un database di quasi 80mila coppie di immagini in cui un oggetto è presente in una e assente nell’altra, ciascuna corredata da una didascalia che descrive l’assenza o la presenza dell’oggetto in questione. Questo strumento, battezzato NegBench, è stato quindi utilizzato per mettere alla prova la capacità di diversi tra i più diffusi Vision Language Model, ovvero i modelli di intelligenza artificiale in grado di comprendere e analizzare sia i testi che le immagini. Tra questi, 10 versioni del modello Clip Ai di OpenAi, e uno recente di Apple chiamato AIMV2. Due dei modelli di Clip Ai utilizzati, inoltre, erano stati precedentemente addestrati specificamente per l’interpretazione di imaging medico. Nel primo dei loro test, i ricercatori hanno chiesto ai modelli di ai di identificare immagini che contenessero un certo oggetto e non ne contenessero un altro – ad esempio, immagini che presentassero tavoli ma non sedie – dimostrando da subito i problemi che hanno i modelli linguistici a comprendere la negazione: in media i modelli di intelligenza artificiale testati hanno ottenuto una precisione dell’80 percento nel riconoscimento degli oggetti presenti nell’immagine, ma solo del 65 percento nell’identificare le immagini basandosi sugli oggetti non presenti. In un secondo esperimento, hanno quindi messo alla prova direttamente i due modelli addestrati per il riconoscimento di immagini mediche, chiedendo loro di scegliere la didascalia più giusta per descrivere il contenuto di una lastra, da una lista di due risposte possibili contenenti non solo le caratteristiche visibili nell’immagine, ma anche quelle non visibili, come ad esempio la presenza, o l’assenza, di segni riconducibili ad una polmonite. In questo caso, nei casi in cui era presente una negazione la migliore delle due ai testate ha raggiunto appena un 40 percento di accuratezza, nonostante si tratti di un’attività banale per un medico in carne e ossa. A detta dei ricercatori del Mit, il problema deriva dai modelli di apprendimento utilizzati per addestrare le intelligenze artificiali, i cosiddetti trasfromatori sviluppati dai ricercatori di Google nel 2017 e oggi utilizzati da quasi tutte le intelligenze artificiali che elaborano il linguaggio naturale. Come ha spiegato sulle pagine del NewScientist Karin Verspoor, esperta del Royal Melbourne Institute of Technology, si tratta infatti di modelli pensati per riconoscere il significato specifico dei termini in relazione al contesto in cui compaiono. E il fatto che negazioni come «no» e «non» siano indipendenti dal contesto, e vengano ripetute in molti punti diversi di una frase, fa sì che questi modelli di apprendimento abbiano difficoltà nell’interpretarne il significato, e finiscano per ignorarle più spesso del dovuto. Queste difficoltà possono avere conseguenze gravi soprattutto in un campo come la medicina, in cui quello che è assente in un’immagine – ad esempio un tumore, o una frattura – è spesso importante tanto quanto quello che è presente. Addestrando specificamente i vision language model per comprendere le negazioni, i ricercatori del Mit sono riusciti a migliorarne del 10 percento le i loro risultati nel primo dei due esperimenti, e del 30 percento l’accuratezza nel secondo. Una pezza, che non risolve il problema alla radice: per riuscirci, infatti, bisognerà modificare gli stessi modelli di apprendimento con cui vengono addestrate le ai, e non si tratta di un obbiettivo facile o rapido da raggiungere.
Simone Valesini
