Dalla traduzione automatica a ChatGPT: l’idea dell’attenzione
Il meccanismo fu sviluppato nel 2014 a Montréal dal ricercatore bielorusso Dzmitry Bahdanau con Yoshua Bengio e Kyunghyun Cho. Oggi i principi dell’attenzione sono alla base dei modelli linguistici come ChatGPT.
Una delle idee che hanno reso più efficaci le traduzioni automatiche è nata da una ricerca firmata da un giovane programmatore bielorusso. Il suo principio — permettere a una rete neurale di concentrarsi sulle parti più importanti di una frase — ha avuto conseguenze ben oltre la traduzione e si ritrova, in forma evoluta, anche nei modelli linguistici alla base di ChatGPT.
Gli studi e i primi successi
Il ricercatore è Dzmitry Bahdanau, originario di Homel, in Bielorussia. Il suo talento per la programmazione emerse già da adolescente: nel 2009 si diplomò al liceo dell’Università statale bielorussa e partecipò alle Olimpiadi internazionali di informatica a Plovdiv, in Bulgaria, classificandosi 13º su 301 concorrenti.
In seguito studiò matematica applicata all’Università statale bielorussa e continuò a gareggiare. Nel 2012 partecipò con altri due studenti al prestigioso campionato universitario di programmazione ACM-ICPC. Nella finale mondiale, la squadra bielorussa arrivò quinta, davanti anche a quella di Harvard, che si classificò settima.
Dopo la laurea, Bahdanau si iscrisse all’Università Jacobs, in Germania, dove conseguì un master. Nel 2014 partì per uno stage all’Università di Montréal. Qui conobbe Yoshua Bengio, informatico canadese considerato uno dei «padrini» dell’intelligenza artificiale, che già negli anni Duemila lavorava allo sviluppo delle prime reti neurali.
La ricerca sui meccanismi di attenzione
Nello stesso anno Bahdanau scrisse un articolo con Bengio e Kyunghyun Cho, allora dottorando all’Università di Montréal. Il lavoro, intitolato «Neural Machine Translation by Jointly Learning to Align and Translate» («Traduzione automatica neurale con apprendimento congiunto dell’allineamento e della traduzione»), lo rese una figura importante nella storia delle reti neurali: nell’elenco degli autori il suo nome compare per primo.
L’idea era insegnare ai computer a interpretare il testo tenendo conto dei rapporti tra le parole. Se si prova a memorizzare una frase lunga parola per parola, è facile dimenticarne alcune e perdere informazioni decisive per ricostruirne il significato. Comprendere il contesto, invece, aiuta a distinguere gli elementi più importanti e i legami tra loro. In modo analogo, il metodo sviluppato da Bahdanau e dai suoi colleghi permetteva alle reti neurali di individuare quali parti della frase originale meritassero maggiore attenzione.
Il salto di qualità delle traduzioni automatiche
Negli anni Duemila e nei primi anni Dieci, i sistemi di traduzione automatica come Google Translate potevano confondere il significato delle parole, perdere i rapporti tra le diverse parti di frasi lunghe o persino cambiare il senso di un’espressione. A metà degli anni Dieci la tecnologia fece un salto: Google Translate passò alla traduzione basata sulle reti neurali. Secondo i dati di Google, la qualità delle traduzioni migliorò nel tempo del 55-85% rispetto alla tecnologia precedente. Per spiegare quel passaggio, l’azienda cita anche l’articolo di Bahdanau, Bengio e Cho.
Dalla traduzione a ChatGPT
Le ricadute della ricerca, però, non si limitarono alla traduzione automatica, ambito per cui era stato ideato il meccanismo di Bahdanau. Nel 2017 comparvero i transformer, reti neurali che elaborano le informazioni seguendo in larga misura i principi dei meccanismi di attenzione, poi perfezionati. I transformer sono alla base degli attuali modelli linguistici, tra cui ChatGPT.
Da allora i meccanismi di attenzione sono stati ulteriormente migliorati, anche perché oggi vengono impiegati in campi molto più ampi della traduzione. ChatGPT e il lavoro di Bahdanau condividono comunque un’idea fondamentale: la rete neurale seleziona autonomamente le parole più importanti del testo. ChatGPT opera secondo un principio per cui il programma pone alle parole numerose domande e, grazie all’addestramento, impara quali relazioni prendere in considerazione.
Il lavoro di Bahdanau oggi
Nel 2020 Bahdanau conseguì il dottorato a Montréal. L’anno successivo assunse la guida del programma di ricerca Conversational Assistant presso ServiceNow, una startup, lavorando tra l’altro a sistemi in grado di scrivere programmi e comprendere istruzioni formulate in linguaggio naturale.
Dal 2025 fa parte del gruppo dei fondatori di Periodic Labs, una grande startup che punta a integrare l’intelligenza artificiale con esperimenti scientifici reali. È inoltre professore ospite alla McGill University, in Canada, dove lavora con giovani ricercatori nel campo dell’intelligenza artificiale.
Un contributo importante, ma non esclusivo
Il contributo di Bahdanau allo sviluppo dell’intelligenza artificiale è rilevante, ma non si può affermare che senza di lui non avremmo ChatGPT o buoni traduttori automatici. Altri scienziati avrebbero potuto arrivare a soluzioni simili anche senza Bahdanau, Bengio e Cho. Il mondo tecnologico, ormai profondamente radicato nella vita quotidiana, avrebbe però potuto prendere una strada diversa.
