Reti neurali

Le reti neurali artificiali sono modelli di calcolo organizzati in strati di unità collegate fra loro, in cui ogni collegamento ha un peso che l’addestramento modifica. Non contengono regole scritte: contengono numeri che, aggiustati su milioni di esempi, producono il comportamento voluto.

Il salto che conta è del 2017, quando la ricerca di Google introduce l’architettura Transformer e il meccanismo di attenzione: la capacità di valutare ogni elemento di una sequenza in rapporto a tutti gli altri, invece che uno dopo l’altro. Da lì derivano BERT, i modelli generativi e i sistemi che oggi producono le risposte nei motori.

Per chi lavora sui contenuti la parte rilevante è come questi modelli rappresentano il linguaggio: non come parole, ma come posizioni in uno spazio matematico, dove la vicinanza esprime somiglianza di significato (embedding). È il motivo per cui un testo può risultare pertinente senza contenere la parola cercata, e per cui un testo pieno di quella parola può risultare irrilevante.

Il limite da tenere presente è di natura: un modello di questo tipo produce l’uscita più probabile dato l’addestramento, non la più vera. Genera con la stessa sicurezza un dato corretto e uno inventato, e questo riguarda direttamente chi pubblica: quello che un modello dice della tua azienda dipende da che cosa ha letto, non da che cosa è esatto (allucinazione).