Transformer
Il transformer è un’architettura di rete neurale progettata per elaborare sequenze di testo, presentata nel 2017 da un gruppo di ricercatori di Google nell’articolo “Attention Is All You Need”. È la base dei moderni LLM: la T di GPT sta proprio per transformer, e sulla stessa architettura si fondano Gemini, Claude e BERT.
Il suo elemento distintivo è il meccanismo di attention, che permette al modello di pesare la relazione fra ogni token e tutti gli altri della sequenza, invece di leggerli uno dopo l’altro come facevano le architetture precedenti. Il significato di una parola viene così calcolato in base al contesto in cui compare, e l’elaborazione può avvenire in parallelo, cosa che ha reso possibile l’addestramento su quantità enormi di testo.
Per la ricerca online l’arrivo dei transformer ha segnato il passaggio dalla corrispondenza fra parole alla comprensione del contesto. BERT ha portato questa logica nell’interpretazione delle query di Google già nel 2019, e i modelli generativi l’hanno estesa alla produzione di testo, fino alle risposte dei motori generativi. Per un contenuto la conseguenza è che pesa il senso complessivo del passaggio più della presenza di singoli termini.
