Token

Un token è l’unità minima di testo con cui un modello linguistico legge e genera il linguaggio. Può corrispondere a una parola intera, a una parte di parola, a un segno di punteggiatura o a uno spazio, e la suddivisione dipende dal sistema di tokenizzazione adottato da ciascun modello.

Prima di elaborare una richiesta, un LLM scompone il testo in token e trasforma ciascuno in una rappresentazione numerica, poi genera la risposta un token alla volta, scegliendo di volta in volta la continuazione più probabile. Una parola lunga o poco comune può richiedere più token di una frequente, e lingue diverse dall’inglese producono in genere più token a parità di contenuto.

Il token è anche l’unità di misura dei limiti e dei costi. La context window di un modello, cioè la quantità di testo che può considerare in una volta, si esprime in token, così come il consumo delle API dei servizi di intelligenza artificiale. Per i contenuti la tokenizzazione ha un effetto meno visibile: quando un motore interpreta un prompt elimina formule di cortesia e parole senza peso informativo e ne ricava entità e intento, per cui un testo chiaro sui concetti chiave resta più facile da interpretare e recuperare.