Una squadra di oltre 10mila persone, attivi in tutto il mondo e impegnati in un compito specifico: valutare i risultati forniti da Google alla luce delle linee guida fornite dalla compagnia, per scoprire se effettivamente le SERP rispettano i criteri segnalati e se, quindi, gli utenti ricevono un servizio efficace e positivo. Oggi proviamo a scoprire qualcosa in più sui Google Quality Raters e sui documenti a cui devono far riferimento, per capire cosa fanno realmente, sfatare alcuni miti e, non meno importante, comprendere come il loro lavoro influisce sulla Ricerca e cosa bisogna sapere sul concetto di EAT.

Chi sono i quality raters di Google

È almeno dal 2005 che Google ha lanciato il programma quality raters, coinvolgendo un piccolo esercito di tester, valutatori e revisori di qualità nel lavoro valutazione del suo prodotto finale, ovvero le SERP mostrate al pubblico, le pagine con i risultati di ricerca.

Secondo le indiscrezioni, oggi l’azienda impiega indirettamente circa 10mila quality rater in tutto il mondo, pagati a ora (13,5 dollari, pare), tramite un network di società appaltanti. Questi collaboratori esterni di Google sono assunti attraverso contratti di lavoro a termine e temporanei, che possono essere rinnovati ma che, in genere, non durano mai molto a lungo.

Come si diventa google evaluator?

Intorno a questo programma c’è ovviamente una buona dose di riserbo e segretezza, e non esiste un modo per sottoporre la propria candidatura a quality rater né un ufficio o mail a cui inviare un curriculum: secondo quanto si può presuppore, è Google che contatta direttamente le persone che individua come potenziali valutatori ritenendole all’altezza del compito (a volte blogger sparsi in tutto il mondo), oppure delega in subappalto la ricerca ad agenzie specializzate.

La breve durata dei contratti ha una ratio ben specifica: impedisce ai quality raters di poter interferire in qualche modo con il sistema della ricerca andando oltre le proprie mansioni o di approfittare della propria posizione.

In questi 15 anni, il programma di Google ha impiegato milioni di QR, che sono stati gli occhi esterni e umani per vigilare sulla qualità delle SERP e dei risultati forniti.

I compiti e le funzioni dei Quality Raters di Google

E quindi, cosa fanno questi Google evalutor? Possiamo pensare a loro come a un gruppo di revisori della qualità, che valutano i risultati di un’azienda sulla base di criteri, principi e documenti forniti dalla dirigenza.

Nel caso del motore di ricerca, i GQR sono incaricati di analizzare e studiare le informazioni contenute nei risultati delle query utilizzando le famose linee guida di Google, le General Guidelines del Search Quality Rating Program che sono pubblicate online, disponibili al pubblico e costantemente aggiornate-

I Google quality rater non determinano penalizzazioni, declassamenti o ban

È bene chiarire subito un aspetto: i collaboratori a progetto di Google non hanno accesso o controllo ad alcun componente degli algoritmi di Google e non determinano direttamente penalizzazioni, ban o cali di ranking per i siti.

La loro funzione non è decidere le posizioni dei risultati in SERP, ma solo verificare che il prodotto – vale a dire l’algoritmo di ricerca – stia funzionando nel modo previsto e secondo le regole prestabilite.

Ciò detto, con il loro giudizio i quality raters possono comunque influenzare indirettamente il posizionamento organico delle pagine, perché analizzano la qualità dei contenuti e assegnano una valutazione umana che sarà poi interpretata ed elaborata dai preposti team di Google.

Volendo sintetizzare, possiamo dire non influenzano il ranking dei siti che valutano, ma influenzano le classifiche di ogni sito rispetto alle query oggetto di valutazione.

Il lavoro di valutazione umana sulle SERP

Ogni quality rater ha il compito di verificare la qualità di un gruppo di SERP e quindi controlla una serie di pagine web (in genere, quelle meglio posizionate per le query più delicate); il suo compito è giudicare, in base a una precisa check-list, se il documento rispetta le linee guida relative alla qualità informativa e tecnica delle pagine.

Completata questa revisione, il quality rater assegna un rating di qualità, su una scala di voto da minimo a massimo: non è una valutazione soggettiva o personale, ma il margine di discrezionalità è molto limitato e il revisore deve rispettare in modo tassativo le citate linee guida redatte da Google. Questi dati sono poi forniti ai sistemi di machine learning, che li utilizzano per migliorare gli algoritmi basati sui fattori noti.

Grazie a questo lavoro, Google può individuare gli elementi di disinformazione che possono sfuggire ai sistemi algoritmici automatizzati. La missione dei quality raters è quindi quella di contribuire, attraverso un giudizio umano, a rendere le pagine dei risultati di ricerca utili e di alta qualità, riducendo la presenza di risultati fuorvianti e di contenuti non all’altezza degli standard.

Le linee guida di Google per i quality rater

Diventa a questo punto importante capire cosa sono e a cosa fanno riferimento queste guidelines, un documento che all’ultima versione (aggiornata attualmente al 5 dicembre 2019, come analizzavamo in questo articolo) si compone di ben 168 pagine che scandagliano tutto ciò che significa qualità per Google.

Come si legge in apertura del documento, “le linee guida generali riguardano principalmente la valutazione della qualità della pagina (PQ) e la valutazione dei fabbisogni (NM, needs met in originale)”: in pratica, i quality raters hanno il compito di esprimere un giudizio e un voto sul modo in cui il motore di ricerca risponde a search intent (le esigenze) e livelli qualitativi richiesti.

L’interpretazione dell’utilità dei risultati

In un recente approfondimento su SearchEngineJournal, Dave Davies ci fornisce alcune indicazioni utili sul lavoro dei quality raters e in particolare sul processo di valutazione, che probabilmente si basa sulla domanda “Quanto è utile e soddisfacente questo risultato?”.

Durante il test, un valutatore può visitare una singola pagina web oppure concentrarsi su una SERP intera, analizzando ogni risultato posizionato. In entrambi i casi, invierà a Google dei segnali in merito alla struttura del sito, al dispositivo, alle differenze demografiche e ai risultati della posizione, più una serie di altri fattori che si applicano alla classificazione di ciascun risultato.

Questi dati serviranno a guidare le modifiche per migliorare i risultati e determinare algoritmicamente quali fattori o combinazioni di fattori sono comuni ai risultati con ranking più alto. La valutazione dei needs met richiede una qualità della pagina almeno decente e si basa sia sulla query che sul risultato.

Il lavoro umano è utile anche nell’interpretazione di query ambigue, come quelle che hanno molteplici risultati: in questi casi, il punteggio di NM deve dare più peso alle pagine che soddisfano intenti più elevati e ricercati, così da impedire il posizionamento alto di pagine che trattano topic che non corrispondono al search intent generale e l’invio di segnali sbagliati agli algoritmi, che quindi possono concentrarsi sui segnali giusti per la maggior parte degli utenti.

Le valutazioni sulla qualità delle pagine

In realtà, e come era facile intuire, le indicazioni per valutare la qualità delle pagine fornite ai tester umani non si discostano molto dalle best practices a cui classicamente si fa riferimento per i siti: le valutazioni si basano su una serie di fattori, tutti collegati tra loro, e il peso attribuito a ogni fattore si basa sul tipo di sito e query.

Ci sono alcune tipologie di topic e categorie che sono sotto una lente di ingrandimento speciale, e in particolare quello più attenzionato è il settore Your Money or Your Life (YMYL) che, parola di Google, “potenzialmente influisce sulla felicità, la salute, la stabilità finanziaria o la sicurezza future di una persona”. In questo caso, i raters devono prestare maggiore cura e sono invitati a dare più peso all’EAT.

Le indicazioni di Google sulle pagine YMYL

Le linee guida suddividono i contenuti YMYL in 7 gruppi di siti, a seconda della tipologia principale:

  1. Notizie ed eventi attuali, in cui rientrano le notizie su argomenti importanti (come ad esempio eventi internazionali, affari, politica, scienza, tecnologia), ad eccezione di quelli che non riguardano temi YMYL (generalmente, lo sport, l’intrattenimento e gli argomenti di vita quotidiana non sono considerati sensibili).
  2. Civica, governo e legge, che fa riferimento a informazioni importanti per mantenere una cittadinanza informata e riguarda pertanto informazioni su voto, agenzie governative, istituzioni pubbliche, servizi sociali e questioni legali (come divorzio, custodia dei figli, adozione e così via).
  3. Finanza, per tutti i contenuti relativi a consulenza finanziaria o informazioni su investimenti, tasse, pianificazione pensionistica, prestiti, attività bancarie o assicurative, e in particolare per le pagine Web che consentono alle persone di effettuare acquisti o trasferire denaro online.
  4. Shopping, che raggruppa informazioni o servizi relativi alla ricerca o all’acquisto di beni / servizi, in particolare le pagine Web che consentono alle persone di effettuare shopping online.
  5. Salute e sicurezza, ovvero consigli o informazioni su problemi medici, farmaci, ospedali, preparazione alle emergenze, pericolosità di un’attività eccetera.
  6. Gruppi di persone (tema introdotto con l’aggiornamento di settembre 2019), per tutte le informazioni o affermazioni relative a gruppi di persone, inclusi ma non limitati a quelli raggruppati in base a razza o origine etnica, religione, disabilità, età, nazionalità, stato di veterano, orientamento sessuale, genere o identità di genere.
  7. Altro, macro-categoria per tutti gli altri argomenti relativi a decisioni importanti o aspetti importanti della vita delle persone che possono quindi essere considerati YMYL, come fitness e alimentazione, informazioni sull’abitazione, scelta di un college, ricerca di lavoro e così via.

La divisione dei contenuti del sito

Secondo le linee guida, le sezioni di un sito Web possono essere classificate in tre categorie principali:

  • Contenuto principale (o main content, MC): qualsiasi parte della pagina che aiuta direttamente la pagina a raggiungere il loro scopo.
  • Contenuto supplementare (o supplemental content, SC): contenuti aggiuntivi che contribuiscono alla buona esperienza dell’utente sulla pagina, ma non aiutano direttamente la pagina a raggiungere il suo scopo. L’esempio fornito dal documento sono i link di navigazione: un elemento essenziale per il sito, ma non necessario per soddisfare le esigenze dei visitatori.
  • Annunci (Ads): advertising o monetizzazione (Google Ads) sono contenuti e/o link che sono visualizzati in pagina allo scopo di monetizzare, ovvero ricevere soldi.

La facilità di accesso e il volume del main content fanno la loro parte nei calcoli sulla qualità della pagina: è ciò che aiuta il rater a valutare non solo se sono soddisfatte le esigenze/intenti, ma anche se e quanto è facile accedere al contenuto supplementare, se lo si desidera.

Il focus sull’E-A-T

La sezione relativa al paradigma EAT è una delle più complesse e discusse, e spesso anche i Googler sono intervenuti per fornire chiarimenti e indicazioni su questi parametri (come ad esempio Gary Illyes nell’articolo linkato).

Il primo punto da comprendere è che Expertise, Authoritativeness, Trustworthiness, le sigle di EAT (in italiano Esperienza, Autorevolezza, Affidabilità) non sono fattori di ranking su Google.

Sono i parametri che i quality rater cercano e utilizzano per orientarsi nella valutazione dei siti Web e per capire se i sistemi di Google funzionano bene nel fornire buone informazioni, ma non fanno parte di alcun algoritmo.

Il funzionamento è quindi il seguente: i rater usano i principi EAT per giudicare i siti Web e Google utilizza le loro valutazioni per regolare il suo algoritmo. Quindi, alla fine l’algoritmo si allineerà ai principi EAT, che possono esserci utili come principio guida nella progettazione del sito, nella creazione di contenuti e nel supporto ai segnali esterni.

Non c’è una ottimizzazione specifica che possiamo fare per questi parametri, ma possiamo comunque lavorare per migliorare il modo (complesso) in cui Google vede, interpreta e valuta il nostro sito e le nostre pagine.