Google annuncia nuovi progetti per il robots.txt open source
È trascorso poco più di un anno da quando Google aveva annunciato la partenza del lavoro per definire uno standard ufficiale per il file Robots.txt: in questi mesi, la compagnia ha già rilasciato nel mondo open source il parser e il matcher robots.txt che utilizza nei suoi sistemi di produzione e, come spiega un articolo appena pubblicato sul blog per webmaster, ha “visto persone costruire nuovi strumenti con esso, contribuire alla libreria open source (migliorando efficacemente i nostri sistemi di produzione, grazie!) e rilasciare nuove versioni linguistiche come golang e rust, che rendono più facile per gli sviluppatori creare nuovi tool”.
Le ultime novità per il robots open source
Oltre a sintetizzare questo lavoro, il post mette in evidenza due nuove versioni relative a robots.txt che “state rese possibili da due stagisti che lavorano nel team di Search Open Sourcing, Andreea Dutulescu e Ian Dolzhanskii”, come ringraziamento a conclusione della intern season a Google.
Alla prima si deve il test delle specifiche di Robots.txt che è in fase di rilascio, mentre il secondo ha collaborato al Java robots.txt parser and matcher.
Che cos’è il Robots.txt Specification Test
Come detto, Andreea Dutulescu ha creato il framework di test per sviluppatori di parser robots.txt, attualmente in fase di rilascio, che rappresenta uno strumento di test in grado di verificare se un parser robots.txt segue il Robots Exclusion Protocol o in che misura. Attualmente, si legge nell’articolo, “non esiste un modo ufficiale e completo per valutare la correttezza di un parser, quindi Andreea ha sviluppato uno strumento che può essere utilizzato per creare parser robots.txt che stanno seguendo il protocollo”.