Come funziona il Googlebot?

Googlebot è un Robot di esplorazione (User-Agent). Questi robot sono soprannominati «Web crawler» o «SEO spider», analizzano e recuperano risorse su pagine web. Sebbene sia un semplice programma informatico, la conoscenza del suo funzionamento si rivela cruciale in materia di posizionamento organico.

In italiano, «crawl» può tradursi con «camminare a quattro zampe / strisciare», e rappresenta il modo in cui Googlebot percorre le pagine del World Wide Web.

Il ruolo dello Spider SEO di Google

A partire da un repertorio di URL già percorso (già crawlato) e completato dai dati Sitemap dei webmaster (schema di struttura di un sito), il suo ruolo è:

• Percorrere e scaricare i dati di ogni sito Web spostandosi di link in link, da una pagina all’altra.

• Determinare quale sito visitare, quando e quante pagine sono legate a quest’ultimo.

• Repertoriare tutti i nuovi domini da indicizzare nei motori di ricerca, gli aggiornamenti dei siti, i link verso le URL e verso le immagini, i link morti.

• Usa poi questi dati per aggiornare l’indice Google, oltre ad aggiungerli all’elenco di URL visto in precedenza.

Da notare che l’indice del motore di ricerca Google è il repertorio di miliardi di siti Web messi a disposizione degli utenti. Ogni nuovo contenuto deve essere indicizzato per essere visibile dalla SERP (Search Engine Results Pages o pagina di risultati di ricerca). L’indicizzazione è quindi il fatto di rendere un contenuto (dominio, sito Web, pagina, articolo, ecc.) accessibile per gli utenti dai risultati di ricerca. Googlebot non fa che passare, non legittima in nulla i contenuti che repertoria, è il ruolo dell’indice Google.

Questo programma informatico rappresenta il punto di partenza del posizionamento organico dei siti Web, è la prima tappa dell’apparizione di un contenuto su un motore di ricerca. Il robot opera in modo simultaneo, e nello spazio di alcuni secondi, da computer vicini al sito server. Questo modo di operare permette di non perdere in prestazione, in portata, ma soprattutto di non ostruire la banda passante dei server analizzati. Sono circa un milione di server impiegati per percorrere (crawlare) internet, l’IP di un robot non è quindi fissa.

Esperienza utente, frequenza e budget di crawl

L’User-Agent mette un punto d’onore sull’esperienza utente

Il robot esplora un sito alla maniera di un utente secondo una frequenza che determina lui stesso (secondo la popolarità del Suo sito, secondo le Sue scelte tecniche, ecc.). Farà sempre in modo di non compromettere l’esperienza utente. Il robot testerà allora il sito e determinerà un limite alla «frequenza di crawl» (cioè quanti PC effettueranno un crawl in simultanea e il tempo di attesa tra due iterazioni) in funzione di:

• La connessione server, se il sito risponde in fretta durante un periodo consistente, il suo limite aumenterà. All’inverso se il sito mette tempo a rispondere o al minimo errore di server, il suo limite diminuirà.

• Il limite di crawl applicato dai webmaster dalla Search Console. Da notare che se lo aumenta, il crawl non si intensificherà necessariamente dato che Googlebot parametrizza lui stesso le sue azioni.

Un budget di crawl da prendere alla leggera

Il budget di crawl è la combinazione tra la frequenza di esplorazione e la quantità di risorse di crawl. La quantità di risorse messa a disposizione per un’esplorazione rappresenta il numero di connessioni simultanee verso un’URL e il tempo di pausa tra due visite.

In molti casi, un sito Web è osservato il giorno della sua messa online. Google afferma che il budget di crawl è da prendere alla leggera.

Più risorse saranno messe a disposizione per un sito:

• Popolare, allo scopo di tenerlo aggiornato nell’indice Google.

• In migrazione visto il numero consistente di URL da indicizzare.

• Suscettibile di diventare obsoleto. Google predica l’esperienza utente, desiderando così deindicizzare i siti abbandonati.

Secondo Google, se il Suo dominio comporta meno di diverse migliaia di URL allora sarà crawlato in modo efficace. All’inverso, per i siti o pagine non coinvolti in alcuna domanda di indicizzazione, Googlebot restringerà le sue capacità di crawl, anche se il suo limite non è raggiunto.

Se nel Suo caso si tratta di un sito importante allora occorre misurare la sua capacità a essere percorso (crawl), cioè quante volte e quali risorse sono messe a disposizione per il crawl. Infatti, secondo la frequenza di crawl, il Googlebot occuperà una porzione più o meno importante della banda passante del Suo server Web, è quindi importante conoscerne la frequenza in funzione del Suo traffico.

Definisca Lei stesso le azioni di Googlebot

Google usa numerosi User-Agent come Googlebot per agire sul Web. È possibile indicar loro la marcia da seguire, dia un’occhiata all’elenco dei diversi User-Agent:

Fonte: https://support.google.com/webmasters/answer/1061943?hl=fr&ref_topic=4610900

Esistono allora tre modi di dare loro direttive:

Prenda conoscenza del file Robots.txt

È possibile indicare a un User-Agent di bloccare il suo passaggio sul Suo sito, ma il semplice fatto di bloccare Googlebot dal file robot.txt equivale a bloccarli tutti.

Queste due prime righe gli danno un accesso totale, al contrario delle due seguenti.

Infine, Gli indica l’ubicazione dei dati Sitemap.

Se n’è parlato in precedenza, Googlebot repertoria tutti i link per poi seguirli e repertoriare tutto ciò che si trova sulla pagina. Detto ciò, può indicargli se deve seguire un link o no.

Una nota sul file robot.txt s’impone! È il file letto per primo da Google quando percorre (crawl) un sito, questo file è presente in cima alla cartella server e la sua ubicazione è determinante, se non è esattamente in cima allora non esiste agli occhi di Google.

Se il file robots.txt contenente le informazioni legate all’User-Agent è presente nel Suo server, ciò aumenterà la Sua credibilità in materia di posizionamento. Tanto più che Google La penalizza se non ha questo file, con l’annotazione: «robots.txt – file not found».

Nota importante: i link attribuiti da «follow» o «nofollow» saranno repertoriati e visitati senza distinzione se non esiste un file robot.txt all’interno del server.

Le istruzioni HTTP X-Robots-Tag

Indichi ai robot di non indicizzare questa pagina dandogli comunque l’accesso al contenuto.

Può combinare più istruzioni.

Nota: se l’attributo index vi è stipulato, l’integralità del contenuto nonché le immagini saranno indicizzate.

I tag Meta

Come per l’«X-Robots-Tag», questi tag Meta danno l’ordine ai robot di percorrere e indicizzare o meno la Sua pagina.

Direttive per tutti gli User-Agent senza distinzione.

Non indicizzare le immagini presenti sulla pagina.

Dalla Search Console, può riferirsi alla pagina di errore di crawl, è qui che è annotato il minimo errore di crawl incontrato da Googlebot. Potrà così correggerli e andare avanti.

Sappia che il minimo errore penalizza il Suo posizionamento organico (SEO), quindi la Sua visibilità. Sebbene sia impossibile raggiungere zero errori, Google raccomanda di leggere questi report regolarmente. Peraltro il loro supporto pullula di informazioni, di consigli o ancora di strumenti sul tema del «crawl».

Googlebot è quindi il punto di partenza del Suo posizionamento organico, è così avveduto e produttivo interessarsene per una buona strategia SEO. La nostra agenzia SEO è costituita da esperti che analizzano ogni giorno il funzionamento del Googlebot e che possono accompagnarLa sui Suoi progetti SEO.