Che cos’è il crawl budget SEO per Google?

Il crawl budget è un concetto chiave della SEO. Tuttavia, molti faticano a capire che cosa si nasconda davvero dietro di esso… e per questo lo trascurano. Eppure, tenere conto della sua esistenza per ottimizzare il proprio sito di conseguenza è MOLTO importante, per non dire fondamentale!

In questo articolo, la nostra agenzia SEO Le propone di affrontare il concetto di crawl budget nella SEO: che cos’è un crawler, come funziona il Googlebot, la riserva di crawl… Al termine di questa lettura saprà tutto sul crawling e avrà tutte le chiavi per ottimizzare il Suo crawl budget. Cominciamo!

Che cos’è un crawler?

Come suggerisce il nome, la missione principale di un crawler, chiamato anche robot di indicizzazione, è quella di esplorare un sito web. Ma che cosa significa esattamente?

Tutti i siti accessibili tramite il motore di ricerca Google sono stati prima sottoposti a crawling, ovvero un robot è passato da lì per percorrere il sito e analizzarne i contenuti. Senza l’esistenza di questi robot, Google non sarebbe l’inesauribile miniera di informazioni che conosciamo oggi e che utilizziamo quotidianamente.

Navigando di link in link, i Googlebot esplorano costantemente il web, 24 ore su 24, 7 giorni su 7. Questi piccoli software autonomi sono sempre alla ricerca di nuovi contenuti e di aggiornamenti. Il loro obiettivo? Indicizzare nuove pagine e aiutare il motore di ricerca a organizzarle in base alla loro qualità e al loro grado di pertinenza.

Esistono diversi tipi di crawler di Google per coprire ogni ambito:

• ricerca,
• mobile,
• annunci,
• immagini,
• video…

Presentazione di Googlebot

I robot di indicizzazione dell’azienda di Mountain View sono più comunemente chiamati “Googlebot”. Ogni motore di ricerca dispone dei propri strumenti: Bingbot per Bing, Slurp per Yahoo!, Baiduspider per Baïdu…

Con una quota di mercato di quasi il 93%, Google si trova in una situazione di quasi monopolio a livello mondiale.

Fonte: Webrankinfo

Capire come funziona Googlebot è oggi essenziale per chiunque voglia far indicizzare il proprio sito e ottenere visibilità su internet! Come funziona, quindi?

La missione principale di Googlebot è esplorare il web, sia partendo da una directory di URL già noti, sia dai dati presenti nelle sitemap, sia saltando di link in link. Per vedere come Googlebot visita le diverse parti del Suo sito web, può utilizzare il celebre file robots.txt. È sempre tramite questo file che può indicare gli URL da non indicizzare.

In seguito al passaggio di un Googlebot, la pagina percorsa, o esplorata, viene indicizzata, ovvero si posiziona sulla SERP. Da quel momento diventa visibile e quindi accessibile agli utenti dal motore di ricerca. Attenzione però a non confondere indicizzazione e ranking: il Googlebot si limita a visitare ed elencare le pagine, mentre il posizionamento di queste pagine sulla SERP non dipende da lui, ma piuttosto da un insieme di criteri di posizionamento SEO enunciati da Google.

Che cos’è il crawl rate limit?

Esplorare un sito web mobilita una certa quantità di risorse sul server. Così come un numero elevato di visitatori presenti contemporaneamente su un sito sovraccarica il server e può incidere sulle prestazioni del sito, anche un crawling eccessivo da parte dei Googlebot può rappresentare un ostacolo. Per questa ragione Google definisce per ogni sito un limite alla frequenza di crawling: il robot visita un certo numero di pagine alla volta, non di più. Questo serve a non compromettere le prestazioni di caricamento e, di conseguenza, la qualità della navigazione dei visitatori “reali”.

Che cos’è una crawl request?

Effettuare una crawl request, ovvero una richiesta di esplorazione, può essere utile nel caso in cui una pagina sia stata aggiunta di recente o siano state apportate nuove modifiche a un sito.

Se non effettua una crawl request, significa che dovrà attendere pazientemente il passaggio del Googlebot. E questo può richiedere diversi giorni, o diverse settimane, a seconda del tipo di sito e della frequenza abituale di passaggio del robot.

Aggiornati molto frequentemente, i media, i siti di notizie a caldo e i marketplace vengono esplorati più volte al giorno dai robot. Ma questo è ben lungi dall’essere il caso di tutti i siti!

Per avere visibilità sullo stato di esplorazione delle Sue pagine, lo strumento Search Console Le sarà di preziosa utilità. È disponibile anche uno strumento di ispezione degli URL.

Per inviare una crawl request a Google, ha due possibilità:

• inviare direttamente un URL all’indice, ideale nel caso di un numero ridotto di link da esplorare,
• inviare una sitemap completa, che è la migliore alternativa per richiedere l’esplorazione di un sito web o di un gran numero di URL.

Che cos’è una riserva di crawl budget?

Per comprendere meglio il concetto di “riserva di crawl budget”, è importante capire che ogni sito dispone di una certa risorsa in funzione della sua notorietà, della sua importanza, della sua frequenza di aggiornamento, del numero di pagine che contiene… Diversi criteri vengono presi in considerazione.

Se il Suo sito presenta pagine in errore 4XX o molti contenuti obsoleti, sappia che una parte del crawl budget dedicato al Suo sito viene quindi consumata nell’esplorazione di queste pagine. Ciò implica che i Googlebot passeranno del tempo a esplorare queste pagine, che si rivelano inutili. E mentre sono occupati a farlo, non visitano altre pagine, senza dubbio più interessanti e strategiche per il Suo brand. Nulla di meglio per sprecare inutilmente il Suo crawl budget…

Anziché cercare di massimizzare il numero di URL esplorati da Google, si concentri piuttosto su tutte le pagine esplorate inutilmente. Nel loro insieme, questi URL costituiscono con certezza una riserva di crawl budget non trascurabile che sarebbe interessante sfruttare!

Che cosa può rallentare il crawling di Google?

Diversi elementi influenzano direttamente o indirettamente la frequenza di crawling dei robot di Google. La sfida consiste nell’individuare rapidamente quelli che incidono direttamente sul Suo sito, per intervenire in fretta.

Tra i più frequenti troviamo:

• le crawler trap, in italiano “trappole per crawler”. Questi problemi, più o meno rilevanti, di struttura del sito sono spesso chiamati in causa e possono ostacolare seriamente la Sua SEO. Rallentano notevolmente il lavoro dei crawler, ad esempio nel caso in cui esista un numero infinito di URL non pertinenti. I robot si perdono allora negli abissi dell’architettura e delle pagine del Suo sito anziché convergere verso le Sue pagine strategiche. La navigazione a faccette o gli URL parametrabili generati automaticamente ne sono buoni esempi. Ecco un bell’esempio di spreco di crawl budget!
• la frequenza di aggiornamento del sito. Immaginiamo che i Googlebot siano abituati a passare 4 volte a settimana sul Suo sito e trovino sempre nuovi contenuti da indicizzare. Se all’improvviso smette di aggiornare il Suo sito, i robot continueranno a visitarlo ma non constateranno alcun aggiornamento nel corso delle loro visite. Dopo diverse visite infruttuose, prenderanno l’abitudine di venire a esplorare il Suo sito meno spesso. Al contrario, l’aggiornamento regolare dei contenuti può in un certo senso “dare una spinta” al crawling del Suo sito su questa pagina.
• il tempo di caricamento del sito. Un sito lento vedrà esplorate solo alcune delle sue pagine a ogni passaggio di un crawler, mentre un sito performante vedrà aumentare la propria frequenza di esplorazione.
• i redirect e i loop di redirect. Veri e propri vicoli ciechi per i robot, questo tipo di link spreca molto crawl budget per nulla!
• un livello di architettura troppo complesso e profondo. Questo tipo di problema implica che vengano visitate pagine poco pertinenti, mentre quelle più interessanti no…
• una cattiva paginazione. Su un forum, ad esempio, la visita di un robot alle pagine 2, 3, 4, 5 non è necessariamente utile!
• un numero eccessivo di caricamenti di script JavaScript. Lungo e faticoso per i server, il crawling del codice JavaScript richiede il recupero di tutte le risorse e si rivela un vero e proprio pozzo senza fondo per il crawl budget…
• i contenuti duplicati. Se il Suo sito contiene contenuti duplicati interni, il Suo crawl budget si consuma da solo perché il robot passerà più volte sullo stesso contenuto… Così come i contenuti di bassa qualità, come le FAQ, consumano inutilmente crawl budget…
• il Mobile First. È importante confrontare il passaggio del Googlebot dedicato al mobile con quello dedicato al desktop. Una sola parola d’ordine, più che mai: pensi Mobile First!

Anche una sitemap inesistente o non aggiornata nonostante i cambiamenti avvenuti sul sito può essere all’origine di un rallentamento del crawling di Google.

Perché dovrebbe preoccuparsi del crawl budget?

Per alcuni webmaster ed esperti SEO, il crawl budget non merita che ci si soffermi a lungo. Per altri, questo elemento richiede un’attenzione particolare. Come stanno davvero le cose?

Considerata la quantità astronomica di pagine presenti su internet, i crawler sono costretti a concedere a ciascun sito web una risorsa di esplorazione predefinita e, soprattutto, non estensibile. Eh sì, ce ne vuole per tutti! Desidera che il Suo sito, e più precisamente le Sue pagine strategiche, vengano indicizzati rapidamente? Allora pensi a ottimizzare il Suo crawl budget.

Per constatare gli effetti benefici dell’ottimizzazione del Suo crawl budget, la tecnica è semplice: confronti il numero di nuove pagine esplorate prima e dopo l’ottimizzazione.

Quanti URL del mio sito vengono esplorati ogni giorno?

Per conoscere con precisione il numero di URL esplorati da Google, l’analisi dei file di log è il metodo più infallibile, e non a caso: permette di sapere quale immagine del Suo sito viene restituita ai motori di ricerca. Questa analisi consente tra l’altro di raccogliere informazioni quali le pagine, le categorie e le parti del sito esplorate, la frequenza di crawling e le informazioni ricevute su queste diverse pagine.

Come spesso accade, anche la celebre Search Console Le fornirà informazioni molto importanti sul crawling del Suo sito.

Preferisce studiare il crawling delle Sue pagine una per una? Lo strumento di ispezione degli URL presente in Search Console sarà il Suo migliore alleato! Il feedback dello strumento sulla pagina in questione Le offrirà una panoramica delle aree di miglioramento da perseguire.

Come ottimizzare il Suo crawl budget?

Alla luce di tutti gli elementi illustrati in precedenza in questo articolo, esistono diverse tecniche che, combinate, permettono di migliorare in modo significativo il proprio crawl budget. In un’ottica di ottimizzazione SEO, è opportuno riflettere su come risparmiare questa preziosa risorsa che è il crawl budget.

Identificare le pagine che consumano inutilmente crawl budget

Su quasi tutti i siti, numerose pagine vengono esplorate dai robot pur non avendone bisogno. Questo spreco di crawl budget ostacola anche le prestazioni SEO del sito.

Tramite Search Console può vedere il numero di pagine che vengono esplorate ma non indicizzate. Questo dato offre una prima panoramica del crawl budget che potrebbe essere dedicato ad altre pagine più importanti e strategiche. Ma è davvero grazie all’analisi dei log che potrà conoscere con precisione il volume di crawl budget sprecato. La tecnica consiste nel confrontare il numero di pagine esplorate con il numero totale di pagine del sito, per individuare:

• quale percentuale del sito viene esplorata?
• quali sono le pagine strategiche per la Sua SEO che non vengono esplorate?
• quali pagine consumano inutilmente crawl budget?

Fonte: Screamingfrog

Orientare il Googlebot verso le pagine strategiche

Se la struttura del Suo sito deve essere concepita prima di tutto per l’utente, trascurare il comportamento e le aspettative dei robot di esplorazione sarebbe un errore.

Facilitare il passaggio dei robot sulle pagine pilastro del Suo sito è un modo eccellente per accelerarne l’indicizzazione. Le azioni da compiere per raggiungere le pagine in questione devono essere limitate a un massimo di 3.

Anche la qualità della struttura di link interni sarà determinante per il percorso dei robot. Per questo motivo, le pagine che beneficiano di numerosi link non devono essere scelte a caso.

Fonte: Oncrawl

Verificare la precisione del file robots.txt

Per evitare un consumo inutile di crawl budget, è importante indicare tramite il file robots.txt tutti gli URL da non esplorare. Bloccare determinati URL consente di reindirizzare automaticamente il crawling verso pagine utili.

Tutte le pagine che contengono il tag non vengono indicizzate, ma vengono comunque esplorate. Non esiti a dare un’occhiata a tutte queste pagine non indicizzate di proposito e, se necessario, a sottrarle ai robot di esplorazione.

Per ottimizzare il Suo crawl budget, deve assolutamente conoscere le pagine che vengono visitate dai robot e quelle che non lo sono. Se il Suo sito non viene esplorato regolarmente dai Googlebot, ciò implica senza dubbio che molte delle Sue pagine non vengono esplorate e non sono di conseguenza né indicizzate né posizionate… Quindi invisibili per gli utenti di internet: un’enorme perdita di traffico! Il Suo posizionamento sulla SERP ne risulta pertanto influenzato negativamente.

Una situazione frequente, e piuttosto fastidiosa per la Sua SEO, è che i robot indicizzino una quantità eccessiva di pagine di qualità media o bassa.

Per riassumere, le 3 regole d’oro da ricordare assolutamente per ottimizzare il Suo crawl budget sono:

• contenuti unici, originali e pertinenti,
• aggiornamenti molto regolari del Suo sito,
• una velocità di caricamento ottimale delle Sue pagine.

Desidera avvalersi dell’esperienza della nostra agenzia SEO per ottimizzare il Suo crawl budget e il Suo posizionamento naturale? Non esiti a contattarci!