Crawling di un sito web: metodi e tecniche

In materia di posizionamento organico, si pongono diverse preoccupazioni. Si tratta tra le altre della struttura, del linking interno, della volumetria o ancora dell’alberatura del sito web.

Così, il crawl di una piattaforma resta un’operazione imprescindibile per ottimizzare il SEO (Search engine optimization) di un sito. Quali sono allora i metodi e le tecniche di crawl di un sito web?

Crawling di un sito: che cos’è?

Crawling significa letteralmente «scannerizzare». In altri termini, si tratta di estrarre un massimo di informazioni possibili da un sito web. Questa analisi permette così di conoscere perfettamente la struttura di un sito e di risolvere i suoi eventuali problemi. Per esempio, un’alberatura mal costruita, un linking interno inadeguato o ancora tag meta duplicati.

In altri termini, il software di crawler (o robot di indicizzazione) ricerca documenti su Internet. Così, questo designa l’esplorazione del web per automatizzare la navigazione. I motori di ricerca sono equipaggiati di robot di esplorazione in vista di assicurare l’indicizzazione; il più celebre resta Googlebot, quello di Google. Durante l’operazione, Googlebot percorre il contenuto del sito nonché i link presenti. In questo modo, questo programma informatico crea Sitemap. Questi ultimi facilitano il lavoro dei crawler. Oltre all’indicizzazione dei motori di ricerca, la ricerca di altre informazioni, in particolare i feed RSS, l’indirizzo e-mail figurano tra i compiti dei software di esplorazione.

Dopo l’analisi, il risultato è convogliato nel catalogo di Google, confermando la presenza del sito nell’indice dei motori di ricerca. Al contrario, questa presenza non implica un migliore posizionamento organico.

Queste procedure sono indispensabili per assicurare la pertinenza dei contenuti dei siti e così escludere gli URL inutili nelle banche dati. Inoltre, la presenza di alcuni tag, in particolare il tag «noindex», impedisce ai motori di ricerca di indicizzare la pagina del sito. Indicizzare solo una parte del proprio sito può essere opportuno, in particolare rispetto alla propria strategia di posizionamento organico.

Che cos’è il budget di crawl?

Il budget di crawl serve a designare il numero di pagine percorse da Googlebot. Così, ogni sito dispone del proprio budget, ma la quota riposa sul numero totale di pagine nonché sulla salute del sito web. Questo budget è disponibile nella Google Search Console.

Il numero di analisi sottolinea l’importanza di un file rispetto ad altri. Per fare questo, bisogna indagare sulla frequenza di analisi, identificare le pagine senza interesse per il robot e gli errori incontrati durante il suo percorso. Le saranno indispensabili software per una tale analisi che fa parte dell’audit SEO. Così Botify è uno strumento a pagamento che offre eccellenti rapporti. Da notare che questo strumento convenga ai siti di più di 10.000 pagine. Oncrawl è una soluzione meno cara e uno strumento in netto progresso. Infine Screaming Frog, esclusivamente in inglese, è uno strumento molto completo e performante.

I fattori di influenza del crawl

La tecnica di crawl funziona secondo diversi fattori diversi.

I link: i primi fattori di influenza del crawl

I siti web sono particolarmente numerosi su Internet. Eppure, alcuni approfittano di un migliore posizionamento rispetto ad altri. Inoltre, quello che si chiama netlinking, la strategia di link, costituisce in parte i fattori responsabili di questo posizionamento. Si tratta:

• Dei backlink che occupano un posto fondamentale nel piazzamento di una pagina; i backlink o i link in ingresso sono i link che puntano verso di essa. Provengono da siti esterni. Tuttavia, Google effettua una selezione dei backlink validi secondo la qualità e la fiducia, la prossimità, il modo di reindirizzamento nonché la situazione del link nel sito fonte.

• Del linking interno che figura tra i fattori di influenza del crawl. Sono i link che puntano verso lo stesso sito. Questi link interni favoriscono non solo il SEO di un sito web, ma mantengono anche gli utenti attivi nel sito reindirizzandoli verso informazioni complementari.

Il contenuto: un elemento maggiore nella tecnica di crawl

È d’uso dire che il contenuto è re («Content is king»). Effettivamente, gioca un ruolo maggiore, tanto nel SEO quanto nel crawl. Diversi elementi occupano un posto maggiore in questa operazione:

• Il nome di dominio è capitale, perché i nomi di dominio che approfittano di un migliore posizionamento generano un tasso di crawl elevato. È di conseguenza primordiale scegliere il buon nome di dominio.

• La Sitemap è un file XML che prende in carico l’indicazione degli elenchi degli URL da indicizzare. Questo file è usato con tutti i CMS per informare Google degli aggiornamenti del sito.

• Il duplicate content figura tra i responsabili di un cattivo crawl se non di una penalità dei motori di ricerca, come Google che ne ha fatto una delle sue priorità.

• Gli URL canonici sono indispensabili per assicurare un migliore crawl e un migliore posizionamento del sito. Si tratta del tag «rel canonical» che precisa il contenuto originale di un sito in caso di contenuto duplicato.

• I meta-tag consistono in un tag HTML usato per inserire parole chiave invisibili per gli internauti, ma accessibili ai motori di ricerca. Queste parole chiave ottimizzano il posizionamento organico di un sito.

Come effettuare il crawl di un sito web?

Per effettuare il crawl di un sito web in modo impeccabile, è possibile optare per diversi metodi: il «Cell text» o il «Follow mode».

Primo metodo: il «Cell text»

In un primo tempo, si colleghi alla Sua interfaccia Google Search Console. Poi, apra la Sitemap esistente. In assenza di Sitemap preesistente, ne crei una nuova. Clicchi sull’opzione «Import/Export» sopra la Sitemap. Scelga l’opzione Import, poi inserisca l’URL del Suo sito nel campo vuoto situato sotto l’iscrizione «Use an existing site». Clicchi poi sulla scheda «Use File/Directory» per visualizzare il nome di un file e di una directory nell’etichetta della Sitemap. Così, l’URL sarà usata come un percorso di accesso in quanto cell text. Poi, clicchi su «Use H1» per includere un’intestazione nell’etichetta della Sitemap. Clicchi poi su «Use page title». Per finire, spunti l’opzione «Exlude common text pages on import» per scartare gli URL contenenti testi duplicati.

Secondo metodo: il «Follow mode»

Dopo essersi collegato alla Sitemap, clicchi sui domini e sottodomini da esplorare. Se desidera effettuare il crawl unicamente dei domini più pertinenti, selezioni «Domain only». Clicchi poi su «Domain and directory path only» se desidera restringere l’accesso ad alcuni domini specifici. Poi, clicchi su «Add link» per integrare un URL, poi su «Add meta description note» per includere alcune note nella parte meta description.

Definisca un numero di URL da importare nel campo vuoto situato sotto l’iscrizione «Limit number of pages». L’opzione Omit directory esclude le directory specifiche da evitare durante il crawl. La directory è accompagnata da una stella (*) se questi elementi includono sotto-directory. Per finire, clicchi su Import.

L’importanza del crawl nella Sua strategia

Crawlerizzare il proprio sito web è particolarmente utile, tanto per l’indicizzazione sui motori di ricerca quanto per la strategia SEO.

Il ruolo del crawl nell’indicizzazione del sito

Il crawl di un sito è un elemento determinante per la sua classifica nei risultati organici di Google. Così, impedire ai robot di esplorazione di effettuare il crawl del Suo sito sopprime le chance di ottenere una visibilità all’interno della SERP (risultati di ricerca Google).

A questo titolo, Google ha affermato che Googlebot resta in grado di sfruttare i file JavaScript e CSS e così di piazzare il Suo sito nel suo indice. Inoltre, la firma americana è capace di analizzare il DOM o «Document object model» (modello di un sito interpretato dal browser a partire dal codice fonte) di un URL. I segnali SEO nel DOM sono esplorati e indicizzati. In alcuni casi, questi segnali possono essere oggetto di una contraddizione nell’HTML. Fortunatamente, questo piccolo problema è in corso di risoluzione.

Il ruolo del crawl nella strategia SEO

Effettuare il crawl di un sito Internet si rivela oggi capitale per condurre un audit SEO. Infatti, il crawl permette di mettere in evidenza i miglioramenti strutturali da apportare a un sito web. Questa operazione conferma anche le azioni da intraprendere per ottimizzare il sito. Il crawl svela la struttura del sito, l’accesso alle pagine, le fonti dei problemi, la volumetria (numeri e categorie di pagine), il numero di link di ogni URL, la durata di caricamento, la profondità delle pagine (definita dal linking interno), i codici fonte, gli URL pertinenti e inutili nonché la presenza e il tasso di duplicate content.

Così, scoprire queste principali fonti di imperfezioni permette di anticipare le soluzioni. Inoltre, un crawl regolare assicura la salute del sito web. Questa operazione proposta dalla nostra agenzia SEO offre informazioni utili sui concorrenti e permette di adattare i propri contenuti di conseguenza.