fbpx

In questo articolo parleremo di un argomento ostico quanto tecnico. Di crawl budget non se ne parla tantissimo poiché è un argomento che riguarda più gli addetti ai lavori per la SEO che l’utente finale ed è uno degli argomenti più tecnici e di frequente fraintendimento che si possa trovare nel campo.

In poche parole Google si occupa di tracciare e scansionare i siti alla ricerca di nuove pagine e contenuti, per poi immagazzinarli all’interno del suo database e mostrarlo poi tra i risultati di ricerca. Per fare questo procedimento si avvale del suo Google Bot, un “programmino” che cerca, attraverso la mappa .XML del sito e sfruttando i collegamenti interni, modifiche e l’inserimento di nuovi contenuti sul sito, per aggiornare i dati già in suo possesso.

Avere un sito con molte pagine e contenuti a volte anche datati, richiede tempo e molte risorse e quando il Bot si accorge di utilizzarne troppe o di impiegare troppo tempo per la scansione di un sito, può passare oltre o identificare quel sito come non ottimizzato, risultando in una penalizzazione per il sito stesso.

Da qui l’esigenza per chi fa analisi SEO di scoprire come ottimizzare il crawl budget e come studiare la giusta strategia per rendere la navigazione fluida anche per il Google Bot. Ma vediamo nello specifico cos’è e come ottimizzare il crawl budget.

COS’E’ IL CRAWL BUDGET?

Per dare una definizione ed un esempio del crawl budget di Google, possiamo dire che esso è il numero di volte in cui Google scansiona il nostro sito. Se ad esempio avessimo 20 pagine, avremmo a disposizione un crawl budget di 300 al mese. Cioè Google scansionerebbe il tuo sito per 300 volte al mese per vedere se ogni volta ci sono contenuti nuovi o aggiornati.

Questo può essere poco importante per un sito dai contenuti statici, come ad esempio un sito vetrina o un piccolo sito aziendale, ma diventa vitale per chi gestisce un blog che pubblica frequentemente contenuti o per un E-Commerce con centinaia di prodotti al suo interno.

COME MONITORARE IL CRAWL BUDGET

Per sapere come ottimizzare il crawl budget bisogna prima scoprire come monitorarlo, in modo da sapere con precisione quali contenuti non funzionano o quali contenuti hanno del potenziale e che potrebbero di conseguenza portare più traffico di quanto già non ne stia facendo.

Per monitorare il crawl budget e le varie scansioni di Google Bot possiamo utilizzare Google Search Console, lo strumento di Google per monitorare il nostro sito, le sue scansioni, quali contenuti sono i più visitati e tante altre funzioni che spiegheremo in futuri articoli.

Report di scansione di Google Search Console

Esistono anche altri software che permettono di monitorare il crawl dei bot sul nostro sito ma Search Console è sufficiente nella maggior parte dei casi e riesce perfettamente a farci capire su quali contenuti e pagine possiamo andare a lavorare per migliorare ancora di più le statistiche.

COME OTTIMIZZARE IL CRAWL BUDGET ALLORA?

Ottimizzare il crawl budget rientra nell’attività che il SEO fa in ambito di ottimizzazione, analisi e strategia. Si possono effettuare anche operazioni complesse su contenuti specifici, come ad esempio quello di veicolare traffico verso articoli che vengono visualizzati spesso o centrali del nostro blog o verso uno specifico prodotto del nostro E-Commerce.

In ogni caso, se avete deciso di affidare l’ottimizzazione del vostro sito ad un esperto SEO, si possono adottare degli accorgimenti per risolvere dimenticanze o errori di codice effettuati in fase di realizzazione e progettazione del sito stesso.

Controllare il file Robots.txt

La prima cosa da fare è escludere dal crawling le aree private e le pagine di poco valore, dato che non portano abbastanza traffico da essere considerate di valore per il nostro sito web.

Per deindicizzare queste pagine possiamo utilizzare il meta tag “noindex” che serve proprio a far capire a Google che quelle pagine non sono interessanti e che possono essere lasciate fuori dal crawling, andando quindi a risparmiare budget.

Ovviamente bisogna fare attenzione a non inserire all’interno del noindex lo stesso file robots.txt altrimenti Google non capirebbe quali sono le pagine da non indicizzare.

Controllare i link rotti.

Specialmente nei siti di grandi dimensioni c’è bisogno che la struttura di link interni funzioni e che sia perfettamente collaudata. Una singola pagina “rotta” può comportare perdita di crawl budget e la mancata scansione di pagine che potrebbero essere molto più importanti, come ad esempio quelle delle categorie!

Di solito queste pagine riportano il codice HTML 404 quando si provano ad aprire, oppure 503, specialmente quando dei plugin entrano in contrasto con la configurazione di una pagina.

Per monitorare e dare la caccia ai link rotti possiamo utilizzare svariati programmi come ad esempio Screaming Frog, che fa un crawl totale del nostro sito e ci restituisce anche il totale delle pagine con codice 404 o 503.

Ma è possibile utilizzare anche plugin (se il nostro sito è stato realizzato con il CMS WordPress) che ci segnalano tramite una e-mail, i link rotti all’interno del nostro sito, dandoci anche la possibilità di correggerli effettuando un redirect.
Stiamo parlando di WP Broken Link Status Checker, plugin utile per le caratteristiche sopra citate ma che dall’altra parte consiglio solo se il sito si appoggia su un hosting performante, in quanto effettuando continue scansioni, le risorse richieste sono molte e di conseguenza c’è bisogno di avere alle spalle un ottima performance da parte del server.

Utilizza una buona struttura perla tua Sitemap.

Spesso, quando si invia una sitemap, capita di vedere incluse al suo interno anche pagine di aree private, archivi o pagine che non hanno la necessità di essere indicizzate. La prima cosa da fare è quindi impostare il file robot.txt in modo che escluda queste pagine.

Se poi non ti senti sicuro, non sai dove iniziare a mettere le mani per configurare correttamente questo file, è possibile utilizzare il plugin Yoast SEO, il quale, oltre a creare per te la sitemap, ti da la possibilità di scegliere quali articoli inserire all’interno della sitemap e quali contenuti escludere.

CONCLUSIONI

Queste sono le principali cose delle quali dovresti preoccuparti quando stai progettando come ottimizzare il crawl budget. Ricordati quindi di:

  • Controllare e configurare bene il file robot.txt
  • Controllare i link rotti del sito e correggerli con un redirect 301
  • Realizzare una sitemap pulita, magari avvalendoti dell’ottimo plugin gratuito di Yoast SEO

Quello che mi sento comunque e sempre di consigliare quando si sta pensando di realizzare o effettuare un restyling di un sito web è di pensare anche di includere nel budget anche il servizio di ottimizzazione e SEO, altrimenti un sito bello da vedere rimarrà sempre e solo quello…bello e sconosciuto.

Utilizziamo i cookie per offrirti la migliore esperienza online e per attivare tutte le funzionalità del sito. Cliccando su "Accetto" aderisci alla la nostra politica sui cookie.

Privacy Settings saved!
Impostazioni

Quando visiti un sito Web, esso può archiviare o recuperare informazioni sul tuo browser, principalmente sotto forma di cookies. Controlla qui i tuoi servizi di cookie personali.

Questi cookie sono necessari per il funzionamento del sito Web e non possono essere disattivati nei nostri sistemi.

Per il corretto funzionamento del sito è necessario salvare questi cookie sul browser.
  • wordpress_test_cookie
  • wordpress_logged_in_
  • wordpress_sec
  • 1P_JAR
  • 1P_JAR
  • APISID
  • CONSENT
  • CONSENT
  • HSID
  • NID
  • SAPISID
  • SEARCH_SAMESITE
  • SID
  • SIDCC
  • SSID
  • __cfduid
  • __cfduid
  • _biz_flagsA
  • _biz_nA
  • _biz_pendingA
  • _biz_uid
  • _mailmunch_visitor_id
  • cfmrk_eucookiebanner
  • cfmrk_userLangRedirect
  • cookie_notice_accepted
  • mailmunch_second_pageview
  • mp_a36067b00a263cce0299cfd960e26ecf_mixpanel
  • optimizelyEndUserId
  • redux_current_tab
  • redux_current_tab_get

Rifiuta tutti i Servizi
Accetta tutti i Servizi