¿Qué es el Crawl Budget?
Antes de que conozcas qué es el «crawl budget», creo importante definir qué es un «crawler», para que así lo comprendas todo mejor.
El crawler no es más que un software, cuyo cometido principal es el de explorar y analizar todas las Webs y sus correspondientes URL’s de manera automática.
En ocasiones, dentro del ámbito del SEO, lo escucharás bajo el nombre de «araña«.
¿Qué es el «crawl budget»?
El «Crawl Budget» es el presupuesto de tiempo de rastreo que invierte el crawler o araña de Google en rastrear un sitio Web determinado, mediante el cual analiza todo el contenido presente en ella.
Cuando digo todo el contenido, me refiero a todo lo que esté bajo ese dominio de Internet: imágenes, textos, enlaces internos, vídeos, etc. Por ello, podrás deducir de esta definición que se trata básicamente de la cantidad de tiempo que pasa Google dentro de tu Web o blog.
Dicho esto, puede estar preguntándote en qué interviene de cara al SEO que esta cantidad de tiempo sea mayor o menor. Si aún no acabas de aclararte con este término, a continuación te lo analizo más detalladamente:
¿Por qué asignan crawl budgets a los sitios Web?
Probablemente, aunque hayas entendido su significado, te explicaré el sentido que tiene la asignación de este tiempo de rastreo.
Simplemente, es debido a que Google no dispone de recursos ilimitados y, dada la cantidad de sitios que hay hoy en día en Internet (y los que se crean cada día), no puede mantener la atención sobre las mismas Webs.
Por tanto, debe distribuir su tiempo productivo conforme a este criterio, para que sus «arañas» tengan unas directrices claras de cuánto merece la pena quedarse en cada uno de estos sitios.
En otras palabras, el crawl budget marcará las prioridades a la hora de visitar todas estas páginas.
Éstas pueden ser del tipo tiendas Online o marketplaces con bastantes años de andadura profesional. Por ello, si tienes un blog o Web corporativa con pocos meses, no deberías tener demasiados motivos para preocuparte por ello.
¿Por qué es tan importante para el SEO tener un crawl budget alto?
Anteriormente dijimos que lo ideal para un site es que este factor de medida en Internet debía ser cuánto más alto posible mejor, para que así beneficie a nuestro posicionamiento orgánico.
Algunas de las razones son:
» Indexar nuestro contenido más rápidamente
Teniendo en mente que tenemos un blog donde periódicamente publicamos contenidos nuevos, es evidente que pretendemos que Google Bot los posicione cuanto antes mejor.
A partir de ahí, le damos la posibilidad al buscador que analice nuestro contenido, lo valore y, en consecuencia, nos otorgue un mejor o peor Posicionamiento SEO para las palabras clave que hemos trabajado.
Sin embargo, si el crawl budget es escaso, es muy probable que éste salga de nuestra Web antes de que logre indexar este nuevo contenido.
Por ello, al no indexarlo en el presente rastreo, deberemos esperar a que pase en la siguiente ocasión para poder posicionar el contenido de nuestro interés.
» Evitar que indexe contenidos copiados antes que el nuestro (original)
Otro de los motivos por los que nos interesa incrementar este factor es una consecuencia que, en más de una ocasión, ha dado algún disgusto a profesionales del Marketing Digital.
Se trata del «contenido duplicado«, algo que ninguno de los profesionales que generamos semanalmente artículos originales y de cierta calidad deseamos sufrir.
Por ello, si suponemos que tenemos un blog en el que hemos creado un post que aporta mucho valor y muy trabajado y, por tener un bajo tiempo de rastreo el Google Bot no lo ha detectado, otra Web puede comérselo.
Así, si la Web «plagiadora» tiene la suerte de que Google sí se lo indexe, su URL será la primera indexada para este contenido.
Por ello, cuando pase por nuestro contenido, al ver que éste es idéntico al anterior, entenderá que el nuestro es el duplicado.
