{"id":1006,"date":"2011-11-14T09:24:17","date_gmt":"2011-11-14T09:24:17","guid":{"rendered":"http:\/\/www.apprentalonline.es\/blog\/?p=1006"},"modified":"2011-11-14T09:24:17","modified_gmt":"2011-11-14T09:24:17","slug":"crawler-access-o-errores-de-rastreo-y-su-impacto-en-el-posicionamiento","status":"publish","type":"post","link":"https:\/\/www.k3bone.com\/blog\/2011\/11\/crawler-access-o-errores-de-rastreo-y-su-impacto-en-el-posicionamiento\/","title":{"rendered":"Crawler Access o errores de rastreo y su impacto en el posicionamiento"},"content":{"rendered":"<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter\" src=\"http:\/\/img163.imageshack.us\/img163\/2743\/robotstxt.png\" alt=\"Robots buscadores\" width=\"450\" height=\"254\" \/><\/p>\n<p>En la administraci\u00f3n de una web no s\u00f3lo se trata de ir actualizando art\u00edculos, modificar hojas de estilo o promocionarla. <strong>Administrar<\/strong> una web tambi\u00e9n es buscar posibles fallos, mejoras, etc &#8230;<\/p>\n<p>Una herramienta que suelo usar a menudo y que me adem\u00e1s nos aporta much\u00edsima informaci\u00f3n es <a title=\"Herramientas para webmaster de Google\" href=\"https:\/\/www.google.com\/webmasters\/tools\/home?hl=es\" target=\"_blank\" rel=\"noopener\">Google Webmaster Tool<\/a>.<\/p>\n<h3>\u00bfQu\u00e9 son los Crawler Access de Google?<\/h3>\n<p>Los <strong>Crawler Access de Google<\/strong> son los <strong>errores de rastreo<\/strong> que los robots de Google detectan cuando intentan acceder a una direcci\u00f3n URL pero no obtienen resultado, es decir, las p\u00e1ginas a las que accede y les devuelve un <strong>error 404<\/strong>.<\/p>\n<p>Adem\u00e1s de informar del error de rastreo tambi\u00e9n nos muestra el tipo de error, es decir, distingue entre los distintos problemas con las URLs:<\/p>\n<ul>\n<li>No se encuentra<\/li>\n<li>No se han seguido estas URL<\/li>\n<li>URL restringidas por <strong>robots.txt<\/strong><\/li>\n<li>URL caducadas<\/li>\n<li>Errores de HTTP<\/li>\n<li>URL inaccesibles<\/li>\n<li>Errores 404 leves<\/li>\n<\/ul>\n<h3>\u00bfC\u00f3mo solucionar las URLs con errores de rastreo?<\/h3>\n<p>Es probable que para el posicionamiento de tu p\u00e1gina en Google no afecte de manera directa, pero si podemos decir que hay que tener lo m\u00e1s limpia posible nuestra web de errores para que los motores de b\u00fasqueda no nos la jueguen con sorpresas en nuestros <strong>pagerank<\/strong> o situaci\u00f3n respecto a una palabra clave.<\/p>\n<p>Para solucionar este tipo de Urls con errores de rastreo y que nos dan un inesperado error 404 disponemos de 2 opciones que se usan generalmente:<\/p>\n<p><strong>1. Borrar las Urls con errores de rastreo desde Google Webmaster Tool<\/strong>.<\/p>\n<p>Lo primero que tenemos que hacer es acceder a nuestra cuenta en <a title=\"Herramientas para webmaster de Google\" href=\"https:\/\/www.google.com\/webmasters\/tools\/home?hl=es\" target=\"_blank\" rel=\"noopener\">Google Webmaster Tool<\/a> y dirigirnos a:<\/p>\n<p>Diagn\u00f3stico\/Errores de rastreo<\/p>\n<p><img decoding=\"async\" class=\"aligncenter\" src=\"http:\/\/img252.imageshack.us\/img252\/8103\/erroresderastreo.png\" alt=\"Errores de rastreo\" \/><\/p>\n<p>Tenemos varias pesta\u00f1as que nos dan informaci\u00f3n de URLs que no funcionan como deber\u00edan. En nuestro caso hemos elegido \u00abNo se encuentra\u00bb que son los <strong>errores 404<\/strong>.<\/p>\n<p>Para solucionar todos los errores, habr\u00e1 que hacer el mismo procedimiento con cada una de las URL que nos muestran.<br \/>\n<img decoding=\"async\" class=\"aligncenter\" src=\"http:\/\/img854.imageshack.us\/img854\/2464\/eliminarurl.png\" alt=\"Eliminar URL Google\" \/><\/p>\n<ul>\n<li>Copiar la URL<\/li>\n<li>Ir a Informaci\u00f3n del sitio\/Acceso a rastreadores y en eliminar URL pegar la que hemos copiado como pod\u00e9is ver en la imagen de arriba<\/li>\n<\/ul>\n<h3>2. Eliminar Urls con errores de rastreo con el fichero Robots.txt.<\/h3>\n<p>El <strong>fichero robots.txt<\/strong> es una archivo de texto donde podemos crear unas normas (que no siempre se cumplen al 100%) para los robots de b\u00fasqueda de los distintos buscadores. En el caso de Google este robot, ara\u00f1a spider, bot o indexador, como quieras llamarlo, se llama\u00a0<strong>GoogleBot<\/strong>.<\/p>\n<p>Estos robots est\u00e1n automatizados, y antes de entrar en una p\u00e1gina a \u00abcuriosear\u00bb verifican si tiene un archivo robots.txt, donde ver\u00e1 si se le est\u00e1 \u00abimpidiendo\u00bb el acceso a determinadas p\u00e1ginas.<\/p>\n<p>Entre las cosas que podemos lograr con este tipo de archivo podemos citar:<\/p>\n<ul>\n<li>Impedir acceso a robots determinados<\/li>\n<li>Reducir la sobrecarga del servidor<\/li>\n<li>Prohibir zonas<\/li>\n<li>Eliminar contenido duplicado<\/li>\n<li>Fijar mapas del sitio<\/li>\n<\/ul>\n<p>Como podr\u00e9is imaginar, a nosotros nos interesa ahora mismo la parte \u00ab<strong>Prohibir zonas<\/strong>\u00ab, donde le diremos al robot que no queremos que indexe las URLs que nos ha mostrado en el\u00a0<strong>Google Webmaster Tool<\/strong>.<\/p>\n<p>Para <strong>eliminar las URLs con errores de rastreo<\/strong>, tendremos que generar el fichero robots.txt si aun no lo tenemos o bien modificarlo. Ojo!!! para poder dar uso a este tipo de archivos, hay que tener acceso al directorio ra\u00edz de la web. Esto lo podemos hacer manualmente, pero Google nos proporciona una herramienta bastante intuitiva de <strong>Generaci\u00f3n de archivos robots.txt<\/strong>.<\/p>\n<p><img decoding=\"async\" class=\"aligncenter\" src=\"http:\/\/img18.imageshack.us\/img18\/5936\/eliminarurl2.png\" alt=\"Eliminar URL Google\" \/><\/p>\n<ol>\n<li>Como hemos hecho antes, nos vamos a la p\u00e1gina principal de <strong>Herramientas para webmasters de Google<\/strong> y accedemos al sitio al cual queramos generarle dicho archivo.<\/li>\n<li>En <strong>informaci\u00f3n del sitio<\/strong>, vamos a <strong>Acceso de rastreadores<\/strong>.<\/li>\n<li>Pesta\u00f1a <strong>Generar robots.txt<\/strong><\/li>\n<li>Seleccionamos acceso a todos los robots. <strong>Permitir todos<\/strong><\/li>\n<li>En especificar cualquier otra regla, indicamos Acci\u00f3n: Bloquear, User Agennt: GoogleBot, Directorios y archivos: URL que tengamos con errores de rastreo<\/li>\n<li>Una vez hemos creado todas las reglas (una por URL err\u00f3nea)<\/li>\n<li>Descargar el archivo y ponerla en la ra\u00edz de nuestra web, siempre con el nombre robots.txt<\/li>\n<\/ol>\n<p>Una vez tenemos todo listo, podemos comprobar si todo esta correcto en la misma p\u00e1gina pero haciendo clic en la pesta\u00f1a \u00abprobar robots.txt\u00bb.<\/p>\n<p>Utilizando una de estas dos opciones, tenemos una probabilidad muy alta de que GoogleBot no nos siga dando fallos de rastreo en las URLs que hemos arreglado.<\/p>\n<p><strong>Informaci\u00f3n Relacionada:<\/strong><\/p>\n<ul>\n<li><a title=\"Contrata nuestro servicio de posicionamiento SEO por s\u00f3lo 9,95\u20ac\/mes\" href=\"http:\/\/www.apprentalonline.es\/seo-posicionamiento.php\" target=\"_blank\" rel=\"noopener\">Contrata nuestro servicio de posicionamiento SEO por s\u00f3lo 9,95\u20ac\/mes<\/a><\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"<p>En la administraci\u00f3n de una web no s\u00f3lo se trata de ir actualizando art\u00edculos, modificar hojas de estilo o promocionarla. Administrar una web tambi\u00e9n es buscar posibles fallos, mejoras, etc &#8230; Una herramienta que suelo usar a menudo y que me adem\u00e1s nos aporta much\u00edsima informaci\u00f3n es Google Webmaster Tool. \u00bfQu\u00e9 son los Crawler Access [&hellip;]<\/p>\n","protected":false},"author":3,"featured_media":782,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[54],"tags":[118,119,51,120,55],"class_list":["post-1006","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-posicionamiento-seo","tag-crawler-access","tag-errores-de-rastreo","tag-google","tag-optimizacion","tag-seo"],"featured_image_src":{"landsacpe":false,"list":false,"medium":false,"full":false},"_links":{"self":[{"href":"https:\/\/www.k3bone.com\/blog\/wp-json\/wp\/v2\/posts\/1006","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.k3bone.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.k3bone.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.k3bone.com\/blog\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.k3bone.com\/blog\/wp-json\/wp\/v2\/comments?post=1006"}],"version-history":[{"count":0,"href":"https:\/\/www.k3bone.com\/blog\/wp-json\/wp\/v2\/posts\/1006\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.k3bone.com\/blog\/wp-json\/wp\/v2\/media?parent=1006"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.k3bone.com\/blog\/wp-json\/wp\/v2\/categories?post=1006"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.k3bone.com\/blog\/wp-json\/wp\/v2\/tags?post=1006"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}