Muy buenas.
En el robots.txt deberías añadir estas dos directivas para cubrir todos los elementos de feed:
Disallow: */feed/
Disallow: *?feed*
Tienes un extenso manual de cómo configurar tu robots.txt con Yoast en su página.
La verdad es que es la primera vez que veo lo de “Se ha indexado aunque un archivo robots.txt la ha bloqueado”.
. Espero que algún compañero que sepa algo más de SEO pueda ayudarte mejor.
Gracias Rafa por tu contestación.
En cuanto a Robots.txt está configurado como dices, de hecho lo pruebo en Google Search y bloquea las páginas de feed.
En este enlace puedes ver la Captura página de “Se ha indexado aunque un archivo robots.txt la ha bloqueado”, y en la ayuda de Google Search también aconseja usar la directiva <meta name=”robots” content=”noindex, nofollow””>.
Aquí el fragmento de la ayuda de Google Search:
«Indexado, aunque bloqueado por robots.txt: la página fue indexada, a pesar de estar bloqueada por robots.txt. Robots.txt no es el mecanismo correcto para evitar ser indexado. Para evitar ser indexado, debe usar ‘noindex’ o prohibir el acceso anónimo a la página usando auth. Puede usar el probador robots.txt para determinar qué regla está bloqueando esta página. Debido al archivo robots.txt, cualquier fragmento que se muestre para la página probablemente no sea óptimo.»
De ahí mi pregunta de donde podría colocar esa directiva dentro de wordpress.
Saludos
Supongo que habría que meterlo en el feed:
<xhtml:meta xmlns:xhtml="http://www.w3.org/1999/xhtml"
name="robots" content="noindex" />
Hay un gancho ‘rss2_head’ en el archivo wp-includes/feed-rss2.php que igual podría servir para esto, aunque no lo he probado.
Por otro lado, a lo bestia igual serviría desactivar todos los feeds.
Un saludo
Hola LGrusin,
Te voy hacer caso y voy a tomar el camino de enmedio. Desactivo los feed y problema solucionado.
Gracias
La solución es esta, añadir X-Robots-Tag: noindex,follow en el encabezado HTTP a su fuente. Lee este post https://yoast.com/feeds-in-the-search-results/