Soporte » WordPress Avanzado » Evitar indexación de los Feed

  • Resuelto franciosco

    (@franciosco)


    Hola,
    Google está indexando páginas «feed» aunque lo tengo bloqueado con robots.txt. Me dice «Se ha indexado aunque un archivo robots.txt la ha bloqueado».
    Arroja un resultado de 401 páginas y cada vez que actualiza va en aumento.

    Leyendo en sus recomendaciones dicen que mejor poner la etiqueta <meta name=»robots» content=»noindex, nofollow»»>

    He buscado en el plugin de Yoast, pero no veo donde puedo dar la directriz de que no las indexe y tampoco se en que página tendría que ponerle dicha directiva.

    ¿Podríais aclararme que puedo hacer?.
    Gracias

Viendo 5 respuestas - de la 1 a la 5 (de un total de 5)
  • Moderador Rafa Poveda

    (@bi0xid)

    Muy buenas.

    En el robots.txt deberías añadir estas dos directivas para cubrir todos los elementos de feed:
    Disallow: */feed/
    Disallow: *?feed*

    Tienes un extenso manual de cómo configurar tu robots.txt con Yoast en su página.

    La verdad es que es la primera vez que veo lo de “Se ha indexado aunque un archivo robots.txt la ha bloqueado”.. Espero que algún compañero que sepa algo más de SEO pueda ayudarte mejor.

    Iniciador del debate franciosco

    (@franciosco)

    Gracias Rafa por tu contestación.

    En cuanto a Robots.txt está configurado como dices, de hecho lo pruebo en Google Search y bloquea las páginas de feed.
    En este enlace puedes ver la Captura página de “Se ha indexado aunque un archivo robots.txt la ha bloqueado”, y en la ayuda de Google Search también aconseja usar la directiva <meta name=”robots” content=”noindex, nofollow””>.
    Aquí el fragmento de la ayuda de Google Search:
    «Indexado, aunque bloqueado por robots.txt: la página fue indexada, a pesar de estar bloqueada por robots.txt. Robots.txt no es el mecanismo correcto para evitar ser indexado. Para evitar ser indexado, debe usar ‘noindex’ o prohibir el acceso anónimo a la página usando auth. Puede usar el probador robots.txt para determinar qué regla está bloqueando esta página. Debido al archivo robots.txt, cualquier fragmento que se muestre para la página probablemente no sea óptimo.»

    De ahí mi pregunta de donde podría colocar esa directiva dentro de wordpress.

    Saludos

    Moderador LGrusin

    (@lgrusin)

    Supongo que habría que meterlo en el feed:

    <xhtml:meta xmlns:xhtml="http://www.w3.org/1999/xhtml"
    name="robots" content="noindex" />

    Hay un gancho ‘rss2_head’ en el archivo wp-includes/feed-rss2.php que igual podría servir para esto, aunque no lo he probado.

    Por otro lado, a lo bestia igual serviría desactivar todos los feeds.

    Un saludo

    Iniciador del debate franciosco

    (@franciosco)

    Hola LGrusin,

    Te voy hacer caso y voy a tomar el camino de enmedio. Desactivo los feed y problema solucionado.

    Gracias

    La solución es esta, añadir X-Robots-Tag: noindex,follow en el encabezado HTTP a su fuente. Lee este post https://yoast.com/feeds-in-the-search-results/

Viendo 5 respuestas - de la 1 a la 5 (de un total de 5)
  • El debate ‘Evitar indexación de los Feed’ está cerrado a nuevas respuestas.