[NSFW] El Bot de Google dice q mi robots.txt lo bloquea

  • Resuelto kalel1970

    (@kalel1970)


    hace 2 años, 7 meses

    Hola:
    El Bot de Google Search Console me dice que mi robots.txt lo bloquea, no sé si lo hice mal o qué ocurre. Alguien me puede ayudar?, Gracias

    Por otro lado pregunto. En YoastSeo en la pestaña de ‘avanzado’ seleccioné que los buscadores no rastrearan ni siguieran los enlaces de 3 páginas: Políticas de cookies, política de privacidad y condiciones de uso. Debería ‘bloquearlas’ en el archivo txt?
    Mil gracias, saludos a todos!👍

    MI actual robots.txt es:

    `# Robots txt para mejorar indexación de [NSFW] el 23 Septiembre 2021
    User-agent: *
    Allow: /wp-admin/admin-ajax.php
    Allow: /wp-content/uploads/
    Disallow: /wp-admin/
    Disallow: /wp-content/plugins/

    # Bloqueo de bots y crawlers
    User-agent: ia_archiver
    Disallow: /

    User-agent: archive.org_bot
    Disallow: /

    User-agent: ia_archiver-web.archive.org
    Disallow: /

    User-agent: MSIECrawler
    Disallow: /

    User-agent: WebCopier
    Disallow: /

    User-agent: HTTrack
    Disallow: /

    User-agent: Microsoft.URL.Control
    Disallow: /

    User-agent: libwww
    Disallow: /

    User-agent: Orthogaffe
    Disallow: /

    User-agent: UbiCrawler
    Disallow: /

    User-agent: DOC
    Disallow: /

    User-agent: Zao
    Disallow: /

    User-agent: sitecheck.internetseer.com
    Disallow: /

    User-agent: Zealbot
    Disallow: /

    User-agent: MSIECrawler
    Disallow: /

    User-agent: SiteSnagger
    Disallow: /

    User-agent: WebStripper
    Disallow: /

    User-agent: WebCopier
    Disallow: /

    User-agent: Fetch
    Disallow: /

    User-agent: Offline Explorer
    Disallow: /

    User-agent: Teleport
    Disallow: /

    User-agent: TeleportPro
    Disallow: /

    User-agent: WebZIP
    Disallow: /

    User-agent: linko
    Disallow: /

    User-agent: HTTrack
    Disallow: /

    User-agent: Microsoft.URL.Control
    Disallow: /

    User-agent: Xenu
    Disallow: /

    User-agent: larbin
    Disallow: /

    User-agent: libwww
    Disallow: /

    User-agent: ZyBORG
    Disallow: /

    User-agent: Download Ninja
    Disallow: /

    User-agent: wget
    Disallow: /

    User-agent: grub-client
    Disallow: /

    User-agent: k2spider
    Disallow: /

    User-agent: NPBot
    Disallow: /

    User-agent: WebReaper
    Disallow: /

    Sitemap: https: //[NSFW]/sitemap.xml

    • Este debate fue modificado hace 2 años, 7 meses por kalel1970.
Viendo 4 respuestas - de la 1 a la 4 (de un total de 4)
  • Moderador almendron

    (@almendron)

    hace 2 años, 7 meses

    He hecho pruebas con varias URL de tu sitio y no me aparece ningún bloqueo.

    En cualquier caso, sustituye

    User-agent: *
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/

    Por lo siguiente:

    
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

    que es el robots.txt que usa WordPress por defecto, y luego añades

    Sitemap: https://avisoerotico.com/sitemap.xml

    El resto no sirve para nada. Robots.txt no puede forzar a un bot a seguir sus directrices. Y los bots maliciosos pasan por completo de ese archivo.

    Moderador almendron

    (@almendron)

    hace 2 años, 7 meses

    https://cybmeta.com/el-mejor-robots-txt-para-wordpress-o-al-menos-uno-bueno

    Iniciador del debate kalel1970

    (@kalel1970)

    hace 2 años, 6 meses

    Se corrigieron correctamente los problemas de Cobertura del sitio 👍. Muchísimas gracias!

    Moderador almendron

    (@almendron)

    hace 2 años, 6 meses

    De nada. Un saludo.

Viendo 4 respuestas - de la 1 a la 4 (de un total de 4)
  • El debate ‘[NSFW] El Bot de Google dice q mi robots.txt lo bloquea’ está cerrado a nuevas respuestas.

Etiquetas