Soporte » Guías – Resolución de problemas » ROBOT TXT MAL CONFIGURADO

  • Hola tengo problemas en la configuración del robot txt esto es lo que me aparece en probador de robot txt de google console, por si alguien puede darme ayuda, Gracias de antemano.

    • Agente de usuario: *
    • Rechazar:
    • Crawl-delay: 60 # 60 segundos entre cada solicitud
    • Horario de visita: 0300-1200 # 00:00 AM a 09:00 AM (America/Buenos_Aires)
    • Tasa de solicitud: 6/60m # permite indexar 6 documentos cada 60 minutos
    • Request-rate: 3/60m 1200-0300 # permite indexar 3 documentos cada 60 minutos entre las 09:00 AM a 00:00 AM (America/Buenos_Aires)
    • No permitir: /cgi-bin/
    • No permitir: /admin/
    • No permitir: /*.sql$
    • # Bloqueo de las URL dinamicas
    • No permitir: /*?
    • #bloqueo de busquedas
    • No permitir: /?s=
    • No permitir: /buscar
    • # Bloqueo de trackbacks
    • No permitir: / trackback
    • No permitir: /*retroceso
    • No permitir: /*retroceso*
    • No permitir: /*/retroceso
    • # Permitir la herramienta para webmasters de Google
    • Agente de usuario: robot de Google
    • Permitir: /*.js$
    • Permitir: /*.css$
    • #wordpress
    • No permitir: /xmlrpc.php
    • No permitir: /wp-admin/
    • No permitir: /wp-incluye/
    • No permitir: /wp-content/plugins/
    • No permitir: /wp-content/cache/
    • No permitir: /wp-content/themes/
    • No permitir: /*/xmlrpc.php
    • No permitir: /*/wp-admin/
    • No permitir: /*/wp-incluye/
    • No permitir: /*/wp-content/plugins/
    • No permitir: /*/wp-content/cache/
    • No permitir: /*/wp-content/themes/
    • #joomla
    • No permitir: /administrador/
    • No permitir: /bin/
    • No permitir: /caché/
    • No permitir: /cli/
    • No permitir: /componentes/
    • No permitir: /imágenes/
    • No permitir: /incluye/
    • No permitir: /instalación/
    • No permitir: /idioma/
    • No permitir: /diseños/
    • No permitir: /bibliotecas/
    • No permitir: /registros/
    • No permitir: /medios/
    • No permitir: /módulos/
    • No permitir: /complementos/
    • No permitir: /plantillas/
    • No permitir: /tmp/
    • No permitir: /*/administrador/
    • No permitir: /*/bin/
    • No permitir: /*/caché/
    • No permitir: /*/cli/
    • No permitir: /*/componentes/
    • No permitir: /*/imágenes/
    • No permitir: /*/incluye/
    • No permitir: /*/instalación/
    • No permitir: /*/idioma/
    • No permitir: /*/diseños/
    • No permitir: /*/bibliotecas/
    • No permitir: /*/registros/
    • No permitir: /*/medios/
    • No permitir: /*/módulos/
    • No permitir: /*/complementos/
    • No permitir: /*/plantillas/
    • No permitir: /*/tmp/

    La página con la que necesito ayuda: [accede para ver el enlace]

Viendo 15 respuestas - de la 1 a la 15 (de un total de 15)
  • Moderador almendron

    (@almendron)

    Lo primero sería saber cómo has construido el archivo: ¿un plugin, un archivo físico?

    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    Hola y gracias por tu ayuda. Te comento antes de este tema, que ya solucione lo de la verificación de google, lo hice a través de google search console.

    En cuanto al tema del robot, podrias indicarme como puedo ver esto que haria falta para empezar a ver que problema tiene, si es a través de un plugins o archivo. gracias

    Moderador almendron

    (@almendron)

    Si es un archivo físico, solo tienes que acceder vía FTP y ver si existe el archivo robots.txt en la raíz de tu sitio.

    Si no existe, probablemente esté hecho con el plugin YOAST SEO

    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    Hola he entrado a la carpeta de archivos public_html y no aparece el archivo de robot, debe de haberse creado con Yoast, que debería de hacer ahora, gracias

    Moderador almendron

    (@almendron)

    Indica exactamente cuál es el problema que presenta dicho archivo.

    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    hola no puedo decirte mas he mirado en probador de robot de google y me da tres errores y una advertencia,he hablado con la persona que rediseñó la pagina y dice que va a poner de nuevo el robot en la raiz, ya te cuento, gracias por tu ayuda

    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    creo que he podido copiar los errores que da son 3 y una advertencia, no se si te serviria gracias. El Crawl es una advertencia

    los tres R

    User-agent: *
    Disallow:
    Crawl-delay: 60 # 60 segundos entre cada request
    Visit-time: 0300-1200 # 00:00 AM a 09:00 AM (America/Buenos_Aires)equest son los errores.
    
    
    Request-rate: 6/60m # permite indexar 6 documentos cada 60 minutos
    Request-rate: 3/60m 1200-0300 # permite indexar 3 documentos cada 60 minutos entre las 09:00 AM a 00:00 AM (America/Buenos_Aires)
    
    Disallow: /cgi-bin/
    Disallow: /admin/
    Disallow: /*.sql$
    
    Bloqueo de las URL dinamicas
    
    Disallow: /*?
    
    Bloqueo de busquedas
    
    Disallow: /?s=
    Disallow: /search
    
    Bloqueo de trackbacks
    
    Disallow: /trackback
    Disallow: /trackback Disallow: /trackback*
    Disallow: /*/trackback
    
    Permitir Google Webmaster Tool
    
    User-agent: Googlebot
    Allow: /.js$ Allow: /.css$
    
    wordpress
    
    Disallow: /xmlrpc.php
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    
    Disallow: //xmlrpc.php Disallow: //wp-admin/
    Disallow: //wp-includes/ Disallow: //wp-content/plugins/
    Disallow: //wp-content/cache/ Disallow: //wp-content/themes/
    
    joomla
    
    Disallow: /administrator/
    Disallow: /bin/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /layouts/
    Disallow: /libraries/
    Disallow: /logs/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    
    Disallow: //administrator/ Disallow: //bin/
    Disallow: //cache/ Disallow: //cli/
    Disallow: //components/ Disallow: //images/
    Disallow: //includes/ Disallow: //installation/
    Disallow: //language/ Disallow: //layouts/
    Disallow: //libraries/ Disallow: //logs/
    Disallow: //media/ Disallow: //modules/
    Disallow: //plugins/ Disallow: //templates/
    Disallow: /*/tmp/
    Moderador almendron

    (@almendron)

    1. Aclaración preliminar: los rastreadores van por libre aunque algunos, como el de Google, suelen hacer caso a los robots.txt
    2. Advertencia: no te debes preocupar por eso. No tiene importancia.
    3. No me aclaro con los errores. No entiendo eso de «los tres R».
      ¿Puedes especificar algo más? ¿qué mensaje de error te da?
    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    hola, quería explicar con las 3 r que el primer párrafo donde dice:

    Disallow, lo que viene después lo da como advertencia, y

    despues viene VISIT esto y los dos siguientes que dicen RESQUET

    lo da como los errores, en total 1 advertencia y tres errores.

    en cuanto a que no da problemas, me dice que tengo mas de 300 url sin indexar y creo que es por el robot, gracias

    Moderador almendron

    (@almendron)

    A ver si lo entiendo:

    Advertencia: «Crawl-delay: 60 # 60 segundos entre cada request»

    Errores:

    • Request-rate: 6/60m # permite indexar 6 documentos cada 60 minutos
    • Request-rate: 3/60m 1200-0300 # permite indexar 3 documentos cada 60 minutos entre las 09:00 AM a 00:00 AM (America/Buenos_Aires)

    ¿Es así?

    Moderador almendron

    (@almendron)

    La primera línea la puedes quitar sin problemas. El robot de Google hace caso omiso de esa regla y por eso te sale la advertencia.

    Moderador almendron

    (@almendron)

    Para cambiar la frecuencia de rastreo: https://support.google.com/webmasters/answer/48620?hl=es (normalmente no es necesario)

    Moderador almendron

    (@almendron)

    Respecto a la Request-rate, deberías quitar las dos líneas ya que la sintaxis no la entiende Google.

    Moderador almendron

    (@almendron)

    Lo mismo para Visit-time: quítala porque Google no entiende la sintaxis.

    Lo que no te puedo decir si otros buscadores hacen uso de esas directivas.
    En cualquier caso, no te afectan para nada, así que las puedes dejar si quieres.

    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    GRACIAS, a ver que puedo hacer y te informo del resultado

Viendo 15 respuestas - de la 1 a la 15 (de un total de 15)
  • El debate ‘ROBOT TXT MAL CONFIGURADO’ está cerrado a nuevas respuestas.