Soporte » Guías – Resolución de problemas » ROBOT TXT MAL CONFIGURADO

ROBOT TXT MAL CONFIGURADO

  • Manuel Ponce De La Banderta

    (@mpb58)


    hace 1 semana, 2 días

    Hola tengo problemas en la configuración del robot txt esto es lo que me aparece en probador de robot txt de google console, por si alguien puede darme ayuda, Gracias de antemano.

    • Agente de usuario: *
    • Rechazar:
    • Crawl-delay: 60 # 60 segundos entre cada solicitud
    • Horario de visita: 0300-1200 # 00:00 AM a 09:00 AM (America/Buenos_Aires)
    • Tasa de solicitud: 6/60m # permite indexar 6 documentos cada 60 minutos
    • Request-rate: 3/60m 1200-0300 # permite indexar 3 documentos cada 60 minutos entre las 09:00 AM a 00:00 AM (America/Buenos_Aires)
    • No permitir: /cgi-bin/
    • No permitir: /admin/
    • No permitir: /*.sql$
    • # Bloqueo de las URL dinamicas
    • No permitir: /*?
    • #bloqueo de busquedas
    • No permitir: /?s=
    • No permitir: /buscar
    • # Bloqueo de trackbacks
    • No permitir: / trackback
    • No permitir: /*retroceso
    • No permitir: /*retroceso*
    • No permitir: /*/retroceso
    • # Permitir la herramienta para webmasters de Google
    • Agente de usuario: robot de Google
    • Permitir: /*.js$
    • Permitir: /*.css$
    • #wordpress
    • No permitir: /xmlrpc.php
    • No permitir: /wp-admin/
    • No permitir: /wp-incluye/
    • No permitir: /wp-content/plugins/
    • No permitir: /wp-content/cache/
    • No permitir: /wp-content/themes/
    • No permitir: /*/xmlrpc.php
    • No permitir: /*/wp-admin/
    • No permitir: /*/wp-incluye/
    • No permitir: /*/wp-content/plugins/
    • No permitir: /*/wp-content/cache/
    • No permitir: /*/wp-content/themes/
    • #joomla
    • No permitir: /administrador/
    • No permitir: /bin/
    • No permitir: /caché/
    • No permitir: /cli/
    • No permitir: /componentes/
    • No permitir: /imágenes/
    • No permitir: /incluye/
    • No permitir: /instalación/
    • No permitir: /idioma/
    • No permitir: /diseños/
    • No permitir: /bibliotecas/
    • No permitir: /registros/
    • No permitir: /medios/
    • No permitir: /módulos/
    • No permitir: /complementos/
    • No permitir: /plantillas/
    • No permitir: /tmp/
    • No permitir: /*/administrador/
    • No permitir: /*/bin/
    • No permitir: /*/caché/
    • No permitir: /*/cli/
    • No permitir: /*/componentes/
    • No permitir: /*/imágenes/
    • No permitir: /*/incluye/
    • No permitir: /*/instalación/
    • No permitir: /*/idioma/
    • No permitir: /*/diseños/
    • No permitir: /*/bibliotecas/
    • No permitir: /*/registros/
    • No permitir: /*/medios/
    • No permitir: /*/módulos/
    • No permitir: /*/complementos/
    • No permitir: /*/plantillas/
    • No permitir: /*/tmp/

    La página con la que necesito ayuda: [accede para ver el enlace]

Viendo 15 respuestas - de la 1 a la 15 (de un total de 15)
  • Moderador almendron

    (@almendron)

    hace 1 semana, 1 día

    Lo primero sería saber cómo has construido el archivo: ¿un plugin, un archivo físico?

    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    hace 1 semana, 1 día

    Hola y gracias por tu ayuda. Te comento antes de este tema, que ya solucione lo de la verificación de google, lo hice a través de google search console.

    En cuanto al tema del robot, podrias indicarme como puedo ver esto que haria falta para empezar a ver que problema tiene, si es a través de un plugins o archivo. gracias

    Moderador almendron

    (@almendron)

    hace 1 semana, 1 día

    Si es un archivo físico, solo tienes que acceder vía FTP y ver si existe el archivo robots.txt en la raíz de tu sitio.

    Si no existe, probablemente esté hecho con el plugin YOAST SEO

    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    hace 1 semana, 1 día

    Hola he entrado a la carpeta de archivos public_html y no aparece el archivo de robot, debe de haberse creado con Yoast, que debería de hacer ahora, gracias

    Moderador almendron

    (@almendron)

    hace 1 semana, 1 día

    Indica exactamente cuál es el problema que presenta dicho archivo.

    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    hace 1 semana

    hola no puedo decirte mas he mirado en probador de robot de google y me da tres errores y una advertencia,he hablado con la persona que rediseñó la pagina y dice que va a poner de nuevo el robot en la raiz, ya te cuento, gracias por tu ayuda

    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    hace 1 semana

    creo que he podido copiar los errores que da son 3 y una advertencia, no se si te serviria gracias. El Crawl es una advertencia

    los tres R

    User-agent: *
Disallow:
Crawl-delay: 60 # 60 segundos entre cada request
Visit-time: 0300-1200 # 00:00 AM a 09:00 AM (America/Buenos_Aires)equest son los errores.


Request-rate: 6/60m # permite indexar 6 documentos cada 60 minutos
Request-rate: 3/60m 1200-0300 # permite indexar 3 documentos cada 60 minutos entre las 09:00 AM a 00:00 AM (America/Buenos_Aires)

Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /*.sql$

Bloqueo de las URL dinamicas

Disallow: /*?

Bloqueo de busquedas

Disallow: /?s=
Disallow: /search

Bloqueo de trackbacks

Disallow: /trackback
Disallow: /trackback Disallow: /trackback*
Disallow: /*/trackback

Permitir Google Webmaster Tool

User-agent: Googlebot
Allow: /.js$ Allow: /.css$

wordpress

Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/

Disallow: //xmlrpc.php Disallow: //wp-admin/
Disallow: //wp-includes/ Disallow: //wp-content/plugins/
Disallow: //wp-content/cache/ Disallow: //wp-content/themes/

joomla

Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Disallow: //administrator/ Disallow: //bin/
Disallow: //cache/ Disallow: //cli/
Disallow: //components/ Disallow: //images/
Disallow: //includes/ Disallow: //installation/
Disallow: //language/ Disallow: //layouts/
Disallow: //libraries/ Disallow: //logs/
Disallow: //media/ Disallow: //modules/
Disallow: //plugins/ Disallow: //templates/
Disallow: /*/tmp/
    Moderador almendron

    (@almendron)

    hace 1 semana

    1. Aclaración preliminar: los rastreadores van por libre aunque algunos, como el de Google, suelen hacer caso a los robots.txt
    2. Advertencia: no te debes preocupar por eso. No tiene importancia.
    3. No me aclaro con los errores. No entiendo eso de «los tres R».
      ¿Puedes especificar algo más? ¿qué mensaje de error te da?
    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    hace 1 semana

    hola, quería explicar con las 3 r que el primer párrafo donde dice:

    Disallow, lo que viene después lo da como advertencia, y

    despues viene VISIT esto y los dos siguientes que dicen RESQUET

    lo da como los errores, en total 1 advertencia y tres errores.

    en cuanto a que no da problemas, me dice que tengo mas de 300 url sin indexar y creo que es por el robot, gracias

    Moderador almendron

    (@almendron)

    hace 1 semana

    A ver si lo entiendo:

    Advertencia: «Crawl-delay: 60 # 60 segundos entre cada request»

    Errores:

    • Request-rate: 6/60m # permite indexar 6 documentos cada 60 minutos
    • Request-rate: 3/60m 1200-0300 # permite indexar 3 documentos cada 60 minutos entre las 09:00 AM a 00:00 AM (America/Buenos_Aires)

    ¿Es así?

    Moderador almendron

    (@almendron)

    hace 1 semana

    La primera línea la puedes quitar sin problemas. El robot de Google hace caso omiso de esa regla y por eso te sale la advertencia.

    Moderador almendron

    (@almendron)

    hace 1 semana

    Para cambiar la frecuencia de rastreo: https://support.google.com/webmasters/answer/48620?hl=es (normalmente no es necesario)

    Moderador almendron

    (@almendron)

    hace 1 semana

    Respecto a la Request-rate, deberías quitar las dos líneas ya que la sintaxis no la entiende Google.

    Moderador almendron

    (@almendron)

    hace 1 semana

    Lo mismo para Visit-time: quítala porque Google no entiende la sintaxis.

    Lo que no te puedo decir si otros buscadores hacen uso de esas directivas.
    En cualquier caso, no te afectan para nada, así que las puedes dejar si quieres.

    Iniciador del debate Manuel Ponce De La Banderta

    (@mpb58)

    hace 1 semana

    GRACIAS, a ver que puedo hacer y te informo del resultado

Viendo 15 respuestas - de la 1 a la 15 (de un total de 15)
  • Debes estar registrado para responder a este debate.

Vistas