Tengo 2 Robots.txt (Google ya no indexa mi web)

  • Resuelto Julio Aguilar

    (@enoc3000)


    hace 7 años, 11 meses

    Saludos amigos desde hace varios días google me indica que mi web no puede ser indexada por robots.txt, ocurre que al revisar en efecto, en contenido de mi robots.txt era el siguiente:

    User-agent: *
    Disallow: /

    Finalmente lo he modificado y vuelto a subir de esta manera:

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    He dejado pasar unos días, pero lamentablemente continua mi problema, peor aún, he descubierto (mis conocimientos son básicos de estas cosas) que al parecer tengo 2 archivos robots.txt o algo así:

    1) Es el que aparece con la url de mi web incluyendo el www, es decir este: http://www.trascendencia.com.ve/robots.txt

    2) Es este otro que se muestra al abrir la misma ruta pero sin el http://www., es decir este: http://trascendencia.com.ve/robots.txt

    He probado:

    Eliminarlo del directorio y posteriormente volviéndolo a subir a public.html vía ftp sin éxito.
    También configurando y luego hasta eliminadolo con el plugin wp-robots.txt sin éxito.
    Siempre me vuelven a aparecer ambos en las 2 rutas que les indico, mucho les agradecería si me pudieran ayudar.

    Los plugins que tengo activos son:

    Akismet, All in One SEO Pack, Awesome Gallery, Cue, Disk Player, Google Analytics Dashboard para WP, Google XML Sitemaps, ithemes security, Jetpack, SEO Friendly Images, Speed Up WordPress Plugin, Testimonials WordPress plugin. Use Your Drive, WP Robot TXT, Wp Rocket, WP Smush, WP Optimize y WP Polls.

    Saludos y gracias de antemano por la ayuda.

Viendo 4 respuestas - de la 1 a la 4 (de un total de 4)
  • Francisco Torres

    (@frantorres)

    hace 7 años, 11 meses

    Muy buenas,

    Primero has de saber que es normal tener el mismo archivo robots en esas dos direcciones, ya que la misma dirección con www y sin www suelen ser alias (es decir, una de ellas básicamente va al mismo sitio que la otra). Esto en principio de cara al archivo robots.txt no te afecta negativamente en nada por lo que no te debes preocupar por esto.

    Veo que el archivo lo tienes ahora mismo tal como indicas que lo dejaste, la nueva configuración tiene un problema, y es que si no permites a los buscadores entrar en el directorio /wp-includes/ , no podrán leer algunos recursos JS y CSS que cargan desde ahí y por tanto los buscadores verán la página incompleta.

    Te recomiendo esta otra configuración:

    User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

    Fuente: https://cybmeta.com/el-mejor-robots-txt-para-wordpress-o-al-menos-uno-bueno

    Iniciador del debate Julio Aguilar

    (@enoc3000)

    hace 7 años, 11 meses

    Aun google no muestra mi web, voy a probar esa configuración a ver que tal, gracias Francisco.

    Francisco Torres

    (@frantorres)

    hace 7 años, 11 meses

    Ten en cuenta que nada de esto asegura que tu sitio web aparezca en buscadores, esa es una decisión exclusivamente de los buscadores que además suelen tardar un tiempo antes de indexar por primera vez un sitio web.

    El archivo robots.txt es un archivo que se usa exclusivamente para sugerir a los buscadores dónde no deben mirar, dónde si deben mirar, a qué ritmo y marcar la existencia de un sitemap.

    A modo de metáfora el robots.txt son señales de tráfico en una carretera, pero que vengan vehículos no depende de las señales de tráfico.

    Iniciador del debate Julio Aguilar

    (@enoc3000)

    hace 7 años, 11 meses

    Amigel sitemap debo incluirlo dentro del robot txt?

Viendo 4 respuestas - de la 1 a la 4 (de un total de 4)
  • El debate ‘Tengo 2 Robots.txt (Google ya no indexa mi web)’ está cerrado a nuevas respuestas.