Soporte » Guías – Resolución de problemas » Duda Robots.txt y search console

  • Resuelto danibaha

    (@danibaha)


    Buenas,

    Os escribo porque yo siempre he tenido cinfigurado en mi wordpress la opción de no estar habilitado para buscadores porque quería tener primeramente el contenido correcto.

    Me he decidido a hacerlo, he quitado la opción, seguidamente he creado un sitemap con yoastseo y lo he añadido a search console.

    El problema es que search console, me da como correcto el estado del sitemap añadido, pero sin embargo, cuando voy a inspeccionar cualquier web, me pone «No: se ha detectado la etiqueta·»noindex» en la metaetiqueta «robots»»

    Yo mi web la tengo configurada ya sin la opción de que no me encontraran los buscadores y en el site map aparecen 238 urls correctas, entonces no se si algo está fallando o simplemente tengo que esperar a que agregue mi site map, pero no se si algo estará fallando y el que yo ponga la opción deq ue ya me indexen los buscadores en mi wordpress, no se haya actualizado bien, aunque mi plugin yoastseo ya me da el ok y no me pone advertencia.

    Muchas gracias.

    La página con la que necesito ayuda: [accede para ver el enlace]

Viendo 15 respuestas - de la 1 a la 15 (de un total de 21)
  • Moderador almendron

    (@almendron)

    En search console hay una opción para actualizar el robots.txt.

    https://www.google.com/webmasters/tools/robots-testing-tool

    Comprueba que coincide con el tuyo: https://baharytravels.com/robots.txt

    Si no es así, envía el nuevo.

    Buenas, gracias.

    He probado esa herramienta y me sale una configuración que no permite indexación.

    El problema que veo es que he modificado el robots.txt con un editor en mi wordpress, pero al volver a entrar me sigue saliendo mal, disallow y otra linea mas, sin embargo, si entro poniendo las www a mi dominio, ahí si sale cambiado con lo que he editado con el editor, pero no lo coge google ni mi web con https, ya que si entro con https al robots.txt me sigue saliendo sin actualizado la versión de no index.

    He probado a subir el robots.txt desde mi adminsitración de archivos a la carpeta public.html y public.shtml y sigue sin actualizárseme, por lo que no se que hacer.

    Me podriáis dar alguna solución ? Mis conocimientos no son muy avanzados.

    gracias

    Moderador almendron

    (@almendron)

    https://baharytravels.com/robots.txt : Este es el robots.txt virtual que crea el propio WordPress (y es correcto).

    El otro, el que aparece cuando entras con las «www», es el que tú has creado. Lo raro es que no redireccione a sin las «www».

    Luego volveremos a esto porque el mensaje que recibes no tiene nada que ver con el archivo robots.txt.
    Si te parece, vamos a resolver primero lo de «No: se ha detectado la etiqueta·»noindex» en la metaetiqueta «robots»» y después revisamos lo de ese archivo.

    El mensaje te aparece porque en el header figura lo siguiente:

    <meta name="robots" content="noindex, follow" />

    Ve a Ajustes > Lectura y comprueba en «Visibilidad en los motores de búsqueda» que NO ESTÁ marcada La opción «Disuadir a los motores de búsqueda de indexar este sitio».

    Buenas,

    Lo que he visto respecto a las www era por mi cache, ya que abriendo de incógnito he visto que si me carga el robots.txt bien como tu dices.

    Respecto a lo del mensaje «meta», la opción estaba desactivada, la he activado y desactivado otra vez por si acaso, pero me sigue dando el mismo error.

    Es cierto que yo siempre la tuve puesta para que no me indexara y cambié de hosting hace 10 días y ahora es cuando ya la desactivé y está desmarcada para empezar con google pero nada, no me funciona.

    En mi hosting me dicen que ellos no pueden hacer nada.

    No se que podría hacer para poder modificar ese mensaje y poner el que correspondiera para que no me de el error.

    Te agradezco la ayuda y el interés, estoy bastante desesperado

    Moderador almendron

    (@almendron)

    Tenemos un problema para poder indicarte los pasos a seguir debido a que usas una plantilla comercial a la que no tengo acceso.

    A ver si lo conseguimos.

    1) Accede vía FTP o a través del explorador de archivos que encontrarás en el panel de control de tu hosting.

    2) Localiza la carpeta del tema que estás usando (dentro de wp-content/themes).

    3) Mira a ver si uno de los archivos de tu plantilla es «header.php». Si existe, lo bajas a tu ordenador, haces una segunda copia y la guardas.
    Edita la primera copia con el bloc de notas y busca la línea <meta name="robots" content="noindex, follow" />. Cambias nonidex por index. Guardas y luego subes el archivo al servidor y lo sobreescribes.

    Moderador almendron

    (@almendron)

    Me olvidaba: guarda primero y luego borra del servidor el archivo robots.txt

    Buenas,

    He seguido los pasos que me decías y hay dos archivos que se llaman uno header y otro header alternative pero en ninguno sale esa etiqueta.

    El código que sale en header.php es este.

    NOTA: te he borrado el código porque es ilegible. Tienes que usar la etiqueta «CODE» que aparece en la barra de herramientas justo en la parte superior del recuadro donde escribes. Pon solo lo que está entre las etiquetas <header> y </header>

    • Esta respuesta fue modificada hace 3 semanas, 1 día por almendron.

    Buenas,

    Me he bajado la extensión de meta seo explorer y me ponía efectivamente noindex en la parte de robots…

    He borrado el archivo robots del golden public_html y cuando lo he borrado y lo he vuelto a copiar, me sale ahora con el programa Robots index follow y también me sale una opción de googlebots que pone index.

    He probado además a en ajustes / lectura , función que no estaba funcionando, cambiar a disuadir y cuando lo hago, cambia a no index y si la desmarco, se pone en index y aparece el googlebots.

    Esa es la parte positiva, la mala, cuando voy a google search console e inspecciono cualquier página, me sigue saliendo el mismo error, lo cual no se ya si debería esperar o mi problema persiste al no haber encontrado esa línea que mencionabas antes.

    Gracias!

    Tras hacer un nuevo test, me sigue saliendo el mismo error, es cierto que antes me ponía noindex y ahora me pone el META SEO INSPECTOR como que todo está bien, pro me sigue dando el mismo error.

    Moderador almendron

    (@almendron)

    Yo sigo viendo en le código fuente <meta name="robots" content="noindex, follow" />

    1) Borra el archivo robots.txt de cualquier sitio donde lo hayas subido.

    2) Desactiva el plugin Yoast SEO.

    3) Si usas algún plugin de cache, vacía la cache y luego desactiva.

    Haz solo lo que te digo y no toques nada más o no podré averiguar de donde surge el problema.

    Yo te lo volveré a mirar el lunes hacia el final de la mañana.

    Buenas, vale gracias, ya lo he hecho.

    Mi sitemap eso si que indexé en search google console ahora no me lo carga si accedo a el al tener el yoast seo desactivado.

    He borrado el robots.txt de la carpeta que tenía en public_html pero si cargo el link baharytravels.com/robots.txt me sigue cargando el robots y a mi entrando por ftp no lo encuentra ya que lo acabo de borrar.

    Rarísimo.

    Aun así, ya tengo todo desactivado como me has indicado.

    Gracias

    Moderador almendron

    (@almendron)

    1) Te carga el link baharytravels.com/robots.txt porque es el robots.txt «virtual» que crea el propio WordPress. Lo genera de forma automática pero no existe «en la realidad».

    2) Ahora mismo en el código fuente te aparece bien: <meta name="robots" content="index, follow" />

    Yo ya no podré mirarlo hasta el lunes, así que yo lo dejaría como lo tienes ahora mismo. Aunque no tengas el sitemap, Google te podrá indexar sin problemas.

    El lunes veremos si Yoast Seo es le causante (tal vez añadiste algo en una de sus opciones) del problema. Una vez esté solucionado eso, te explicaré como modificar el robots.txt virtual.

    • Esta respuesta fue modificada hace 3 semanas, 1 día por almendron.

    Vale, mil gracias por todo.

    Ahora entré en mi search console y hay una web que está ya indexada en google https://baharytravels.com/combo-cayos-12-dias-4-personas/ lo cual no entiendo porque tiene la misam configuración que las otras 239.

    El error me sigue saliendo en la web principal y en el resto al inspeccionar desde la consola, pero bueno, ahora ya ha cambiado tal etiqueta como me indicas, así que esperemos que me vaya indexando.

    Muchísimas gracias

    Moderador almendron

    (@almendron)

    Veo que tienes activado el plugin Yoast SEO y la etiqueta es la correcta

    <meta name="robots" content="index, follow" />

    El otro problema es el robots.txt. Este archivo no bloquea nada. Tan solo son recomendaciones que los rastreadores pueden o no seguir. Para bloquear de verdad los boots «malignos» hay que irse al htaccess.

    Ya que empelas Yoast SEO, lo mejor es que construyas dicho archivo con la herramienta que se incluye.

    Y por último, tienes un error. Al añadir

    User-Agent: Googlebot
    Allow: /*.css$
    Allow: /*.js$

    estás deshabilitando el resto de líneas para el bot de Google ya que solo leerá esas: https://www.almendron.com/blog/robots-txt-wordpress-y-un-error-muy-comun/

    • Esta respuesta fue modificada hace 2 semanas, 4 días por almendron.
    • Esta respuesta fue modificada hace 2 semanas, 4 días por almendron.

    Buenas,

    Gracias por la ayuda, la verdad que ya me han empezando a indexar algunas páginas aunque me ha pasado algo extraño porque antes de ayer tenia ya 1700 resultados y me ha vuelto a bajar, algo bastante extraño.

    No obstante, respecto al bloqueo a robots voy a modificarlo según lo que me indicas en el archivo.

    Así que yo creo que está más o menos solucionado.

    Te agradezco mucho todo!

Viendo 15 respuestas - de la 1 a la 15 (de un total de 21)
  • Debes estar registrado para responder a este debate.