Soporte » Guías – Resolución de problemas » robots.txt, como editarlo

  • Resuelto fredericcreusot

    (@fredericcreusot)


    Hola,
    he mirado unos cuantos hilos pero no encuentro respuesta a mi duda:

    me aconsejan desde un audit tener un robots.txt sencillo
    User-agent: *
    Allow: /

    el que tengo ahora, me imagino generado por Wo es:
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Pero no sé donde accedo a editar ese archivo, es más debería estar en la raiz del sitio pero cuando lo busco no lo encuentro, sin embargo siguiendo la url http://www.casasierrasalamanca.com/robots.txt si está..

    gracias por aclarme si podeís.

Viendo 15 respuestas - de la 1 a la 15 (de un total de 16)
  • Moderador almendron

    (@almendron)

    Para WordPress el archivo robots.txt que debe estar en la raíz de tu sitio debe incluir lo siguiente:

    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/themes/
    Disallow: /?s=
    Disallow: /search
    Disallow: /*?
    
    User-Agent: Googlebot
    Allow: /*.css$
    Allow: /*.js$
    

    En caso de que tengas un sitemap, debes añadir la siguiente línea:
    Sitemap: http://www.casasierrasalamanca.com/sitemap.xml

    Iniciador del debate fredericcreusot

    (@fredericcreusot)

    Pero como pongo en segunda parte de mi mensaje, es que no encuentro no el archivo robots.txt ni sé como editarlo:

    Moderador almendron

    (@almendron)

    Es posible que sea un archivo virtual creado por algún plugin de SEO o de creación de sitemap. Busca en las opciones.
    En cualquier caso, usa el notepad para crearlo y luego lo subes por FTP al directorio raíz.

    Iniciador del debate fredericcreusot

    (@fredericcreusot)

    me imagino que Yoast seo, que es que gestiona el sitemap, pero no veo ninguna opciónque hace alusión al robots.txt….

    puedo hacer uno como dices y ponerlo manualmente, no va a entrar en conflicto con ese otro virtual?

    Moderador almendron

    (@almendron)

    ¿Has mirado en las opciones del plugin? De todas formas, también podría ser el generado automaticamente por WordPress. En este caso, no hay problemas si colocas tú uno.
    Ponlo y luego ve a la consola de google y comprueba allí qué robots.txt está viendo.

    Iniciador del debate fredericcreusot

    (@fredericcreusot)

    en el plugin no he visto nada.
    vale, voy a probar de subirlo lo como dices aver gracias otra vez…

    Iniciador del debate fredericcreusot

    (@fredericcreusot)

    he puesto esto. es el tío pero con user arriba que faltaba (search console me ponía error)
    y 2 sitemap, no sé porque pero tengo 2 sitemap en mi google console. te parece correcto asi?

    `User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/themes/
    Disallow: /?s=
    Disallow: /search
    Disallow: /*?

    User-Agent: Googlebot
    Allow: /*.css$
    Allow: /*.js$

    Sitemap: http://www.casasierrasalamanca.com/sitemap.xml
    Sitemap: http://www.casasierrasalamanca.com/sitemap_index.xml

    Moderador almendron

    (@almendron)

    1) Lo de User-agent: * es necesario porque así le estás diciendo que las siguientes reglas son para todos los rastreadores.

    2) Está todo bien excepto lo del sitemap.xml. Prueba con
    Sitemap: http://www.casasierrasalamanca.com/sitemap.xml
    o con
    http://www.casasierrasalamanca.com/sitemap_index.xml
    Google cogerá todos los archivos que haya dentro indicados.

    Iniciador del debate fredericcreusot

    (@fredericcreusot)

    pero porque tengo 2 sitemap generado por WP?

    Moderador almendron

    (@almendron)

    Los genera el plugin de SEO que tienes instalado. Es por cuestiones prácticas. Al dividirlo es más rápida su creación y menos sobrecarga al servidor.
    El plugin que uso to, por ejemplo, crea unos cuantos más 🙂
    https://www.almendron.com/tribuna/sitemap.xml

    Iniciador del debate fredericcreusot

    (@fredericcreusot)

    pero entonces, si estan repartidas las URL’s en varios sitemap, no se debe indicarlos todos en robots txt?

    Moderador almendron

    (@almendron)

    No, no es necesario.

    Iniciador del debate fredericcreusot

    (@fredericcreusot)

    no entiendo, entonces. el sitemap es para decir a los robots las paginas que existen, si las partes en varios sitemaps y solo le indicas una, ya sé que es capaz de encontrar las otra url’s por su cuenta, pero el sitemap no es para facilitarles la tarea?

    Moderador almendron

    (@almendron)

    Google busca el archivo sitemap.xml y ese es el que necesita.
    Lee: https://www.sitemaps.org/es/protocol.html#index

    Y este es el código fuente de tu sitemap:

    <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    	<sitemap>
    		<loc>http://www.casasierrasalamanca.com/post-sitemap.xml</loc>
    		<lastmod>2017-02-24T22:52:02+01:00</lastmod>
    	</sitemap>
    	<sitemap>
    		<loc>http://www.casasierrasalamanca.com/page-sitemap.xml</loc>
    		<lastmod>2017-03-01T11:42:40+01:00</lastmod>
    	</sitemap>
    </sitemapindex>

    Como puedes comprobar se ajusta al protocolo.

    Iniciador del debate fredericcreusot

    (@fredericcreusot)

    entendido !
    muchas gracias !

Viendo 15 respuestas - de la 1 a la 15 (de un total de 16)
  • El debate ‘robots.txt, como editarlo’ está cerrado a nuevas respuestas.