Para WordPress el archivo robots.txt que debe estar en la raíz de tu sitio debe incluir lo siguiente:
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /?s=
Disallow: /search
Disallow: /*?
User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$
En caso de que tengas un sitemap, debes añadir la siguiente línea:
Sitemap: http://www.casasierrasalamanca.com/sitemap.xml
Pero como pongo en segunda parte de mi mensaje, es que no encuentro no el archivo robots.txt ni sé como editarlo:
Es posible que sea un archivo virtual creado por algún plugin de SEO o de creación de sitemap. Busca en las opciones.
En cualquier caso, usa el notepad para crearlo y luego lo subes por FTP al directorio raíz.
me imagino que Yoast seo, que es que gestiona el sitemap, pero no veo ninguna opciónque hace alusión al robots.txt….
puedo hacer uno como dices y ponerlo manualmente, no va a entrar en conflicto con ese otro virtual?
¿Has mirado en las opciones del plugin? De todas formas, también podría ser el generado automaticamente por WordPress. En este caso, no hay problemas si colocas tú uno.
Ponlo y luego ve a la consola de google y comprueba allí qué robots.txt está viendo.
en el plugin no he visto nada.
vale, voy a probar de subirlo lo como dices aver gracias otra vez…
he puesto esto. es el tío pero con user arriba que faltaba (search console me ponía error)
y 2 sitemap, no sé porque pero tengo 2 sitemap en mi google console. te parece correcto asi?
`User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /?s=
Disallow: /search
Disallow: /*?
User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$
Sitemap: http://www.casasierrasalamanca.com/sitemap.xml
Sitemap: http://www.casasierrasalamanca.com/sitemap_index.xml
1) Lo de User-agent: *
es necesario porque así le estás diciendo que las siguientes reglas son para todos los rastreadores.
2) Está todo bien excepto lo del sitemap.xml. Prueba con
Sitemap: http://www.casasierrasalamanca.com/sitemap.xml
o con
http://www.casasierrasalamanca.com/sitemap_index.xml
Google cogerá todos los archivos que haya dentro indicados.
pero porque tengo 2 sitemap generado por WP?
Los genera el plugin de SEO que tienes instalado. Es por cuestiones prácticas. Al dividirlo es más rápida su creación y menos sobrecarga al servidor.
El plugin que uso to, por ejemplo, crea unos cuantos más 🙂
https://www.almendron.com/tribuna/sitemap.xml
pero entonces, si estan repartidas las URL’s en varios sitemap, no se debe indicarlos todos en robots txt?
no entiendo, entonces. el sitemap es para decir a los robots las paginas que existen, si las partes en varios sitemaps y solo le indicas una, ya sé que es capaz de encontrar las otra url’s por su cuenta, pero el sitemap no es para facilitarles la tarea?
Google busca el archivo sitemap.xml y ese es el que necesita.
Lee: https://www.sitemaps.org/es/protocol.html#index
Y este es el código fuente de tu sitemap:
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>http://www.casasierrasalamanca.com/post-sitemap.xml</loc>
<lastmod>2017-02-24T22:52:02+01:00</lastmod>
</sitemap>
<sitemap>
<loc>http://www.casasierrasalamanca.com/page-sitemap.xml</loc>
<lastmod>2017-03-01T11:42:40+01:00</lastmod>
</sitemap>
</sitemapindex>
Como puedes comprobar se ajusta al protocolo.
entendido !
muchas gracias !