Descripción
Better Robots.txt creates a WordPress virtual robots.txt, helps you boost your website SEO (indexing capacities, Google ranking,etc.) and your loading performance –Compatible with Yoast SEO, Google Merchant, WooCommerce and Directory based network sites (MULTISITE)
Con Better Robots.txt, puedes identificar qué motores de búsqueda están autorizados a rastrear (o no) tu sitio web, especificar instrucciones claras sobre lo que están autorizados a hacer (o no) y definir un retraso de araña de web (para proteger tu servidor de alojamiento contra scrapers agresivos). Better Robots.txt también te ofrece un control total sobre el contenido del archivo robotst.txt mediante un cuadro de configuración personalizado.
Reduce your site’s ecological footprint and the greenhouse gas (CO2) production inherent to its existence on the Web.
Descripción general:
DISPONIBLE EN 7 IDIOMAS
Better Robots.txt plugins are translated and available in: Chinese –汉语/漢語, English, French – Français, Russian –Руссɤɢɣ, Portuguese – Português, Spanish – Español, German – Deutsch
¿Sabías que..?
- El archivo robots.txt es un simple archivo de texto ubicado en su servidor web que indica a las arañas web (como Googlebot) si deben acceder a un archivo o no.
- El archivo robots.txt controla cómo las arañas de los motores de búsqueda ven e interactúan con tus páginas web;
- Este archivo, y los bots con los que interactúan, son partes fundamentales de cómo funcionan los motores de búsqueda;
- Lo primero que un rastreador de motores de búsqueda mira cuando está visitando una página web es el archivo robots.txt;
El archivo robots.txt es una fuente de información de SEO que está a la espera de ser desbloqueada. ¡Prueba Better Robots.txt!
Acerca de la versión Pro (características adicionales):
1. ¡Aumenta tu contenido en los motores de búsqueda con tu mapa de sitio!
Asegúrate de que tus páginas, artículos y productos, incluso los más recientes, sean tenidos en cuenta por los motores de búsqueda.
El plugin Better Robots.txt fue hecho para trabajar con el plugin Yoast SEO (probablemente el mejor plugin SEO para sitios web de WordPress). Detectará si estás utilizando Yoast SEO y si la función de mapa de sitio está activada. Si es así, añadirá automáticamente instrucciones en el archivo Robots.txt pidiendo a los bots/arañas que lean tu mapa del sitio y comprueben si has realizado cambios recientes en tu sitio web (para que los motores de búsqueda puedan rastrear el nuevo contenido disponible).
Si deseas añadir tu propio mapa del sitio (o si estás utilizando otro plugin SEO), sólo tienes que copiar y pegar la URL de tu mapa del sitio y Better Robots.txt lo añadirá a tu archivo Robots.txt.
2. Protege tus datos y contenido
Bloquea a los bots malos para que no copien (scraping web) tu sitio web y comercialicen tus datos.
El plugin Better Robots.txt te ayuda a bloquear la mayoría de los bots malos más populares para que no copien y rastreen tus datos.
Cuando se trata de cosas que rastrean tu sitio web, hay buenos y malos bots. Los buenos bots, como el bot de Google, rastrean tu sitio web para indexarlo en los motores de búsqueda. Otros rastrean tu sitio por razones más nefastas, como la eliminación de tu contenido (texto, precios,…) para volver a publicar, descargar archivos completos de tu sitio o extraer tus imágenes. Algunos bots incluso han acabado con sitios web enteros como resultado de una banda ancha pesada…
El plugin Better Robots.txt protege tu sitio web contra arañas/scrapers identificados como bots malos por Distil Networks.
3. Oculta y protege tus enlaces recibidos
Evita que la competencia identifique tus enlaces recibidos rentables
Los enlaces recibidos, también llamados «enlances de entrada» o «enlaces de retroceso», se crean cuando un sitio web se enlaza con otro. El enlace a un sitio web externo se llama enlace recibido. Los enlaces recibidos son valiosos para SEO, ya que representan un «voto de confianza» de un sitio a otro. En esencia, los vínculos de retroceso a su sitio web son una señal a los motores de búsqueda que otros responden por tu contenido.
Si muchos sitios enlazan a la misma página web o sitio web, los motores de búsqueda pueden inferir que el contenido vale la pena enlazarlo, y por lo tanto también vale la pena emerger en un SERP. Por lo tanto, la obtención de estos enlaces recibidos genera un efecto positivo en la posición de un sitio o la visibilidad de la búsqueda. En la industria SEM, es muy común que los especialistas identifiquen de dónde vienen estos enlaces recibidos (competidores) con el fin de clasificar los mejores de ellos y generar enlaces recibidos de alta calidad para sus propios clientes.
Teniendo en cuenta que la creación de enlaces recibidos rentables para una empresa lleva mucho tiempo (tiempo + energía + presupuesto), permitir a tus competidores identificarlos y duplicarlos tan fácilmente es una pérdida de eficiencia.
Better Robots.txt te ayuda a bloquear todos los rastreadores SEO (aHref, Majestic, Semrush) para mantener tus enlaces recibidos indetectables.
4. Evita los enlaces recibidos de spams
Los bots que pueblan los formularios de comentarios de tu sitio web te dicen: «gran artículo, me encanta la información, espero que puedas elaborar más sobre el tema pronto» o incluso ofrecen comentarios personalizados, incluyendo el nombre del autor. Los bots de spam obtienen más y más inteligencia, por desgracia, y los enlaces de spam en los comentarios pueden dañar tu perfil de enlace recibido. Better Robots.txt te ayuda a evitar que estos comentarios sean indexados por los motores de búsqueda.
5. Herramientas SEO
A la vez que mejoramos nuestro plugin, añadimos enlaces de acceso directo a dos herramientas muy importantes (si te preocupa tu clasificación en los motores de búsqueda): Search Console de Google y herramienta Bing Webmaster. En caso de que aún no los estés utilizando, ¡ahora puedes administrar la indexación de tu sitio web mientras optimizas tu robots.txt! También se agregó un acceso directo a una herramienta de ping masivo, que te permite hacer ping a tus enlaces en más de 70 motores de búsqueda.
También hemos creado cuatro enlaces de acceso directo relacionados con las mejores herramientas de SEO en línea, directamente disponibles en Better Robots.txt SEO PRO. De modo que, siempre que lo desees, puedes comprobar el rendimiento de carga de tu sitio web, analizar tu puntuación SEO, identificar tu clasificación actual en SERP con palabras clave y tráfico, e incluso escanear todo tu sitio web en busca de enlaces rotos (errores 404, 503,…), directamente desde el plugin…
6. Sé único
Pensamos que podríamos añadir un toque de originalidad a Better Robots.txt añadiendo una característica que te permita «personalizar» tu robots.txt con tu propia y única «firma». La mayoría de las grandes empresas del mundo han personalizado sus robots.txt añadiendo proverbios (https://www.yelp.com/robots.txt), eslóganes (https://www.youtube.com/robots.txt) o incluso dibujos (https://store.nike.com/robots.txt – en la parte inferior)…. ¿Por qué no tú? Es por eso que hemos dedicado un área específica en la página de configuración donde puedes escribir o dibujar lo que quieras sin afectar la eficiencia de tu robots.txt.
7. Prevent robots crawling useless WooCommerce links
We added a unique feature allowing to block specific links («add-to-cart», «orderby», «fllter», cart, account, checkout, …) from being crawled by search engines. Most of these links require a lot of CPU, memory & bandwidth usage (on hosting server) because they are not cacheable and/or create «infinite» crawling loops (while they are useless). Optimizing your WordPress robots.txt for WooCommerce when having an online store, allows to provide more processing power for pages that really matter and boost your loading performance.
8. Avoid crawler traps:
«Crawler traps” are a structural issue within a website that causes crawlers to find a virtually infinite number of irrelevant URLs. In theory, crawlers could get stuck in one part of a website and never finish crawling these irrelevant URLs. Better Robots.txt helps prevent crawler traps which hurt crawl budget and cause duplicate content.
9. Growth hacking tools
Today’s fastest growing companies like Amazon, Airbnb and Facebook have all driven breakout growth by aligning their teams around a high velocity testing/learning process. We are talking about Growth Hacking. Growth hacking is a process of rapidly experimenting with and implementing marketing and promotional strategies that are solely focused on efficient and rapid business growth. Better Robots.txt provide a list of 150+ tools available online to skyrocket your growth.
10. Robots.txt Post Meta Box for manual exclusions
This Post Meta Box allows to set «manually» if a page should be visible (or not) on search engines by injecting a dedicated «disallow» + «noindex» rule inside your WordPress robots.txt. Why is it an asset for your ranking on search engines ? Simply because some pages are not meant to be crawled / indexed. Thank you pages, landing pages, page containing exclusively forms are useful for visitors but not for crawlers, and you don’t need them to be visible on search engines. Also, some pages containing dynamic calendars (for online booking) should NEVER be accessible to crawlers beause they tend to trap them into infinite crawling loops which impacts directly your crawl budget (and your ranking).
11. Ads.txt & App-ads.txt crawlability
In order to ensure that ads.txt & app-ads.txt can be crawled by search engines, Better Robots.txt plugin makes sure they are by default allowed in Robots.txt file no matter your configuration. For your information, Authorized Digital Sellers for Web, or ads.txt, is an IAB initiative to improve transparency in programmatic advertising. You can create your own ads.txt files to identify who is authorized to sell your inventory. The files are publicly available and crawlable by exchanges, Supply-Side Platforms (SSP), and other buyers and third-party vendors. Authorized Sellers for Apps, or app-ads.txt, is an extension to the Authorized Digital Sellers standard. It expands compatibility to support ads shown in mobile apps.
Más por venir, como siempre…
Capturas
Better Robots.txt Settings Page 
Better Robots.txt Settings Page 
Better Robots.txt Settings Page 
Better Robots.txt Settings Page 
Robots.txt file output 
Instalación
INSTALACIÓN MANUAL
- Descomprime todos los archivos en el directorio
/wp-content/plugins/better-robots-txt - Inicia sesión en el administrador de WordPress y activa el plugin «Better Robots.txt» a través del menú «Plugins».
- Ve a «Ajustes > Better Robots.txt» en el menú de la izquierda para empezar a trabajar en el archivo robots.txt.
FAQ
-
El plugin Better Robots.txt está activado, pero ¿por qué no puedo ver ningún cambio en el archivo robots.txt?
-
Better Robots.txt crea un archivo virtual robots.txt. Por favor, asegúrate de que tus enlaces permanentes estén habilitados en Configuración > Enlaces permanentes. Si los enlaces permanentes están funcionando, asegúrese de que no haya ningún archivo físico robots.txt en tu servidor. Como no puedes escribir sobre un archivo físico, debes conectarte a FTP y renombrar o eliminar el robots.txt del directorio raíz de tu dominio. Normalmente está en la carpeta /public_html/ en los hostings de cPanel. Si no puedes encontrar el directorio raíz de tu dominio, pídele ayuda a tu proveedor de hosting. Si el problema persiste después de tomar estas medidas, por favor publícalo en la sección de soporte o envía un mensaje a support@better-robots.com
-
¿Habrá algún conflicto con el robots.txt que ya estoy utilizando?
-
Si tienes un robots.txt físico en tu servidor de alojamiento web, entonces este plugin no funcionará. Como se mencionó anteriormente, crea un archivo virtual robots.txt. Por favor, sigue los pasos de la respuesta anterior si deseas utilizar el archivo robots.txt con este plugin.
-
How to add sitemap in my WordPress robots.txt?
-
Esta función está permitida en la versión Better Robots.txt Pro, que añade automáticamente el mapa del sitio en el archivo robots.txt. Detecta el mapa del sitio desde el plugin Yoast SEO. En caso de que estés utilizando un plugin de mapa del sitio diferente o un mapa del sitio generado manualmente, simplemente puedes agregar la URL del mapa del sitio en el campo de entrada del mapa del sitio. Si los mapas del sitio de Yoast XML también están habilitados, entonces necesitas deshabilitarlos primero simplemente yendo a Yoast Configuración general > Características y deshabilita la función de XML Sitemaps.
-
¿Por qué debería optimizar el archivo robots.txt?
-
¿Por qué no? Teniendo en cuenta que robots.txt es el primer archivo leído cuando tu sitio web es cargado por un navegador, ¿por qué no permitir que los rastreadores indexen continuamente tu contenido? El simple hecho de añadir tu Mapa del sitio en Robots.txt es simplemente sentido común. ¿Por qué? ¿Has incluido tu sitio web en la Search Console de Google, lo ha hecho tu webmaster? ¿Cómo informar a las arañas web de que tienes nuevo contenido disponible para indexación en tu sitio web? Si quieres que este contenido se encuentre en los motores de búsqueda (Google, Bing,…), tienes que indexarlo. Eso es exactamente a lo que apunta esta instrucción (añadiendo el mapa del sitio). Un último punto. La razón principal por la que existe este plugin es porque el 95 % de las veces (basado en miles de análisis SEO), el archivo robots.txt o bien falta, o bien está vacío o bien ha sido malinterpretado, simplemente porque ha sido malinterpretado u olvidado. Imagínate ahora si estuviera activado y completamente funcional.
-
¿Cómo puede este plugin mejorar la clasificación de mi sitio web?
-
En realidad, este plugin aumentará la capacidad de indexación de tu sitio web, lo que te permitirá mejorar tu posicionamiento en Google. ¿Cómo? Bueno, la idea de crear este plugin fue tomada después de hacer cientos de optimizaciones SEO en sitios web profesionales y corporativos. Como se mencionó anteriormente, el 95 % de los sitios web analizados no tenían lo que podríamos llamar un archivo robots.txt «optimizado» y, mientras optimizábamos estos sitios web, nos dimos cuenta de que simplemente modificar el contenido de este archivo era en realidad «desbloquear» estos sitios web (basado en los análisis diarios de SEMrush). Como estábamos acostumbrados a trabajar en dos pasos (periodos de tiempo), comenzar con esta simple modificación ya estaba generando un impacto significativo en el posicionamiento de Google, y esto, incluso antes de que empezáramos a modificar profundamente el contenido, la arborescencia del sitio o los datos meta. Cuanto más ayudes a los motores de búsqueda en la comprensión de tu sitio web, mejor ayudas a tu capacidad de obtener mejores resultados en los SERP.
-
How to test and validate your robots.txt?
-
While you can view the contents of your robots.txt by navigating to the robots.txt URL, the best way to test and validate it, is through the robots.txt Tester option of Google Search Console.
Login to your Google Search Console Account. Click on robots.txt Tester, found under Crawl options. Click the Test button.
If everything is ok, the Test button will turn green and the label will change to ALLOWED. If there is a problem, the line that causes a disallow will be highlighted.
-
¿Qué es un archivo robots.txt virtual?
-
WordPress by default is using a virtual robots.txt file. This means that you cannot directly edit the file or find it in the root of your directory.
The only way to view the contents of the file, is to type https://www.yourdomain.com/robots.txt in your browser.
The default values of WordPress robots.txt are:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpWhen you enable the “Discourage search engines from indexing this site” option under Search Engine Visibility Settings, the robots.txt becomes:
User-agent: *
Disallow: /Which basically blocks all crawlers from accessing the website.
-
Why Is Robots.txt Important?
-
There are 3 main reasons that you’d want to use a robots.txt file.
- Block Non-Public Pages: Sometimes you have pages on your site that you don’t want indexed. For example, you might have a staging version of a page. Or a login page. These pages need to exist. But you don’t want random people landing on them. This is a case where you’d use robots.txt to block these pages from search engine crawlers and bots.
- Maximize Crawl Budget: If you’re having a tough time getting all of your pages indexed, you might have a crawl budget problem. By blocking unimportant pages with robots.txt, Googlebot can spend more of your crawl budget on the pages that actually matter.
- Prevent Indexing of Resources: Using meta directives can work just as well as Robots.txt for preventing pages from getting indexed. However, meta directives don’t work well for multimedia resources, like PDFs and images. That’s where robots.txt comes into play.
You can check how many pages you have indexed in the Google Search Console.
If the number matches the number of pages that you want indexed, you don’t need to bother with a Robots.txt file.
But if that number of higher than you expected (and you notice indexed URLs that shouldn’t be indexed), then it’s time to create a robots.txt file for your website.
-
Robots.txt vs. Meta Directives
-
Why would you use robots.txt when you can block pages at the page-level with the “noindex” meta tag?
Como se mencionó anteriormente, la etiqueta noindex es difícil de implementar en recursos multimedia, como vídeos y archivos PDF.
Also, if you have thousands of pages that you want to block, it’s sometimes easier to block the entire section of that site with robots.txt instead of manually adding a noindex tag to every single page.
There are also edge cases where you don’t want to waste any crawl budget on Google landing on pages with the noindex tag.
-
Cosas importantes sobre robots.txt
-
- Robots.txt debe estar en la carpeta principal, es decir, domain.com/robots.txt.
- Cada subdominio necesita su propio robots.txt (sub1.dominio.com, sub2.dominio.com,…) mientras que los multisitios solo requieren UN robots.txt (domain.com/multi1, domain.com/multi2,…).
- Algunos rastreadores pueden ignorar el robots.txt.
- Las URLs y el archivo robots.txt distinguen entre mayúsculas y minúsculas.
- Crawl-delay is not honored by Google (as it has its own crawl-budget), but you can manage crawl settings in Google Search Console.
- Validate your robots.txt file in Google Search Console and Bing Webmaster Tools.
- Don’t block crawling to avoid duplicate content. Don’t disallow pages which are redirected. Crawlers won’t be able to follow the redirect.
- El tamaño máximo de un archivo robots.txt es de 500 KB.
PS: Pagup recommends Site kit by Google plugin for insights & SEO performance.
Reseñas
Colaboradores y desarrolladores
«WordPress Robots.txt optimization (+ XML Sitemap) – Website traffic, SEO & ranking Booster» es un software de código abierto. Las siguientes personas han colaborado con este plugin.
Colaboradores
«WordPress Robots.txt optimization (+ XML Sitemap) – Website traffic, SEO & ranking Booster» ha sido traducido a 3 idiomas locales. Gracias a los traductores por sus contribuciones.
¿Interesado en el desarrollo?
Revisa el código , echa un vistazo al repositorio SVN o suscríbete al registro de desarrollo por RSS.
Registro de cambios
1.0.0
- Initial release.
1.0.1
- fixed plugin directory url issue
- some text improvements
1.0.2
- fixed some minor issues with styling
- improved text and translation
1.1.0
- added some major improvements
- allow/off option changed with allow/disallow/off
- improved overall text and french translation
1.1.1
- fixed a bug and improved code
1.1.2
- added new feature «Spam Backlink Blocker»
1.1.3
- fixed a bug
1.1.4
- added new «personalize your robots.txt» feature to add custom signature
- added recommended seo tools to improve search engine optimization
1.1.5
- added feature to detect physical robots.txt file and delete it if server permissions allows
1.1.6
- added russian and chinese (simplified) languages
- fixed bug causing redirection to better robots.txt settings page upon activating other plugins
1.1.7
- added new feature: Top plugins for SEO performance
- fixed plugin notices issue to dismiss for define period of time after being closed
- fixed stylesheet issue to get proper updated file after plugin update (cache buster)
- added spanish and portuguese languages
1.1.8
- added new feature: xml sitemap detection
- fixed translations
1.1.9
- added new feature: loading performance for woocommerce
1.1.9.1
- fixed a bug in disallow rules for woocommerce
1.1.9.2
- boost your site with alt tags
1.1.9.3
- fixed readability issues
1.1.9.4
- fixed default robots.txt file issue upon plugin activation for first time
- fixed php error upon saving settings and permalinks
- refactored code
1.1.9.5
- added clean-param for yandex bot
- ask backlinks feature for pro users
- avoid crawler traps feature for pro users
- improved default robots.txt rules
1.1.9.6
- added 150+ growth hacking tools
- fixed layout bug
- updated default rules
1.2.0
- Added Post Meta Box to Disable Indivdual post, pages and products (woocommerce pro only). It will add Disallow and Noindex rule in robots.txt for any page you choose to disallow from post meta box options.
1.2.1
- Added multisite feature for directory based network sites (pro only). it can duplicate all default rules, yoast sitemap, woocommerce rules, bad bots, pinterest bot blocker, backlinks blocker etc with a single click for all directory based network sites.
- Added version timestamp for wp_register_script ‘assets/rt-script.js’
1.2.2
- Fixed some bugs creating error in google search console
- Text improvement
1.2.3
- Added «Hide your robots.txt from SERPs» feature
- Text improvements
1.2.4
- Fixed a bug
- Text improvements
1.2.5
- Fixed crawl-delay issue
- Updated translations
1.2.5.1
- Fixed a minor issue
1.2.6
- Security patched in freemius sdk
1.2.6.1
- Fixed Multisite Issue for pro users
1.2.6.2
- Fixed Yoast sitemap issue for Multisite users
1.2.6.3
- Fixed some text
1.2.7
- Added Baidu/Sogou/Soso/Youdao – Chinese search engines features for pro users
- Added social media crawl feature for pro users
1.2.8
- Notification will be disabled for 4 months. Fixed some other minor stuff
1.2.9.2
- Updated Freemius SDK v2.3.0
- BIGTA recommendation
1.2.9.3
- Fixed Undefined index error while saving MENUS for some sites
- Removed «noindex» rule for individual posts as Google will stop supprting it from Sep 01 2019
1.3.0
- Added 5 new rules to default config. Removed 4 old default rules which were cuasing some issues with WPML
- Added a search rule to Avoid crawling traps
- Added several new rules to Spam Backlink Blocker
- Fixed security issues
1.3.0.1
- VidSEO recommendation
1.3.0.2
- Fixed some security issues
- Added new rules to Backlink Protector (Pro only)
- Multisite notification will be disabled permenantly once dismissed
1.3.0.3
- Fixed php notice (in php log) for $host_url variable
1.3.0.4
- Fixed php notice (in php log) for $active_tab variable
- Fixed some typos
1.3.0.5
- Added option to Be part of our worldwide Movement against CoronaVirus (Covid-19)
- Fixed several php undefined index notices (in php log) related to Step 7 and 8 options
1.3.0.6
- 👌 IMPROVE: Updated freemius to latest version 2.3.2
- 🐛 FIX: Some minor issues
1.3.0.7
- 🔥 NEW: WP Google Street View promotion
- 🐛 FIX: Some minor text issues
1.3.1.0
- 👌 IMPROVE: Admin Notices are set to permenantly dismissed based on user.
- 👌 IMPROVE: Top level menu for Better Robots.txt Settings
- 🐛 FIX: Styling conflict with Norebro Theme.
- 🐛 FIX: Undefined variables php errors for some options
1.3.2.0
- 🐛 FIXED: XSS vulnerability.
- 🐛 FIX: Non-static method errors
- 👌 IMPROVE: Tested up to WordPress v5.5
1.3.2.1
- 🐛 FIXED: Call to undefined method error.
1.3.2.2
- 👌 IMPROVE: Update Freemius to v2.4.1
1.3.2.3
- 👌 IMPROVE: Tested up to WordPress v5.6
- 🐛 FIX: Get Pro URL
1.3.2.4
- 👌 IMPROVE: Added some more rules for Woocommerce performance
- 👌 IMPROVE: Update Freemius to v2.4.2
1.3.2.5
- 🔥 NEW: Meta Tags for SEO promotion
1.4.0
- 👌 IMPROVE: Refactored code to MVC
- 👌 IMPROVE: New clean design
- 👌 IMPROVE: Many small improvements
1.4.0.1
- 🐛 FIX: Added trailing backslash for using trait
1.4.1
- 🔥 NEW: Search engine visibility feature (Pro version)
- 🔥 NEW: Image Crawlability feature (Pro version)
1.4.1.1
- 🐛 FIX: Sitemap issue
1.4.2
- 🐛 FIX: Bugs and improvements
- 🔥 NEW: Option to add default WordPress Sitemap (Pro Version)
- 🔥 NEW: Option to add All in One SEO Sitemap (Pro Version)
1.4.3
- 🐛 FIX: Text issues
1.4.4
- 🐛 FIX: Security fix
1.4.5
- 🐛 FIX: PHP warning undefined index
1.4.6
- 🐛 FIX: SECURITY PATCH. Verify nonce for CSRF attack.
- 🐛 FIX: PHP 8.2 warning undefined index
1.4.7
- 🐛 FIX: Removed Be part of movement against CoronaVirus (Covid-19) option