Descripción
En pocas palabras: No quieres a los robots desperdiciando tus recursos y ralentizando tu sitio si no te aportan algún tipo de beneficio directo o indirecto. Una configuración óptima maximizará tus resultados SEO y reducirá tus costes de operación.
Necesitarás menos de un minuto para ajustar las características de tu sitio y conseguir una configuración personalizada de robots.txt instalada, adaptada a tus necesidades y fácilmente actualizado sin quebraderos de cabeza. Permítenos aplicar nuestra experiencia en el mantenimiento y optimización de sitios. Una idea clara de lo que queremos hacer y por qué, nos motivó a cambiar el método de decisión de los robots.txt creados por humanos a un sistema automatizado, las cosas son más simples de lo que parecen. Aquí viene a ayudar este plugin, haciendo toda la magia para ti.
Algunas características de tu sitio se detectarán automáticamente para reducir la necesidad de configuración manual al mínimo. Unas pocas preguntas sencillas acerca de tu sitio serán suficientes para la gran mayoría de sitios.
Update procedure
Any change required to the robots.txt is applied in real time when operating in virtual file mode. If you are working in real file mode, after updating the plugin version you should click the Save Changes button in the configuration screen to regenerate the robots.txt file.
Capturas
Vista de ajustes. 
Ejemplo de un robots.txt resultante. 
Ejemplo de un robots.txt resultante en modo de depuración. 
Información adicional en la vista de ajustes en modo de depuración.
Instalación
- Sube los archivos al directorio /wp-content/plugins/magic-robots-txt o instala el plugin directamente desde el menú Plugins de tu WordPress.
- Activa el plugin mediante el menú Plugins de tu WordPress.
- Ve a los ajustes de Magic robots.txt desde el menú de administración de WordPress para configurar el plugin.
- Configura los ajustes conforme a tu sitio o mantén los valores por defecto y pulsa en Guardar cambios.
FAQ
-
¿Cómo puedo comprobar el contenido del robots.txt?
-
Dirígete a https://www.tusitio.com/robots.txt para ver el robots.txt actual. Recuerda que tu navegador puede almacenarlo en caché, opera como sea necesario para refrescarlo.
-
¿Puedo modificar el contenido del robots.txt?
-
Selecciona la opción Usar archivo real y modifica el archivo creado fuera del bloque generado por el plugin.
-
Hay un montón de porquería en el robots.txt, ¿puede quedar más limpio?
-
Tal vez tu WordPress está en modo de depuración, desactívalo para reducir los comentarios incluidos.
-
¿Puedo obtener más información sobre el contenido generado en el robots.txt?
-
Activa el modo de depuración en tu WordPress y léelo de nuevo. Si estás usando el modo de archivo real, se requiere grabar los ajustes para regenerar el archivo.
-
¿Funciona el plugin en subdirectorios?
-
Sí. Como no está disponible el archivo virtual porque necesita estar en el raíz del dominio, el plugin se ejecutará en modo de archivo real.
-
¿Funciona el plugin en multisitio?
-
No, no está previsto.
-
¿Es compatible con el robots.txt de Yoast SEO?
-
En modo de archivo virtual, procesamos sus datos.
-
¿Es compatible con los mapas del sitio de Yoast SEO?
-
Sí, los detectamos y procesamos.
-
¿Es compatible con el plugin All In One SEO?
-
No lo hemos intentado, requiere comprobaciones.
-
¿Es compatible con servidores Windows?
-
No lo hemos intentado, el modo de archivo robots.txt real puede fallar. Si WordPress está instalado en un subdirectorio del raíz de documentos del dominio, seguro que fallará en Windows actualmente. Contacta con el soporte si estás interesado y listo para hacer algunas pruebas.
-
¿Cómo agrego un nuevo robot?
-
Si el robot obedece el robots.txt, contacta con el soporte y facilítanos esta información:
*User-agent.
*URL de la página de infromación del robot.
*Tipo: Buscador / analizador de enlaces / gestión de publicidad / navegador desconectado o descargador de sitios.Robots más allá de estos tipos quedan fuera del alcance del plugin.
-
¿Puedo utilizar el plugin para bloquear ataques?
-
No es un plugin de seguridad, disculpa, deberías usar un cortafuegos o algo como fail2ban.
Reseñas
Colaboradores y desarrolladores
«Magic robots.txt» es un software de código abierto. Las siguientes personas han colaborado con este plugin.
Colaboradores
«Magic robots.txt» está traducido en 2 idiomas. Gracias a los traductores por sus contribuciones.
Traduce «Magic robots.txt» a tu idioma.
¿Interesado en el desarrollo?
Revisa el código , echa un vistazo al repositorio SVN o suscríbete al registro de desarrollo por RSS.
Registro de cambios
1.0.7 – Aug 5, 2024
- Fixed bug when no initial configiration is done.
1.0.6 – Aug 1, 2024
- WordPress 6.6 basic compatibility checked.
- Fixed plugin menu icon issue.
- Implemented physical file loading when running preview at https://playground.wordpress.net/
1.0.5 – March 30, 2024
- Changed the required capability to access the settings page.
- Improved settings update mechanism for conditional real robots.txt file generation.
- Minor code improvements.
- WordPress 6.5 basic compatibility checked.
1.0.4 – January 7, 2024
- Added Owler (Open Web Search) to search engines bot list.
- Added netEstate NE Crawler (Sengine) to search engines bot list.
- WordPress 6.4 basic compatibility checked.
1.0.3 – September 18, 2023
- WordPress 6.3 basic compatibility checked.
- Better load average availability testing.
- Changes in real robots.txt file management procedure.
- Improved source code styling and documentation.
- Added Amazonbot to abusive bots list.
1.0.2 – January 6, 2023
- Added «Google Listings & Ads» as not advertising indicator plugin.
- Added omgili and barkrowler to link analyzers bots list.
- Added MojeekBot, PetalBot, SeekportBot and Neevabot to search engines bot list.
- Added CriteoBot/0.1 and grapeshot to ad networks bot list.
- Added VelenPublicWebCrawler, AwarioBot, AwarioRssBot and AwarioSmartBot to abusive bot list.
- Untranslatable strings corrections.
- Corrected paths for allow and disallow in subdirectory installatons.
1.0.1 – November 20, 2022
- Syntax corrections.
- Untranslatable strings corrections.
1.0.0 . November 13, 2022
- First public version.