Descripción
En pocas palabras: No quieres a los robots desperdiciando tus recursos y ralentizando tu sitio si no te aportan algún tipo de beneficio directo o indirecto. Una configuración óptima maximizará tus resultados SEO y reducirá tus costes de operación.
Necesitarás menos de un minuto para ajustar las características de tu sitio y conseguir una configuración personalizada de robots.txt instalada, adaptada a tus necesidades y fácilmente actualizado sin quebraderos de cabeza. Permítenos aplicar nuestra experiencia en el mantenimiento y optimización de sitios. Una idea clara de lo que queremos hacer y por qué, nos motivó a cambiar el método de decisión de los robots.txt creados por humanos a un sistema automatizado, las cosas son más simples de lo que parecen. Aquí viene a ayudar este plugin, haciendo toda la magia para ti.
Algunas características de tu sitio se detectarán automáticamente para reducir la necesidad de configuración manual al mínimo. Unas pocas preguntas sencillas acerca de tu sitio serán suficientes para la gran mayoría de sitios.
Update procedure
Any change required to the robots.txt is applied in real time when operating in virtual file mode. If you are working in real file mode, after updating the plugin version you should click the Save Changes button in the configuration screen to regenerate the robots.txt file.
Capturas
Vista de ajustes. 
Ejemplo de un robots.txt resultante. 
Ejemplo de un robots.txt resultante en modo de depuración. 
Información adicional en la vista de ajustes en modo de depuración.
Instalación
- Sube los archivos al directorio /wp-content/plugins/magic-robots-txt o instala el plugin directamente desde el menú Plugins de tu WordPress.
- Activa el plugin mediante el menú Plugins de tu WordPress.
- Ve a los ajustes de Magic robots.txt desde el menú de administración de WordPress para configurar el plugin.
- Configura los ajustes conforme a tu sitio o mantén los valores por defecto y pulsa en Guardar cambios.
FAQ
-
¿Cómo puedo comprobar el contenido del robots.txt?
-
Dirígete a https://www.tusitio.com/robots.txt para ver el robots.txt actual. Recuerda que tu navegador puede almacenarlo en caché, opera como sea necesario para refrescarlo.
-
¿Puedo modificar el contenido del robots.txt?
-
Selecciona la opción Usar archivo real y modifica el archivo creado fuera del bloque generado por el plugin.
-
Hay un montón de porquería en el robots.txt, ¿puede quedar más limpio?
-
Tal vez tu WordPress está en modo de depuración, desactívalo para reducir los comentarios incluidos.
-
¿Puedo obtener más información sobre el contenido generado en el robots.txt?
-
Activa el modo de depuración en tu WordPress y léelo de nuevo. Si estás usando el modo de archivo real, se requiere grabar los ajustes para regenerar el archivo.
-
¿Funciona el plugin en subdirectorios?
-
Sí. Como no está disponible el archivo virtual porque necesita estar en el raíz del dominio, el plugin se ejecutará en modo de archivo real.
-
¿Funciona el plugin en multisitio?
-
No, no está previsto.
-
¿Es compatible con el robots.txt de Yoast SEO?
-
En modo de archivo virtual, procesamos sus datos.
-
¿Es compatible con los mapas del sitio de Yoast SEO?
-
Sí, los detectamos y procesamos.
-
¿Es compatible con el plugin All In One SEO?
-
No lo hemos intentado, requiere comprobaciones.
-
¿Es compatible con servidores Windows?
-
No lo hemos intentado, el modo de archivo robots.txt real puede fallar. Si WordPress está instalado en un subdirectorio del raíz de documentos del dominio, seguro que fallará en Windows actualmente. Contacta con el soporte si estás interesado y listo para hacer algunas pruebas.
-
¿Cómo agrego un nuevo robot?
-
Si el robot obedece el robots.txt, contacta con el soporte y facilítanos esta información:
*User-agent.
*URL de la página de infromación del robot.
*Tipo: Buscador / analizador de enlaces / gestión de publicidad / navegador desconectado o descargador de sitios.Robots más allá de estos tipos quedan fuera del alcance del plugin.
-
¿Puedo utilizar el plugin para bloquear ataques?
-
No es un plugin de seguridad, disculpa, deberías usar un cortafuegos o algo como fail2ban.
Reseñas
Colaboradores y desarrolladores
«Magic robots.txt» es un software de código abierto. Las siguientes personas han colaborado con este plugin.
Colaboradores
«Magic robots.txt» ha sido traducido a 1 idioma local. Gracias a los traductores por sus contribuciones.
Traduce «Magic robots.txt» a tu idioma.
¿Interesado en el desarrollo?
Revisa el código , echa un vistazo al repositorio SVN o suscríbete al registro de desarrollo por RSS.
Registro de cambios
1.0.3
Sep 18 2023
* WordPress 6.3 basic compatibility checked.
* Better load average availability testing.
* Changes in real robots.txt file manegement procedure.
* Improved source code styling and documentation.
* Added Amazonbot to abusive bots list.
1.0.2
06 enero 2023
* Añadido «Google Listings & Ads» como plugin no indicativo de publicidad.
* Añadidos omgili y barkrowler a la lista de robots analizadores de enlaces.
* Añadidos MojeekBot, PetalBot, SeekportBot y Neevabot a la lista de robots de buscadores.
* Añadido CriteoBot/0.1 y grapeshot la lista de robots de redes publicitarias.
* Añadidos VelenPublicWebCrawler, AwarioBot, AwarioRssBot y AwarioSmartBot a la lista de robots abusones.
* Corrección de cadenas no traducibles.
* Corregidas las rutas para allow y disallow en las instalaciones en subdirectorios.
1.0.1
20 noviembre 2022
* Correcciones sintácticas.
* Corrección de cadenas no traducibles.
1.0.0
13 noviembre 2022
* Primera versión pública.