Para editar el contenido no necesitas plugin, siempre lo puedes modificar en el editor y, a menos que tu cambies el permalink de tu post o página, la URL no cambiará.
Suena como a un hackeo… revisar la base de datos desde phpMyAdmin para ver qué usuarios están registrados será el principio para determinar los pasos siguientes.