Hola Andrés, para disminuir el tiempo de carga de tu web lo primero que debes mirar son los scripts js en la cabecera de la web, pues estos suelen cargar antes que el resto de la web.
Algo que puedes probar es:
-activar la carga diferida en imágenes y scripts
-mover elementos que cargan en header a la footer
-Comprimir imágenes
Esto lo puedes hacer con el plugin w3totalcache
Ten en cuenta que a veces no se puede hacer sin quitar elementos importantes de la web como los sliders o el botón de WhatsApp.
Este es un ejemplo de una web en la que aplique todo eso y al final la velocidad de carga subió hasta 79 según Google page speed: pavimentohormigon.com