Antes de mais, essas coisas do Google Pagespeed dão-te sugestões! Nem todos são um problema, não vais conseguir por tudo a verde. Isto porque nem sempre o problema é do Hosting mas sim do código do tema, jscripts, widgets que fazem a página ou site carregar mais lentamente, o código do tema ou plugin é importante, ter e manter um código limpo e ter um site bem estruturado e programado! Não basta instalar X ou Y plugins que vais resolver e ter isso tudo a verde, o mais importante passa por fazeres por etapas e ires melhorando aqui, ali e acolá. Tanto a nível interno como externo.
Utilizar um Plugin Cache no wordpress.
Instalar um modulo de Cache no servidor (caso seja VPS / Dedicado)
Utilizar uma CDN por ex: MaxCDN, CDN77, Bitninja.io, keycdn
Tudo isto acarreta custos, principalmente os ultimos que mencionei! Grátis? São limitados e claro os mesmos vêm com limites quer seja em Cache, Proteção e Segurança como em outras.
E atenção, não significa por fazeres isso tudo que o Google Pagespeed entre outros serviços te vão mostrar tudo a verde, até porque há coisas que não são verdade, e nem sempre conseguem verificar a 100%.