Depende muito do tráfego que o site vai gerar, por norma grande parte dos serviços sharedhost consegue suportar um wordpress, esse tipo de optimização é quase nula quando comparado.
O impacto no atraso da entrega da página é bastante influenciado pelo número de pedidos em concorrência, que no caso dos sharedhosts acresce com os pedidos a outros sites na mesma "máquina".
Normalmente quando não tenho certezas em relação ao tráfego, opto por uma vps e aumento os recursos da máquina quando necessário.
DigitalOcean, Vultr entre outros serviços a nivel internacional, se existir a necessidade de ser nacional Ptservidor ou ptisp são alguns dos que já usei, sem problemas.