Se o site estiver bem optimizado o utilizador não deve sentir muita diferença, mas podes usar uma CDN para servir o conteúdo mais importante (css, js, imagens, etc) ou até mesmo para servir o site todo e aí é como se o site estivesse alojado perto de cada user, mesmo que estejam em países diferentes. (cdn's: maxcdn, pago; cloudflare, gratuito).
Sobre a hostgator, parece que de vez em quanto têm problemas até com o datacenter... apesar de terem este tipo de problemas, acho que parte do feedback negativo vem de pessoas que não fazem ideia que um alojamento partilhado de 10 dólares não dá para alojar um site com muito tráfego nem dá para receber picos de tráfego do facebook sempre que alguma coisa é partilhada na página de fãs.
Se não optares por uma empresa portuguesa, dá uma vista d'olhos nos planos para wordpress da mediatemple.net. São geridos, não têm um limite de visitas e estão optimizados para wordpress. O único problema é que nos planos exclusivos para wordpress não podes usar alguns plugins.