ThunderWolf segue abaixo a lista por ordem com mais importância em efeitos seo
1) O teu TLD deve ser do país em questão
2) Tu deves escrever conteúdo na língua local
3) Tu deves receber links de websites que estão na mesma língua e o país
4) O teu servidor deve estar no país em questão
5) O Google faz reviews manuais para verificar se o teu website pertence à aquele país
6) Configuração da localidade no teu painel do Google Webmasters Tools
Apesar de teres o teu servidor em PT e pretenderes rakings no google de EUA, a localização do ip não tem implicação, só ajuda mais rápido o googlebot a detectar a lingua de origem do site, se for diferente, ele guia-se pelos 3 primeiros pontos que citei em cima.
Para já a velocidade de abertura de um site não tem peso em seo, no futuro poderá vir a ter. Mas mesmo que não tenha peso em seo, é sempre bom um site abrir rápido, pois assim pode ganhar mais links de outros sites de recomendação, se fosse lento a abrir provavelmente não seria recompensado com links de recomendação de outros sites e/ou blogs.
Na minha opinião a localização de um servidor é recomendada ser em algum país europeu pois está no centro do mapa mundial, tanto pode ser rápida a resposta para EUA, como para o Brasil, Africa do Sul, Australia, Japão etc.
Quanto aos outros buscadores o bing e yahoo conseguem interpretar isso também.