Não depende só do servidor.
E não depende só se for PHP ou ASP ou PERL ou ASP.NET.
Claro se tiveres um servidor de má qualidade não ajuda. Por exemplo uma ligação baixa, e um servidor que por exemplo esteja a ser dividido por 300 clientes.
Agora claro eu posso ter um servidor só para mim com uma ligação brutal e mesmo assim dar cabo dele.
Por exemplo basta no meu codigo eu abrir ligações a base de dados e depois esquecer-me de destruir o objecto/ligação.
Loops e validação infinita também não ajuda.
Sessions super puxadas..
Etc..tem de tudo um pouco.
E claro não é do PHP mas sim de quem escreveu o código.