4,5s isso é muito lento.
Nos sites que faço, alguns tinham o primeiro carregamento em cerca de 1,8s e seguintes a 1,2s.
Agora estão com 451ms primeiro carregamento e 187ms nos posteriores, e isto em sites com muitas fotos e grafismos, e muitos roundtrips às bases de dados.
Tens que fazer aí sérias optimizações.
PS: Diz-se por aí que o ASP.NET é mais lento que o PHP