Parte do problema é a grande quantidade de CSS. Quanto maior o número de ficheiros externos carregados mais lenta se torna a página. Os scripts do externos do Google são particularmente lentos (apesar desta empresa aconselhar a desligar scripts externos porque são lentos... os deles nem se fala).
Outra grande parte do problema pode ser, como foi mencionado noutra das respostas anteriores, pode ser o alojamento. Porque os posts, mesmo enormes em WordPress não ficam lentos. Para que um site seja funcional, além do design, programação e formatação CSS, tem que ter um bom servidor de alojamento por trás.
Normalmente, o truque não é procurar um alojamento barato que ofereça muitas coisas, mas um que ofereça coisas concretas que funcionarão bem (ex: em vez de espaço ilimitado, diga 200MB de espaço; em vez de tráfego ilimitado diga 3GB de tráfego). Poderá não ser económico, mas dará garantias de funcionamento (se for o caso, é melhor começar a pensar mudar, sobretudo se o tráfego começar a aumentar).
