Há muitas coisas que podes fazer (e que estão nesse guia que o Blue referiu):
- reduzir o tamanho em kb de todas as imagens do theme (em caso se serem uma cor sólida de preenchimento ou um gradiente a repetir-se, usa o .css em vez de imagens a todo o comprimento/largura);
- impedir alojamento de avatares e anexos;
- não colocar nenhum ficheiro no servidor para download;
- a generalidade do que está no guia.
Há analisadores online que medem o tempo e o tráfego que um site gasta a abrir. Usa-os e tira conclusões. Obviamente que se tiveres muitas e muitas visitas, gastas algum tráfego inevitavelmente.