Viva,
Analisando o código fonte tens o plugin bem configurado, embora por exemplo no caso do object caching e database caching, o método disk não seja tão bom como quando utilizas APC ou Memcache (seja qual for tem de estar instalado previamente no servidor).
Activaste o Browser cache? Se não, recomendo activares.
Cloudflare também ajuda a acelerar o site. Repara que o Yslow ainda não reconhece a Cloudflare como CDN, ou seja, vais ter o site mais rápido mas não vais ter a pontuação de performance mais alta, pelo menos por enquanto.
Além disto, a forma mais eficaz de melhorares a velocidade é reduzir em plugins e scripts que não sejam essenciais, para diminuir os requests. Less is more