Achas que foi o https que provocou essa lentidão anormal do site?
Sempre podes optimizar mais a nível de imagens, css, scripts e afins. Usar cache melhorada e procurar soluções a nível de load, mas não me parece nada má ideia o https, a nível de futuro acredito que vai até ser de muita importância e a nível de ponto de vista do usuário é útil ter no browser o aviso de site seguro por inspira mais confiança.
Estive a ver o site e não me parece nada estar lento, até sou da opinião que mais vale um pouco mais lento mas seguro e que sobretudo inspire confiança um site que implica pagamentos.
Bom trabalho!