Quase de certeza que a queda nas visitas deve-se a alteração dos links sem fazer um redireccionamento 301. O tema também pode ser parte do problema no caso de não estar optimizado (com as tags h1, h2, h3...) ou tenha links ocultos - neste caso podes estar a ser castigado pelos motores de pesquisa porque não gostam disso.
A solução é:
» ter um sitemap válido e actualizado
» submeter esse sitemap para google webmaster tools e o bing webmaster center
» criar conteúdo novo regularmente
» alterar a "velocidade" de rastreamento no google webmaster tools para fazer com que o google indexe mais depressa
» submete o site em directórios, é importante não só ter links para o site mas isso também leva a que os bots de indexação visitem o teu site
» ter paciencia e aguardar pelos resultados
e dá também uma vista d'olhos ao código do tema
Se tens também muitos links para outros sites, é melhor rever isso e deixar apenas os que são necessários (podes sempre usar o rel="nofollow" nos links externos).