Talvez mas não só.
Não te podes esquecer, que assim como tu, existem outros webmasters que também se preocupam se estão mais acima ou mais abaixo e também fazem por aparecer em primeiros nas SERPS.
Por outras palavras, tens concorrência e para eles subirem tu tens de descer (caso estejas à frente deles).