As diferenças são muitas, tem prós e contras.
VPS:
+ Rápida (re)instalação do VPS
+ Pequenos upgrades fáceis de fazer (por exemplo mais RAM ou mais disco
- Performance
- Não tem controlo sobre o servidor principal
Dedicado:
+ Possíveis maiores upgrades (+um disco para por exemplo backup, + 1 modulo de ram)
+ Escolha da estrutura do servidor (por exemplo ter discos em raid 0/1/5
+ Performance
- re(instalação) demorada
- Muitas vezes necessita de contrato
Estas são apenas algumas que me lembrei...