Basicamente um VPS é um servidor virtual que esta instalado num servidor físico que é dividido (de forma virtual) por vários clientes.
Um servidor dedicado é como o nome indica só para ti, dedicado fisicamente, todos os recursos da maquina estarão à tua disposição exclusiva (cores de processador, ram física, disco(s), etc)...
No entanto podes sempre começar com uma VPS e depois evoluir para dedicado..
