Eu ouvi bem? Vais instalar ambiente gráfico a uma VPS? Tudo depende da VPS.. não basta por e já esta... porque não usas um painel? sentora, ajenti, vestacp não precisas de ambiente gráfico para nada, o que vais fazer via ambiente gráfico é abrir na maioria dos casos é o terminal.
É perfeitamente normal que não se arraste, os sistemas que podes instalar
E o terminal fazes pela ligação SSH, mas isto é a minha opinião apenas eu sou outro cliente da OVH na VPS tal como o Jóni até agora 0 problemas.
E se formatares a VPS e instalares novamente mas desta vez sem ambiente gráfico, verifica se não é um antivirus e/ou firewall que te esteja a bloquear a ligação ou pelo menos parte delas.
Apenas a minha opinião, de forma alguma te quero criticar e nem foi esse o objetivo!
Espero que consigas resolver a situação.
Cumps.