Pois remover podes, mas de facto se é penalizador ou não...também não te sei dar a certeza.
Mas esses sites como estão na realidade com ou sem www?
ACHO que se apagares os que não são não irá afectar, pelos menos e volto a frisar acho que mesmo que seja penalizado irá rapidamente voltar ao que era até o google assimilar a nova informação.