O problema em apagar os ficheiros é normal. Há alguns ficheiros que o Joomla cria e apenas o Joomla tem permissão para os apagar. Deve haver mais alguma maneira de os apagar mas também nunca precisei de pesquisar sobre isso.
Quanto aos módulos que queres instalar, verifica se a configuração do FTP está correcta, se as pastas têm permissões de escrita e se os módulos são para a versão do Joomla que tens.
Cumprimentos.