Difícil não é...
Tens de criar um ficheiro com o código do index.php mas com o nome category.php e depois brincar com o css/template tags do Wordpress.
Tudo o que alterares no category.php vai ser mostrar quando alguém vê os artigos de uma categoria. As outras páginas do blog continuam igual. Recomendo também que depois de terminares de personalizar a category.php faças uma cópia desse ficheiro e mudes o nome para tag.php (para fazer o mesmo quando um leitor vê os posts relacionados com a tag escolhida).
Espero ter ajudado.