A diferença de performance não parece ser significativa. Pessoalmente, e devido ao "problema" que por vezes o facto de teres binários duplicados (um para 32 bits e um para 64 bits) poderá causar, opto praticamente sempre pela versão de 32 bits.
Compilando um kernel com suporte num SO a 32 bits com suporte a PAE resolve o problema do limite dos 4GB.