Que eu saiba, só aumenta e diminui a letra no firefox, se o site tiver usando tabelas com width em % sim mas se não com width fixo em px não diminui...
O IE sim tem zoom independentemente do source.
anda para aí uma confusão nessas cabecinhas...
o IE6 é que só aumenta/diminui a letra se não estiver especificado como px (acho que o resto aceita tudo... menos o mais usual...). E o Firefox aumenta/diminui tudo... no que toca a letras. Não faz zoom ao site sem extensões.
O IE7 e o Opera fazem zoom ao site, incluindo imagens.
O Safari não sei, mas hei-de experimentar.