phpBB .. sinceramente nunca gostei...
neste momento estou a passar um para SMF, e o SMF é de longe melhor que o phpBB, quer a nivel de personalização, de mods, templates disponives etc...
SMF, considero-o o melhorzinho (dos gratuitos), muitos templates disponiveis e de fácil personalização, o único problema, já passei por ele várias vezes é a incompatibilidade entre MODs e incompatibilidade de updates ao SMF com mods anteriores instalados.
Desde que "bem tratado", sem instalações e desinstalações de MODs desnecessários é muito estável e funcional.
o vBulletin.
A nivel de comunidade, além de ser pago, é grande... Muitos MODs disponiveis, de raiz já faz muita coisa que os outros não fazem.
É dificil estar a fazer comparações... são todos muito identicos, mas cada um á sua maneira.
O ideal é perguntares qual o melhor em que aspecto, aí será mais facil responder...
Se vale a pena o vBulletin (pago) face ao SMF...
pela pouca experiencia ainda que tenho do vB, parece-me muito mais estável e eficaz a nivel de updates e personalização, tendo um editor directamente integrado (WP style) que a qualquer momento ter permite reverter para o original em caso de estragos etc.
Falo disto porque já em várias versões do SMF fiquei bloqueado porque não conseguia fazer updates graças a templates modificados.