Ligaram o complicometro?
Por SQL:
UPDATE wp_posts SET post_content = REPLACE ( post_content, 'conteudo_antigo ', 'novo_conteudo' );
De facto, fazer directamente a alteração na base de dados é mais rápido.
Neste caso, usando o exemplo do Luís Salvador, bastaria correr o sql que o Nuno indicou, no PhpMyAdmin.
conteudo_antigo = 'b.jpg'
novo_conteudo = '.jpg'
A instrução SQL completa, ficaria assim:
UPDATE wp_posts SET post_content = REPLACE ( post_content, 'b.jpg', '.jpg' );
E nunca é demais repetir: fazer backup da BD antes de fazer este tipo de alterações.