Estou a desenvolver um codigo que fará com que o tugabot entre em varias sites, e procure pela tag <title></title> e pelas <meta keywords e description>, assim serão encontrados muitos mais sites no pesquisador.
E depois estou a pensar em desenvolver um codigo que fará o tugabot entrar em sites e procurar por links para outros sites, (como se fosse andar pela net toda so pelos links que encontra em sites) e ir adicionando os link dos sites a MySQL, e assim aumentado os sites que podem ser procurarados.
(Este codigo será um codigo aparte, para não atrasar o tempo de pesquisa, porque eu desconfio, que para ele encontrar 1000 links e adicionar todos a MySQL vai demorar quase 30 minutos)
Acho que daqui a uns tempos o pesquisador será muito utilizado, principalmente para procurar sites tugas ou sites de expressão portuguesa.