Sitemap: O Sitemap é feito através de um arquivo XML, geralmente chamado de sitemap.xml, que fica na raiz do seu servidor. O arquivo pode ser criado manualmente ou através de programas e ferramentas on-line, ele tem a função de informar quais as páginas existentes em seu site, diminuindo a possibilidade dos robôs do Google e Yahoo “esquecerem” de indexar determinadas páginas, tendo a possibilidade de priorizar as páginas através de uma especificação conhecida como hint.
(mais…)
Robots.txt: É um arquivo que você deixa em seu servidor com várias linhas de comando que definem a política de acesso dos robôs de busca, ele possui 3 funções que permitirão ou não o acesso a determinados diretórios ou páginas de um site.
- User-agent: diz quais robôs devem seguir as regras indicadas no Robots.txt.
- Disallow: diz aos mecanismos qual diretório ou página deve ser impedida de ter o conteúdo verificado.
- Allow: diz aos robôs qual diretório ou página deve ter o conteúdo verificado. É útil quando se quer indexar um diretório que está dentro de outro direito não indexada.
Exemplo:
User-agent: *
Disallow: /portfolio/
Allow: /portfolio/websites/
Disallow: /admin/
Nesse exemplo, todos os robôs de buscar não irão indexar os diretórios /portfolio/ e /admin/, mais irão indexar o diretório /websites/ que está dentro do diretório não indexado /portfolio/.
