http://www.ataraxia.com.br/posts/evitando-conteudo-duplicado

Para diferenciar, eu poderia usar URLs como as abaixo:

http://www.ataraxia.com.br/posts/evitando-conteudo-duplicado?rss

http://www.ataraxia.com.br/posts/evitando-conteudo-duplicado?email

Desta forma, o site tem como saber de onde o visitante veio, bastando colocar no feed o sufixo “?rss”, e nos boletins o “?email”. O site checaria se a URL contém um desses sufixos, e incrementaria um contador em algum lugar (banco de dados, arquivo, etc).
O grande problema, é que uma vez que os buscadores encontrem essas URLs alternativas, irão notar que o conteúdo é o mesmo para as 3 páginas, e existe a chance de que seu site seja penalizado por isso.
Uma das formas de se lidar com isso é usar a tag <link> para informar qual é a URL “canônica” da página atual. A tag é simples:

<link rel="canonical" href="http://www.example.org/caminho-da-pagina" />

Esta tag é a mesma nas 3 páginas, e indica ao buscador qual é a URL canônica da página. Seguindo o nosso exemplo, nas 3 páginas acima, teríamos a tag:

<link rel="canonical" href="http://www.ataraxia.com.br/posts/evitando-conteudo-duplicado" />

Claro, esta tag serve como uma “dica” para os buscadores, e eles podem usá-la ou não. Na maioria das vezes, ela será usada.
E embora eu tenha dado o exemplo de páginas anunciadas por email ou feed RSS, a utilidade vai bem além disso.
Se você tem um site, digamos de e-commerce, e tem uma página que ordena os produtos por preço, popularidade, etc, e essa ordenação é passada como parâmetro na URL, o conteúdo da página será essencialmente o mesmo, porém com a posição diferente (dependendo da ordenação). O buscador pode entender que a página é duplicada. Uma tag <link> como esta, apontando para a URL sem ordenação resolveria o problema.

Artigos relacionados

• Otimização: imagens inline
• Páginas de manutenção

A página, normalmente bem simples, informa ao visitante que o site está passando por problemas temporários, ou está em manutenção, e que voltará em breve.

Porém, uma coisa frequentemente ignorada é o que os buscadores percebem quando encontram uma página dessas. Ao chegar na página principal do seu site e se deparar com uma página dizendo que o site está temporariamente fora do ar, se os devidos cuidados não forem tomados, o robô irá indexar a página, e passará a figurar nas buscas.

Ou seja, ao invés de ter o conteúdo real da página no índice do buscador, teremos o conteúdo da página de erro, o que definitivamente não é o que desejamos.

Como fazer pra que isso não ocorra?

Pra falar a verdade, a resposta é bem simples: enviando o status HTTP adequado para as páginas de erro. Da mesma forma que uma página não encontrada gera um erro 404, uma página indisponível deve gerar um erro 503, informando ao buscador ou cliente que a página é um erro temporário.

Isto pode ser feito em qualquer linguagem de programação, bastando alterar os cabeçalhos enviados. Em PHP, ficaria assim:

<?php
header("HTTP/1.1 503 Service Unavailable")/
header("Retry-After: 60");
?>

Para alterar para outra linguagem, basta pesquisar como se enviar cabeçalhos HTTP. Todas as linguagens de programação disponibilizam uma forma de se fazer isso.

A primeira linha informa o código de erro 503, que o navegador ou buscador irá interpretar como um erro temporário no servidor, e não como uma resposta normal (código 200).

Já a segunda, informa em quanto tempo, em segundos, o cliente deve retornar a página para ter o conteúdo real. Este cabeçalho é opcional, mas se dá pra se estimar o tempo necessário para que o erro seja sanado, é uma boa idéia colocá-lo. No caso, estou informando ao cliente que a página estará de volta em 1 minuto.

O mais importante, no caso, é que um buscador não irá indexar uma página com erro 503.

O W3C possui uma página com a explicação detalhada de todos os erros HTTP.

Artigos relacionados

• Evitando conteúdo duplicado
• Otimização de sites, parte 3 – Cache
• Otimização de sites, parte 2 – Compressão
• Otimização em PHP, parte 1: Minify