Jeśli rejestrowałeś domenę z ogonkami, to pewnie choć przez chwilę przeszło Ci na myśl dlaczego trzeba ją konwertować na ciąg dziwnych znaczków. Pewnie myślałeś też skąd się biorą te znaczki. Może polskie znaki kodowane są za pomocą dwóch innych znaków(?) Zapnij pasy poławiaczu domen! Wypływamy na szerokie wody alfabetu.
Zjawisko "duplicate content" zachodzi wtedy, kiedy treść Twojego serwisu w całości lub jego części, jest osiągalna pod tymi samymi adresami URL jednocześnie. Dla wyszukiwarek domena mojadomena.pl oraz www.mojadomena.pl to dwa niezależne adresy. Jeśli serwis oferuje tą samą treść pod adresem "z www" jak i "bez www" (lub odwrotnie), lub też zawartość pod adresem /podstrona/ jest identyczna jak pod adresem /podstrona/?sort=asc, to mamy do czynienia własnie z tym okropnym zjawiskiem. Jako przykład tej drugiej sytuacji może posłużyć podstrona z prezentacją produktów, na której mamy możliwość sortowania listy według zadanych parametrów. Parametry przesyłamy w postaci query string (jako zmienne GET). Pomimo, że wizualnie lista się zmienia, to produkty wciąż widnieją te same, a skoro zawartość jest taka sama, to robot indeksujący odbiera to właśnie jako tytułowe zjawisko. Różnica w URL może zachodzić nie tylko na poziomie query string, ale już w path (to ten fragment zaczynający się po nazwie domeny).
Jest to efekt niepożądany ze względu na obniżenie wartości strony w indeksie Google. Metody, które przestawiam tyczą się tylko adresów URL. Nie mają natomiast zastosowania w przypadku kiedy Twój brat lub siostra bliźniak podkrada Ci gumy do żucia - tu lepiej zastosować przekierowanie problemu na rozmowę w cztery oczy (życzę Ci w tej sytuacji osiągnięcia statusu 301).
Jeśli Twój serwis jest wielojęzykowy, to pewnie użyłeś jednego ze sposóbów na przekazywanie wersji językowej w adresie URL:
O ile w pierwszym i drugim przypadku budowa mapy jest oczywista, bowiem mapa zawiera wszystkie URL niezależnie od języka, tak w przypadku subdomeny lub domeny wyłącznie dla jednego języka, mapa będzie zawierać URL tylko z tej wersji językowej. A skoro serwis fizycznie zajmuje to samo miejsce na serwerze, tak więc i mapa serwisu dla każdej wersji jezykowej będzie w tym samym miejscu.
Ale przecież zgodnie z sugestią Google plik mapy ma mieć ustaloną nazwę, np. sitemap.xml (dla mapy w formcie XML) lub sitemap.txt (dla mapy w postaci pliku tekstowego). Na pewno nie mogą to być pliki o nazwach sitemap_pl.xml dla wersji polskiej i sitemap_en.xml dla wersji angielskiej.