Meta robots o wartości noindex to instrukcja zawarta w sekcji HEAD strony internetowej wskazująca wyszukiwarkom, aby nie indeksowały konkretnej strony. Gdy wyszukiwarki napotkają tę instrukcję podczas przeszukiwania strony, nie dodają jej do swojego indeksu, co oznacza, że strona nie pojawia się w wynikach wyszukiwania.
Instrukcję noindex można również przekazać wyszukiwarkom w nagłówku HTTP odpowiedzi serwera.
Składnia
Instrukcja noindex jest implementowana poprzez dodanie specyficznego tagu meta do sekcji nagłówka strony. Typowy kod wygląda następująco:
<meta name="robots" content="noindex">Powyższa instrukcja wyklucza indeksowanie podstrony we wszystkich wyszukiwarkach. Instrukcję można skierować do wybranego robota wyszukiwarki przez zmodyfikowanie pola name.
Przykładowo – jeśli strona ma być indeksowana przez wszystkie wyszukiwarki z wyjątkiem Google, znacznik meta robots powinien przyjąć wartość:
<meta name="googlebot" content="noindex">Choć instrukcja noindex skutecznie uniemożliwia indeksowanie strony, roboty wyszukiwarki mogą ją nadal odwiedzać. Ponadto, chociaż strona oznaczona jako noindex nie jest widoczna w wynikach wyszukiwania, może nadal przekazywać wartość linków do innych stron, chyba że zostanie dodatkowo oznaczona jako nofollow. W związku z tym webmasterzy powinni zachować ostrożność przy stosowaniu tej instrukcji, aby nie wykluczyć przypadkowo ważnych stron z wyników wyszukiwania.
Noindex a Disallow
Instrukcja noindex przekazywana w tagu meta robots często mylona jest z instrukcją Disallow umieszczaną w pliku robots.txt.
Obie instrukcje służą do kontrolowania tego, w jaki sposób wyszukiwarki wchodzą w interakcję ze stroną internetową. Istotną różnicą pomiędzy noindex oraz Disallow jest to, że intrukcja noindex pozwala robotom wyszukiwarek na przeskanowanie strony, ale nie umożliwia umieszczenie danej podstrony w indeksie.
Instrukcja Disallow umieszczona w pliku robots.txt zabrania robotom wyszukiwarek dostępu do wskazanych plików, podstron lub całych katalogów.
