Meta robots to element meta w kodzie HTML strony internetowej, który instruuje roboty wyszukiwarek, jak indeksować i wyświetlać daną stronę w wynikach wyszukiwania. Umożliwia to właścicielom stron sterowanie tym, które części witryny są dostępne dla botów i jak je przetwarzają.
Tag Meta Robots umieszczany jest w sekcji HEAD kodu HTML i może wyglądać następująco:
<meta name="robots" content="noindex, follow">Podstawowe atrybuty tagi meta robots
Podstawowe wartości, które mogą przyjmować meta robots, to index, noindex, follow i nofollow:
- Index. Pozwala botom wyszukiwarki na indeksowanie strony, co oznacza, że może pojawić się w wynikach wyszukiwania. Jest to domyślna wartość przyjmowana dla strony internetowej.
- Noindex. Instruuje roboty, aby nie umieszczały strony w indeksie wyszukiwarki.
- Follow. Pozwala botom wyszukiwarek na podążanie za odnośnikami odnalezionymi na danej stronie.
- Nofollow. Nakazuje botom, aby nie podążały za linkami odnalezionymi na stronie.
Istnieją również inne wartości, takie jak noarchive, które zapobiega przechowywaniu zarchiwizowanej wersji strony przez wyszukiwarkę, czy none, które jest równoważne użyciu noindex, nofollow.
Konkretne boty wyszukiwarek mogą być adresowane przez umieszczenie ich nazwy w atrybucie name. Na przykład, aby wydać instrukcje tylko dla robotów wyszukiwarki Google, należy użyć znacznika:
<meta name="Googlebot" content="noindex, follow">
