機器人

由幾個主要搜尋引擎支援的 robots 屬性控制是否允許搜尋引擎蜘蛛索引頁面以及它們是否應該跟隨頁面的連結。

<meta name="robots" content="noindex">

此示例指示所有搜尋引擎不在搜尋結果中顯示該頁面。其他允許的值是:

值/指令 含義
all **預設。**相當於 index, follow。見下面的註釋。
noindex 根本不要索引頁面。
nofollow 請勿點選此頁面上的連結
follow 可以遵循頁面上的連結。見下面的註釋。
none 相當於 noindex, nofollow
noarchive 不要在搜尋結果中提供此頁面的快取版本。
nocache 某些機器人(如 Bing)使用的 noarchive 的同義詞。
nosnippet 不要在搜尋結果中顯示此頁面的摘要。
noodp 不要將 Open Directory 專案中此頁面的後設資料用於搜尋結果中的標題或片段。
notranslate 不要在搜尋結果中提供此頁面的翻譯。
noimageindex 不要在此頁面上索引影象。
unavailable_after [RFC-850 date/time] 在指定的日期/時間之後,請勿在搜尋結果中顯示此頁面。必須以 RFC 850 格式指定日期/時間。

注意: 明確定義 index 和/或 follow 雖然是有效值,但並不是必需的,因為幾乎所有搜尋引擎都會假設如果沒有明確阻止這樣做,他們就可以這樣做。與 robots.txt 檔案的執行方式類似,搜尋引擎通常只會查詢不允許執行的操作。只說明搜尋引擎不允許做的事情也可以防止意外地說明不是所有搜尋引擎都會以同樣的方式對待的對立面(例如 index, ..., noindex)。