meta robotsとは

meta robotsとは、metaタグの用法の一種です。 metaタグはHTMLのhead要素の中に記述されるタグで、ページを記述している言語や、文字コード、ページに記載されている内容の説明など、Webサイトの情報を伝える役割を持っています。metaタグの内容が検索結果やページの評価に反映されるため、非常に重要視され、ほとんどのページでmetaタグは記述されています。 robotsは検索エンジンに指示を与える際に用いられます。metaタグのnameにrobotsを指定し、さらにcontentの部分を指定することで、特定の検索エンジンのクローラーを指定し、その動作を制御することができます。

例として、

のように記述されます。この例では、すべてのクローラーにインデックスとリンク巡回を許可する、という指示を与えています。上記name部分のrobotsをgooglebotにするとGoogleのクローラーにのみ与える指示となります。上記content部分のindex、followは初期状態（すべてのクローラーにインデックスとリンク巡回を許可している状態）と同じため、記述する必要はありません。robotsは多くの場合、検索エンジンに何らかの制限をかけたい時に用いられています。

content部分にnoindexと記述することによって、対象ページが検索結果に表示されなくなります。メールマガジンや広告から誘導するキャンペーンページ、会員限定のログインページなど、特定のユーザーを対象とし、一般ユーザーの流入を避けたいページに記述されるケースが多いでしょう。また、ページのクオリティが低い、他のページと内容が重複しているなどの理由で、入り口として相応しくない、クローラーの評価を落とすと判断されたページにも記述されることがあります。

content部分にnofollowと記述することによって、対象ページ内の外部リンクをクローラーが辿らなくなり、ページ評価の受け渡しも行われなくなります。対象ページに信頼できないサイトや、評価を受け渡したくない有料広告のリンクがある場合に記述されることが多くあります。ブログやコミュニティサイトなど、ユーザーが自由に投稿できるページに記述することで、スパムによるページ評価の流出を防ぐこともできます。また、Googleのガイドラインに違反する可能性のある金銭取引でのリンクがすでに設定されている場合も、記述しておくことが望ましいでしょう。

content部分にnoarchiveと記述すると、検索エンジンによる対象ページのキャッシュを拒否できます。これは対象ページの現在の状態以外が閲覧できなくなるということを意味し、たとえば通販サイトなどで値段が変わり、過去の情報がトラブルを起こすおそれがある場合に記述されます。キャッシュから過去のコンテンツが盗まれるという事例があり、そういった盗作行為への防御策としての有効性も期待されています。