
検索で非表示はnoindexだけではない
昨日このようなニュースがあった。
ドコモとKDDI、解約ページに「noindex」タグ挿入 検索で非表示にしていたと判明
ようするにNTTドコモとKDDIは検索エンジンで検索した際に解約ページが表示されると解約率が上がるので検索結果に表示されないようにしていたのだ。
記事にはタグの詳細は書かれていないが、noindexはHTMLのmetaタグに以下のように記述して使用する。
<meta name="robots" content="noindex">
ただし、検索で非表示になるのはnoindexだけではなくnoneを指定しても同様の効果がある。
<meta name="robots" content="none">
例として日本マクドナルドのお問い合わせページはユーザーが検索してお問い合わせページにアクセスされるのを避けるためにnoneが指定されている。

お問い合わせフォーム | お問い合わせ | McDonald's Japan
robots.txtや.htaccessで検索避け
一般的には検索結果に表示されないようにするにはHTML内にnoindexを記述することがよく知られているが、前述の通りnoneを指定する方法もある。
さらにHTML内に記述せずにrobots.txtや.htaccessというファイルに検索エンジンのアクセスを禁止するコードを書くこともできる。
robots.txtはドメイン直下に置かれていることが多いので以下のようにすればアクセスできるが.htaccessは外部からファイルの内容を確認することはできない。
https://www.mcdonalds.co.jp/robots.txt
URLにsite:を付けて検索で確認
GoogleではURLにsite:を付けて検索して該当のページが検索結果に表示されるかどうかで検索避けが行われているかどうかが確認できる。
Webページが検索避けの処理が行われているかどうかはnoindexの有無ではなくsite:をURLの先頭に付けて検索すると良いだろう。※
■ 検索結果に表示されない site:https://www.mcdonalds.co.jp/inquiry/products_stores_ex/ ■ 検索結果に表示される site:https://www.mos.jp/contact/
※ 作成されたばかりのWebページだと検索避けの処理が行われていなくても検索結果に表示されないことがある。