meta ROBOTS について

ROBOTS や NOINDEX は一般的に大文字が正しい記述とされています。

meta name="ROBOTS" content="NOINDEX"
上記はページを登録させない(NOINDEX)という意味です。

meta name="ROBOTS" content="NOFOLLOW"
上記はページ内のリンクを辿らない(NOFOLLOW)という意味です。

以上ふたつの制御を同時に書く場合は
meta name="ROBOTS" content="NOINDEX,NOFOLLOW"
という風にカンマで区切ってひとつで書くことが出来ます。

また、Googleなどページをインデックスするだけでなくキャッシュ保存するロボットの場合、
meta name="ROBOTS" content="NOARCHIVE"
とするとキャッシュされることを防ぎます。

当然、全てひとつにまとめることも可能です。
meta name="ROBOTS" content="NOINDEX,NOFOLLOW,NOARCHIVE"

Webサーバのルート(Webからアクセスできる最上位ディレクトリ)にファイルを置く権限があれば、robots.txt というファイルによって検索エンジンロボットの巡回を制御できます。

ルートにファイルを置く権限がない一般ユーザでも、自分のディレクトリの最上位に置いておけば丁寧なロボットなら見てくれるかもしれません。

しかし、振る舞いを制御したいロボットは多くの場合丁寧ではないロボットなので効果は薄いかもしれません。

METAタグによる制御にしても robots.txt による制御にしても同じですが、ロボットを１００％制御できるわけではありません。METAタグなんてけっこう無視されがちだし、robots.txtでも読まなかったり、見て見ぬふりなんてザラです。