Глупости про поисковые системы
Довольно часто встречаются утверждения, что поисковики плевать хотели на записи Disallow в robots.txt
Чтобы проверить это утверждение в robots.txt была добавлена запись
Disallow: /abc
в директорию /abc/ был размещен скрипт который мониторил обращения к себе, а в индексе домена была поставлена невидимая ссылка на /abc/ и на /abc2/ которая не запрещалась к индексированию.
По прошествии трёх месяцев можно сделать простой вывод — на Disallow плюют только любопытные пользователи. Все поисковые системы его учитывают и обращений к /abc/ не происходит.
Разумеется это не есть защита данных, но от замусоривания лишней выдачей ПС это спасает.