Узнать про то, что нужно писать в файл robots.tx, чтобы поисковые понять, что им можно индексировать, а что нельзя, пройдите по ссылке.