Приручаємо пошукових роботів

Всі користувачі мережі інтернет люблять пошукові системи. Вони дозволяють їм орієнтуватися у величезних просторах мережі, допомагають знайти саме те, що їм необхідно. Але для власників інтернет сайтів вони можуть також стати і головним болем, т. к. пошукові роботи заходячи на сайт, мають одну єдину мету: проіндексувати ваш сайт якомога швидше і додати в свою базу даних. Чому головним болем? Та тому що пошукові роботи роблять свою роботу досить швидко і старанно, завантажуючи сторінки вашого сайту з великою інтенсивністю. Якщо на вашому сайті 5 сторінок, то немає проблем, все проходить швидко і безболісно. А якщо тисячі, десятки тисяч? На практиці це виглядає так: несподівано в якийсь певний час доби, сайт починає генерувати велику навантаження, сервер тримає цю навантаження, до тих пір поки йому дозволяють ліміти або можливості, а потім або сервер падає, або просто перестає віддавати сторінки, а ви отримуєте від хостинг компанії грізні вимоги припинити навантажувати сервер, переїхати на більш високий тариф, і т. д. Що робити в даній ситуації? Заблокувати роботів? Не наш метод. Все просто, роботів можна приручити і зробити їх добрими і пухнастими і примусити їх рахуватися з вами. Для цього потрібно звернутися до документації та протоколу управління роботами. Кожна поважаюча себе пошукова система поважає розроблені стандарти і слід їм. При відвідуванні сайту пошуковий робот, в першу чергу звертається до файлу robots.txt, який повинен знаходиться в корені сайту, цей файл і керує діями пошукового робота. Отже створюємо в корені вашого сайту файл robots.txt і всередині нього пишемо:
User-agent: *
Crawl-delay: 10

Параметр Crawl-delay вказує пошуковому роботу, щоб він завантажував сторінки вашого сайту з інтервалом не менше 10 секунд, іншими словами просто витримував паузу під час індексації сторінок вашого сайту. І ваш сайт спокійно індексується в межах допустимого навантаження. Ви можете змінювати інтервал на свій розсуд, роблячи його більше або менше. Але майте на увазі роблячи інтервал занадто великим, ви уповільнює темпи індексації сайту, і індексація проходить набагато довше. Все як говориться повинно бути в міру.
109