ساخت و ایجاد فایل ربات تکست robots.txt

ساخت فایل robots.txt

به طور پیش فرض تمامی ربات ها باید:	اجازه داده شود اجازه داده نشود
تاخیر در خزش (کراول گیری):	پیش فرض بدون تاخیر 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
نقشه سایت: (اگر ندارید خالی بگذارید)
ربات های جستجو:	Google	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	Google Image	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	Google Mobile	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	MSN Search	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	Yahoo	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	Yahoo MM	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	Yahoo Blogs	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	Ask/Teoma	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	GigaBlast	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	DMOZ Checker	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	Nutch	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	Alexa/Wayback	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	Baidu	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	Naver	مشابه پیش فرض اجازه داده شود اجازه داده نشود
	MSN PicSearch	مشابه پیش فرض اجازه داده شود اجازه داده نشود
دایرکتوری های ممنوعه:	این مسیر نسبت به روت اصلی میباشد و باید دارای ممیز انتهایی باشد "/"

خب، حالا باید یک فایل در پوشه روت یا public_html سایت خود با نام robots.txt ایجاد کنید و کد بالا را عینا کپی کرده و در آن ذخیره کنید.

درباره ساخت فایل robots.txt

فایل robots.txt یک فایل مهم در مدیریت ربات های اینترنتی است که به وبسایت شما سر میزنند. موتورهای جستجو نیز با کراولرهایی که در دنیای اینترنت ربات محسوب میشوند وبسایت شما را بررسی میکنند بنابراین وجود این فایل و هدایت این ربات های گوگلی و غیر گوگلی از اوجب واجبات در بحث سئو و بهینه سازی آن است.