فایل Robots.txt چیست و چه فایده ای دارد؟

حتما” تا بحال از فایل robots.txt چیزهایی شنیده اید واین سئوال برایتان پیش آمده که این فایل از کجا می آید و باید آنرا در کجا قرار دهیم . به طور خلاصه این فایل ، یک فایل تکست معمولی است که مثلا” میتوان آنرا در نوت پد ایجاد کرد و در ریشه اصلی سایت ، در هاست شما قرار میگیرد.

شما در این فایل برای موتورهای جستجوگر، همچون یاهو و گوگل تعریف میکنید که چه دسته بندی ها یا صفحاتی را لیست کند و کدام ها را لیست نکند.

این کار باعث میشود لینک های مفید تری از سایت شما ایندکس شده ، و یا بخشهایی که تمایل ندارید لیست نشوند . این نوشته مقدماتی ،و نمونه آورده شده فقط در حد یک آشناییست . این شما هستید که باید با دقت و نکته سنجی ، رباتهای موتورهای جستجوگر را هدایت کنید . به عنوان مثال میتوانید تعیین کنید که کامنتها درگوگل ایندکس نشود تا چگالی کلمات کلیدی پایین نیاید یا مثلا” بخش های ادمین یا … در ضمن خیلی بهتراست که در آن به سایت مپ خود هم لینک بدهید

در زیر میتوانید یک فایل نمونه را از این دست مشاهده کنید . به راحتی متوجه خواهید شد که در مقابل دایرکتوریهایی که میخواهیم دیده نشوند عبارت  Disallow و یا برای آنها که مایلند دیده شوند Allow را انتخاب کرده ایم . با کمی دقت اصول کار را کاملا” در میابید .

امیدوارم مفید واقع شود – نمونه ای از یک فایل   robots.txt