فایل Robots.txt چیست و چه فایده ای دارد؟

  • حتما” تا بحال از فایل robots.txt چیزهایی شنیده اید واین سئوال برایتان پیش آمده که این فایل از کجا می آید و باید آنرا در کجا قرار دهیم . به طور خلاصه این فایل ، یک فایل تکست معمولی است که مثلا” میتوان آنرا در نوت پد ایجاد کرد و در ریشه اصلی سایت ، در هاست شما قرار میگیرد.

    robots-txt-logo

    شما در این فایل برای موتورهای جستجوگر، همچون یاهو و گوگل تعریف میکنید که چه دسته بندی ها یا صفحاتی را لیست کند و کدام ها را لیست نکند.

    این کار باعث میشود لینک های مفید تری از سایت شما ایندکس شده ، و یا بخشهایی که تمایل ندارید لیست نشوند . این نوشته مقدماتی ،و نمونه آورده شده فقط در حد یک آشناییست . این شما هستید که باید با دقت و نکته سنجی ، رباتهای موتورهای جستجوگر را هدایت کنید . به عنوان مثال میتوانید تعیین کنید که کامنتها درگوگل ایندکس نشود تا چگالی کلمات کلیدی پایین نیاید یا مثلا” بخش های ادمین یا … در ضمن خیلی بهتراست که در آن به سایت مپ خود هم لینک بدهید

    در زیر میتوانید یک فایل نمونه را از این دست مشاهده کنید . به راحتی متوجه خواهید شد که در مقابل دایرکتوریهایی که میخواهیم دیده نشوند عبارت  Disallow و یا برای آنها که مایلند دیده شوند Allow را انتخاب کرده ایم . با کمی دقت اصول کار را کاملا” در میابید .

    امیدوارم مفید واقع شود – نمونه ای از یک فایل   robots.txt

    میانگین امتیازات ۵ از ۵
    از مجموع ۱ رای
    این مطلب در مجموع 97 بار و امروز 1 بار مشاهده شده است.
    .

    نظرات

    • کفش فوتسال فوتبال سالنی
      جولای 1, 2013 در 7:53 ب.ظ

      من دارم رو یه سایتی کار میکنم چطور میتونم مطمئن بشم کسی اونو ایندکس نمیکنه و صفحاتش توسط کسی جز من دیده نمیشه؟ سایتم وردپرسیه.

    • فرشید رمضانی
      جولای 2, 2013 در 1:11 ق.ظ

      در حال حاضر براش سایت مپ درست نکنید و سایتتان را در گوگل وبمستر و … معرفی نکنید .
      در ورد پرس و در بخش مدیریت ، به قسمت تنظیمات و سپس خواندن بروید . در انتهای صفحه گزینه ای در این باره دارد که آنرا تیک بزنید تا موتورهای جستجوگر آنرا ایندکس نکنند .
      بعد از این کار در فایل robots.txt این کد را در خط اول بزنید . ( اگر اضافه نشده بود )
      User-agent: Googlebot
      Disallow:
      Allow: /*
      و یا اینکه اصلا” در حال حاضر این فایل را نسازید .
      کاملا” نمیتونید مطمئن باشید که هیچ موتوری شما را ایندکس نکند ولی تا حد زیادی موثر است .
      موفق باشید .

    • roozbeh
      فوریه 1, 2016 در 5:49 ق.ظ

      مفید بود خیلی ممنون

      • فرشید رمضانی
        فوریه 9, 2016 در 11:01 ق.ظ

        خوشحال شدم که مفید بوده . ممنون از توجه و همراهی تان

    یک نظر اضافه کنید