مقدمات و مفاهیم کلی

فایل Robots.txt چیست و چه فایده ای دارد؟

فایل Robots.txt چیست و چه فایده ای دارد؟
  • حتما” تا بحال از فایل robots.txt چیزهایی شنیده اید واین سئوال برایتان پیش آمده که این فایل از کجا می آید و باید آنرا در کجا قرار دهیم . به طور خلاصه این فایل ، یک فایل تکست معمولی است که مثلا” میتوان آنرا در نوت پد ایجاد کرد و در ریشه اصلی سایت ، در هاست شما قرار میگیرد.

    robots-txt-logo

    شما در این فایل برای موتورهای جستجوگر، همچون یاهو و گوگل تعریف میکنید که چه دسته بندی ها یا صفحاتی را لیست کند و کدام ها را لیست نکند.

    این کار باعث میشود لینک های مفید تری از سایت شما ایندکس شده ، و یا بخشهایی که تمایل ندارید لیست نشوند . این نوشته مقدماتی ،و نمونه آورده شده فقط در حد یک آشناییست . این شما هستید که باید با دقت و نکته سنجی ، رباتهای موتورهای جستجوگر را هدایت کنید . به عنوان مثال میتوانید تعیین کنید که کامنتها درگوگل ایندکس نشود تا چگالی کلمات کلیدی پایین نیاید یا مثلا” بخش های ادمین یا … در ضمن خیلی بهتراست که در آن به سایت مپ خود هم لینک بدهید

    در زیر میتوانید یک فایل نمونه را از این دست مشاهده کنید . به راحتی متوجه خواهید شد که در مقابل دایرکتوریهایی که میخواهیم دیده نشوند عبارت  Disallow و یا برای آنها که مایلند دیده شوند Allow را انتخاب کرده ایم . با کمی دقت اصول کار را کاملا” در میابید .

    امیدوارم مفید واقع شود – نمونه ای از یک فایل   robots.txt

    میانگین امتیازات ۵ از ۵
    از مجموع ۱ رای

    4 فکر در مورد “ فایل Robots.txt چیست و چه فایده ای دارد؟

    1. کفش فوتسال فوتبال سالنی گفت:

      من دارم رو یه سایتی کار میکنم چطور میتونم مطمئن بشم کسی اونو ایندکس نمیکنه و صفحاتش توسط کسی جز من دیده نمیشه؟ سایتم وردپرسیه.

    2. در حال حاضر براش سایت مپ درست نکنید و سایتتان را در گوگل وبمستر و … معرفی نکنید .
      در ورد پرس و در بخش مدیریت ، به قسمت تنظیمات و سپس خواندن بروید . در انتهای صفحه گزینه ای در این باره دارد که آنرا تیک بزنید تا موتورهای جستجوگر آنرا ایندکس نکنند .
      بعد از این کار در فایل robots.txt این کد را در خط اول بزنید . ( اگر اضافه نشده بود )
      User-agent: Googlebot
      Disallow:
      Allow: /*
      و یا اینکه اصلا” در حال حاضر این فایل را نسازید .
      کاملا” نمیتونید مطمئن باشید که هیچ موتوری شما را ایندکس نکند ولی تا حد زیادی موثر است .
      موفق باشید .

    3. roozbeh گفت:

      مفید بود خیلی ممنون

      1. خوشحال شدم که مفید بوده . ممنون از توجه و همراهی تان

    دیدگاهتان را بنویسید

    نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

    سیزده − هشت =