حتما" تا بحال از فایل robots.txt چیزهایی شنیده اید واین سئوال برایتان پیش آمده که این فایل از کجا می آید و باید آنرا در کجا قرار دهیم . به طور خلاصه این فایل ، یک فایل تکست معمولی است که مثلا" میتوان آنرا در نوت پد ایجاد کرد و در ریشه اصلی سایت ، در هاست شما قرار میگیرد.
( indexing ) همانطور که از نام آن پیداست ، ایندکس شدن یعنی قرار گرفتن و پیدا شدن صفحات سایت شما و یا لااقل مهمترین آنها درموتورهای جستجو مانند یاهو ، گوگل ، بینگ و ..... میباشد.