+- Parsi Coders (http://parsicoders.com)
+-- انجمن: Other sections (http://parsicoders.com/forumdisplay.php?fid=71)
+--- انجمن: Entertaining and informative content (http://parsicoders.com/forumdisplay.php?fid=102)
+--- موضوع: فایل Robot.txt چیست؟ (/showthread.php?tid=2460)
فایل Robot.txt چیست؟ - Amin_Mansouri - 06-18-2012
این فایل یکی از علل مهم برای افزایش رتبه سایت در موتورهای جستجو گر است، حال آنکه بسیاری از سایت ها و مدیران آنها به این فایل و قراردادن آن در سایت کم توجهی میکنند.
یکی از کارهای این فایل این است که به موتور جستجوگر کمک می کند تا از رفتن به قسمت های غیر ضروری سایت اجتناب کند، به عنوان مثال دایرکتوری ایمیل ها ، عکس ها، پوشه Template و قسمت پنل مدیریت سایت.
![[عکس: robots.gif]](http://www.seomaterial.com/images/articles/robots.gif)
در حقیقت فایل روبوت یم فایل ساده متنی است که در پوشه Root سایت قرار گرفته و شامل مسیر های معرفی شده یا ممنوعه برای پیمایشگر های موتورهای جستجوگر یا در حقیقت همان Spider هاست که به Bot معروفند.یعنی این فایل مسیرهای مجاز و غیر مجاز برای Bot ها را مشخص می کند.
بطور کلی اگر این فایل در ریشه سایت وجود نداشته باشد، Bot ها تمام سایت را پیمایش می کنند.
چگونه یک Robot.txt بسازیم؟
فایل روبات دارای یک فرمت خاص می باشد.این فایل شامل خطوطی است که در این خطوط دو فیلد وجود دارد: User-Agent و Disallow
<Field> “:” <value>
User-agent
این قسمت نام پیمایشگر را مشخص میکند :
کد:
User-agent: googlebot
User-agent: *
Disallowدر این قسمت مسیر فایل ها یا پوشه های مورد نظر را تعریف می کنیم.
کد:
Disallow: contactinfo.htm
Disallow: /cgi-bin/مثال ها:
کد:
The following allows all robots to visit all files because the wildcard "*" specifies all robots.
User-agent: *
Disallow:
This one keeps all robots out.
User-agent: *
Disallow: /
The next one bars all robots from the cgi-bin and images directories:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
This one bans Roverdog from all files on the server:
User-agent: Roverdog
Disallow: /
This one bans keeps googlebot from getting at the personal.htm file:
User-agent: googlebot
Disallow: personal.htm