فايل Robot.txt چيست؟

[irsalam]

فايل Robot.txt چيست؟

 

 

 

[align=justify]اين فايل يكي از علل مهم براي افزايش رتبه سايت در موتورهاي جستجو گر است، حال آنكه بسياري از سايت ها و مديران آنها به اين فايل و قراردادن آن در سايت كم توجهي ميكنند.

 

 

يكي از كارهاي اين فايل اين است كه به موتور جستجوگر كمك مي كند تا از رفتن به قسمت هاي غير ضروري سايت اجتناب كند، به عنوان مثال دايركتوري ايميل ها ، عكس ها، پوشه Template و قسمت پنل مديريت سايت.

[/align]

 

 

 

 

[align=justify]در حقيقت فايل روبوت فايل ساده متني است كه در پوشه Root سايت قرار گرفته و شامل مسير هاي معرفي شده يا ممنوعه براي پيمايشگر هاي موتورهاي جستجوگر يا در حقيقت همان Spider هاست كه به Bot معروفند.

يعني اين فايل مسيرهاي مجاز و غير مجاز براي Bot ها را مشخص مي كند.[/align]

 

 

بطور كلي اگر اين فايل در ريشه سايت وجود نداشته باشد، Bot ها تمام سايت را پيمايش مي كنند.

 

 

چگونه يك Robot.txt بسازيم؟

فايل روبات داراي يك فرمت خاص مي باشد.اين فايل شامل خطوطي است كه در اين خطوط دو فيلد وجود دارد:

[left]User-Agent و Disallow  “:” 
User-agent[/left]

اين قسمت نام پيمايشگر را مشخص ميكند :

[left]User-agent: googlebot
User-agent: *[/left]

Disallow

در اين قسمت مسير فايل ها يا پوشه هاي مورد نظر را تعريف مي كنيم.

 

[left]    
Disallow: contactinfo.htm
Disallow: /cgi-bin/
[/left]

 

مثال ها:

 

The following allows all robots to visit all files because the wildcard "*" specifies all robots.
User-agent: *
Disallow:
This one keeps all robots out.
User-agent: *
Disallow: /
The next one bars all robots from the cgi-bin and images directories:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
This one bans Roverdog from all files on the server:
User-agent: Roverdog
Disallow: /
This one bans keeps googlebot from getting at the personal.htm file:
User-agent: googlebot
Disallow: personal.htm