ِِإدارة وصول محركات البحث إلى الموقع: طريقة إنشاء ملف robots.txt

open-access-lock

إن أردتم أن تجعلوا موقعكم موقعاً معروفاً ويزوره الكثير فعليكم أن تراعوا قوانين محركات البحث ليظهر الموقع في نتائج بحث هذه المحركات، لكن أحياناً قد ترغبوا بأن تصل محركات البحث إلى صفحات محددة من موقعكم دون غيرها … كل هذا يحدث عن طريق إدارة وصول محركات البحث إلى الموقع عن طريق ملف يدعى robots.txt.. وفيما يلي نستعرض معاً ذلك.

 

أهم خصائص الاستفادة من ملف robots.txt

قبل أن نتعرف على طريقة إنشاء هذا الملف واستخدامه، علينا أن نتعرف على فائدته، وهي:

١ـ منع أرشفة النصوص المكررة. 

٢ـ منع أرشفة الصفحات الناقصة. كأن ننشئ صفحة تحتوي على سلسلة مقالات لموضوع محدد ولا نريد أن يتم أرشفة هذه الصفحة إلا بعد أن تنشر كل المقالات.

٣ـ منع أرشفة بعض الملفات السرية أو الاعدادات الخاصة. 

 

طريقة إنشاء ملف robots.txt

إن الروبوتات الخاصة بمحركات البحث تبدأ الزحف مباشرة على الموقع، وأول ما تقوم به هي أن تبحث عن ملف robots.txt، فهذا الملف يدلها على الصفحات التي لا يجب أن تؤرشف، وبالتالي تقوم بأرشفة الصفحات الأخرى.

من الضروري أن يكون ملف robots.txt موجوداً في سطوح عالية من الموقع، مثلاً في الموقع التالي:

www.domain.com/robots.txt

ملف الروبوت هو ملف بسيط جداً، ويحتوي على عاملين رئيسين: أحدهما العامل المستخدم، والثاني الملف الممنوع أرشفته.

للتوضيح أكثر: علينا أن نحدد أن الملف الموجود في العنوان التالي لا يؤرشف، ثم نحدد العامل المستخدم لعدم الأرشفة.

الصورة التالية توضح ذلك:

Screen Shot 2013-12-01 at 10.08.57 AM

في المثال أعلاه نرى أن العامل المستخدم وضعت بعده العلامة (*)، وهذا يعني أننا نريد تحديد كافة العوامل المستخدمة. فالرمز (*) يشير إلى الكل.

أما في الخط الثاني وهو الملف الممنوع فلم نختار أي شيء.

لكن إن وضعنا علامة / بعد Disallow: فيمكننا اضافة الملفات الممنوعة للأرشفة، كما في المثال التالي:

Screen Shot 2013-12-01 at 10.12.03 AM

 

وبعدها يمكن إضافة الملفات التي يجب أن لا تؤرشف كما في المثال التالي:

Screen Shot 2013-12-01 at 10.13.01 AM

فببساطة هذا المثال المذكور يعني أننا نستخدم Googlebot (وهي خدمة مقدمة من محرك البحث جوجل) كعامل مستخدم لمنع أرشفة الملف private-directory.

كما ويمكنكم إضافة عدة ملفات للمنع من الأرشفة، كما هو واضح في المثال التالي:

Screen Shot 2013-12-01 at 10.35.06 AM

وهو يعني أننا نستخدم Bingbot (خدمة لمحرك البحث bing) كعامل مستخدم لمنع أرشفة الصفحات: samle-directory و an-uninteresting-page.html وكذلك شعار الموقع.

ملاحظة هامة جداً: من الضروري التدقيق جداً في استخدام هذا الملف، فأي خطأ من الممكن أن يمنع المحركات البحث من أرشفة الموقع وبالتالي سيتسبب لكم بمشكلة في الأرشفة، لكن لو دققتم في الاستخدام فلن تحدث أي مشكلة خاصة وإنكم تستطيعون تجربة الملف للتأكد من سلامته.

تجربة ملف robot.txt

لتجربة الملف يجب التوجه إلى موقع google webmaster tools، واختيار قسم Health ثم اختيار Blocked URLs  ليقدم لكم معلومات كاملة، وإن كان هناك أي خلل أو خطأ حاصل في الملف الذي أنشأتموه فيمكنكم الاطلاع عليه بسهولة.

يمكنكم متابعة باقي المقالات في عالم SEO من خلال سلسلة أساسيات SEO (تهيئة الموقع لمحركات البحث).


تعليق واحد

  1. جزاك الله خيرا اخى الفاضل

ارسل تعليقك



papyruscenter.com © 2013
كل الحقوق محفوظة لمركز بابيروس، ولا مانع من الاستفادة من محتويات الموقع مع ذكر المصدر.