ملف robots.txt
ملف نصي في جذر الموقع يخبر زواحف محركات البحث بالمسارات المسموح زحفها والممنوعة.
بالإنجليزية Robots.txt
ما هو؟
ملف robots.txt ملف نصي يوضع في جذر الموقع، مثل example.com/robots.txt، ويقرؤه الزاحف قبل أن يبدأ. يحدد بقواعد بسيطة مثل Disallow المسارات التي لا يزورها، كصفحات السلة والحساب والبحث الداخلي، ويمكن أن يشير إلى رابط خريطة الموقع. وأغلب المنصات وإضافات ووردبريس تنشئه تلقائياً.
الملف ينظّم الزحف ولا يمنع الفهرسة بالضرورة. فصفحة محجوبة فيه قد تظهر في النتائج بلا وصف إن أشارت إليها روابط من مواقع أخرى. ولأن الملف عام يقرؤه أي شخص، فهو لا يصلح لإخفاء صفحات حساسة، بل قد يدل عليها. والحماية الحقيقية تكون بكلمة مرور أو بإزالة الصفحة.
ما أهمية ملف robots.txt في التسويق؟
سطر واحد خاطئ في هذا الملف قد يحجب الموقع كله عن جوجل، ولهذا يستحق المراجعة بعد كل تعديل.
- 01
توجيه الزحف للصفحات المهمة
منع الزحف إلى السلة والحساب والبحث الداخلي يترك وقت جوجل للمنتجات والأقسام والمحتوى.
- 02
فحص سريع بعد الإطلاق
أول ما يُراجع بعد نقل موقع أو إطلاقه هو هذا الملف، لأن نسخ التطوير تُحجب عادةً بالكامل.
- 03
تشخيص هبوط الفهرسة المفاجئ
حين ينخفض عدد الصفحات المفهرسة فجأة، فحص الملف من أول خطوات معرفة السبب.
مثال عملي
- 1الموقف
متجر على ووكومرس في جازان يريد منع زحف صفحتي السلة والدفع.
- 2المعطيات
يضيف المطوّر قاعدتي Disallow للمسارين، ويترك بالخطأ سطراً يحجب الموقع كله.
- 3الحساب
ينخفض عدد الصفحات المفهرسة في Search Console من 400 إلى 40، أي بمقدار 360 ÷ 400 = 90%.
- 4القرار
يحذف المتجر سطر الحجب الكامل ويُبقي القاعدتين، ثم يختبر الملف ويراقب عودة الزحف تدريجياً.
أخطاء شائعة
بقاء Disallow: / بعد الإطلاق
هذا السطر يحجب الموقع كله، وكثيراً ما يُنسى من مرحلة التطوير. افتح الملف في يوم الإطلاق وتأكد من غيابه.
حجب صفحة عليها
noindexإن حجبت الصفحة في الملف، لن يرى جوجل وسم
noindexفيها، وقد تبقى في الفهرس. اترك الزحف مسموحاً حتى يقرأ الوسم.استعماله لإخفاء ما هو سري
الملف عام، وذكر مسار لوحة الإدارة أو ملفات العملاء فيه يكشفها لمن يبحث. احمِ هذه المسارات بتسجيل الدخول.
أسئلة شائعة
أين أجد ملف robots.txt وكيف أختبره؟
robots.txt وكيف أختبره؟اكتب نطاقك متبوعاً بـ /robots.txt في المتصفح لتراه. وفي Search Console يعرض تقرير robots.txt النسخة التي قرأها جوجل وأي أخطاء فيها. ولاختبار رابط بعينه، استعمل أداة فحص الرابط لترى هل الزحف إليه مسموح.
ما الفرق بين robots.txt ووسم noindex؟
robots.txt ووسم noindex؟robots.txt يمنع الزحف، أي زيارة الصفحة، لكنه لا يضمن عدم ظهورها. noindex يسمح بالزيارة ويطلب عدم الفهرسة، فتختفي الصفحة من النتائج. لإخراج صفحة من البحث استعمل noindex، ولتوفير الزحف على صفحات لا قيمة لها استعمل robots.txt.
خدمات من تكتيك تفيدك هنا
نفحص ملف robots.txt في أول يوم بعد أي إطلاق أو نقل، ونتأكد أن قواعده لا تحجب ملفات التصميم ولا صفحات تحمل noindex.
تواصل مع تكتيك
تريد أن تطبّق هذا على تسويق نشاطك؟
أخبرنا عن نشاطك في أربع خطوات، ونعود لك بخطة واضحة تبدأ من أرقامك الحالية. الاستشارة مجانية.
- خطة مبنية على أرقام نشاطك
- فريق واحد للإعلانات والمحتوى والمتجر
- استشارة مجانية دون التزام


