ماهو ملف robots.txt :
ملف Robots.txt هو ملف يحتوي على رموز بسيطة تخبر محركات البحث عن كيفية فهرسة موقع ويب و الزحف إليه لتظهر في نتائج البحث.
بهذه الطريقة تحصل على حركة الزيارات من محركات البحث.
لماذا ملف Robots.txt مهم؟
حسنًا ، يعتمد نجاح أي مدونة احترافية عادةً على كيفية تصنيف محرك بحث Google لمدونتك. نقوم بتخزين عدد من المنشورات / الصفحات / الملفات في هيكل موقعنا الإلكتروني. في كثير من الأحيان لا نريد أن يقوم Google بفهرسة كل هذه المكونات. على سبيل المثال ، قد يكون لديك ملف للاستخدام الداخلي - ولا يفيد محركات البحث. لا تريد أن يظهر هذا الملف في نتائج البحث. لذلك ، من الحكمة إخفاء مثل هذه الملفات عن محركات البحث.
يحتوي ملف Robots.txt على توجيهات تحترمها جميع محركات البحث الكبرى. باستخدام هذه التوجيهات ، يمكنك إعطاء تعليمات لعناكب الويب لتجاهل أجزاء معينة من موقع الويب / المدونة الخاصة بك.
إنشاء ملف robots txt :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://example.blogspot.com/sitemap.xml
يمكنك أيضا إنشاء ملف Robots.txt من خلال أداة ملف مولد ملف الروبوتس Robots.txt Robots txt generator من خلال هذا الرابط .
كيفية إضافة ملف Robots.txt في بلوجر :
- انتقل لوحة تحكم بلوجر Blogger وانقر على خيار الإعدادات.
- قم بالتمرير للأسفل إلى قسم برامج الزحف والفهرسة.
- قم بتمكين ملف robots.txt المخصص عن طريق زر التبديل.
- انقر فوق ملف robots.txt المخصص ، وسيتم فتح نافذة قم بلصق ملف robots.txt أعلاه
- بعد إجراء التغييرات ، انقر فوق الزر "حفظ التغييرات"
كيفية رؤية ملف الروبوتس Robots.txt لموقعك :
لعرض ملف robots.txt المخصص الحالي لمدونتك ، انتقل إلى عنوان URL التالي:
https://www.example.com/robots.txt
وغني عن القول ، من فضلك استبدل yourblog باسم مدونتك.
شرح ملف Robots txt :
هناك عدة توجيهات بسيطة في ملف Robots.txt المخصص. فيما يلي الشرح الأساسي لهذه التوجيهات حتى تتمكن من إجراء تغييرات مدروسة في ملفك.
البدل
غالبًا ما يتم استخدام أحرف البدل التالية في ملفات robots.txt :
* يعني كل شيء .
/ يعني المسار أو الجذر .
User agent:
يشير هذا التوجيه إلى برامج زحف الويب التي سيتم تطبيق الإعدادات في ملف robots.txt عليها.
Disallow:
يوجه برامج زحف الويب إلى عدم الزحف إلى المسار أو الملف المشار إليه. فمثلا :
Disallow: /
سيخبر زاحف الويب بعدم الزحف إلى أي شيء في مدونتك ( أي أنك لا تسمح بأرشفة هذا المسار).
Disallow: /dir/*
سيخبر زاحف الويب بعدم الزحف إلى أي شيء في هذا المسار
Disallow: /dir/myfile.html
سيخبر زاحف الويب بعدم الزحف إلى myfile.html ضمن المسار dir. فسيزحف الزاحف إلى جميع الملفات الأخرى ضمن المسار dir إلا الملف myfile.html .
Allow
يطلب هذا التوجيه تحديدًا من عناكب البحث الزحف إلى هذا المسار أو ملف معين. فمثلا:
Disallow: /dir/myfile.html
Allow: /dir/myfile.html
المعنى العام للسطرين أعلاه هو أنه يجب على الزاحف الزحف /dir/myfile.html
يحجب السطر الأول الزاحف ولكن السطر الثاني يسمح للزاحف بالزحف مرة أخرى.
Sitemap
ملف Sitemap او السايت ماب هو ملف مهم لموقعك على الويب أو مدونتك. يحتوي هذا الملف على هيكل موقعك ، حيث أنها تساعد برامج زحف الويب في العثور على طريقها في مدونتك.
ملف Sitemap: يخبر الزاحف بموقع ملف Sitemap الخاص ، بكفي في حالة أن موقعك هو مدونة Blogger يمكنك ترك هذا السطر كما هو.
ختاما :
هذا هو! إذا كان لديك أي أسئلة بخصوص ملف Robots.txt المخصص لبلوجر Blogger ، فأخبرني في قسم التعليقات. سأبذل قصارى جهدي لمساعدتك. شكرا لك على زيارة مدونتنا !