في عالم الويب، يعتبر ملف robots.txt من الأدوات الهامة لمساعدة محركات البحث على فهم محتوى موقعك وتحديد الصفحات التي يجب تصفيتها من نتائج البحث. وفي بلوجر، يمكنك إنشاء ملف robots.txt بسهولة، ولكن قبل ذلك يجب فهم ما هو ملف robots.txt وأهميته.
ما هو ملف robots txt
يعتبر ملف robots.txt ملف نصي يتم إنشاؤه في جذر موقع الويب الخاص بك، ويحتوي على قائمة بالصفحات التي لا يجب أن تزورها محركات البحث. عندما يصل محرك البحث إلى موقعك، يتحقق من ملف robots.txt لمعرفة ما إذا كان يجب تصفية أي صفحات أو مجلدات.
بالإضافة إلى ذلك، يمكن استخدام ملف robots.txt لتحديد مواقع محددة لمحركات البحث لزيارتها وتحديثها بشكل متكرر. يمكن أيضًا استخدام ملف robots.txt لتحديد كمية الوقت التي يجب أن تقضيها محركات البحث على موقعك، وكذلك عدد الصفحات التي يجب عليها زيارتها.
أهمية ملف robots txt
يعتبر ملف robots.txt أداة مهمة جدًا لأي موقع ويب، حيث يمكن استخدامه لتحسين تجربة المستخدم وتحسين أداء محركات البحث. على سبيل المثال، يمكن استخدام ملف robots.txt للتحكم في كيفية زيارة محركات البحث لموقعك، مما يمكن أن يحسن من سرعة تحميل الموقع ويقلل من عدد الصفحات التي تعرض لمحركات البحث.
كما يمكن استخدام ملف robots.txt لتخفيف الضغط على خوادم الموقع، حيث يمكن منع محركات البحث من زيارة صفحات محددة، وبالتالي توفير المزيد من الموارد لمحتوى الموقع الأساسي.
إنشاء ملف robots txt في بلوجر
يمكن إنشاء ملف robots.txt في بلوجر بسهولة، وذلك عن طريق الاتباع الخطوات التالية:
- قم بتسجيل الدخول إلى حساب بلوجر الخاص بك.
- انتقل إلى “إعدادات” > “مفاتيح موقع الويب”.
- انتقل إلى “ملف robots.txt” وانقر على “تعديل”.
- أدخل المحتوى الذي تريده في ملف robots.txt.
- انقر على “حفظ التغييرات”.
يجب ملاحظة أنه يجب أن تكون محتويات ملف robots.txt في بلوجر:
- إذا كنت تريد منع محرك البحث من زيارة جميع صفحات موقعك، يمكنك استخدام الأمر “User-agent: *” مع الأمر “Disallow: /”.
- إذا كنت تريد منع محرك البحث من زيارة صفحات محددة، يمكنك استخدام الأمر “User-agent: * ” مع الأمر “Disallow: /folder/page.html”.
- إذا كنت تريد السماح لمحرك البحث بزيارة جميع صفحات موقعك، يمكنك استخدام الأمر “User-agent: *” مع الأمر “Disallow: “.
- إذا كنت تريد تحديد موقع محدد لمحرك البحث لزيارته، يمكنك استخدام الأمر “User-agent: Googlebot” مع الأمر “Disallow: /”.
- يمكنك استخدام الأمر “Crawl-delay” لتحديد كمية الوقت التي يجب أن تقضيها محركات البحث على موقعك. على سبيل المثال، يمكنك استخدام الأمر “Crawl-delay: 10” لتحديد أنه يجب على محرك البحث الانتظار 10 ثوانٍ بين زيارة الصفحات.
ملف robots txt جاهز بلوغر
هذه أفضل اعدادت لملف robots txt بلوجر
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search*
Disallow: /20*
Allow: /*.html
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xmlنصائح لإنشاء ملف robots txt فعال
- تأكد من تحديث ملف robots.txt بانتظام، لأن محركات البحث تقوم بزيارة الموقع بانتظام وقد تغيرت بعض الصفحات.
- تجنب استخدام ملف robots.txt لإخفاء صفحات مليئة بالكلمات الرئيسية، وذلك لأن هذا قد يؤدي إلى تخفيض تصنيف الموقع في نتائج البحث.
- تجنب استخدام ملف robots.txt لمنع محركات البحث من زيارة صفحات الموقع الأساسية، وذلك لأن هذا قد يؤدي إلى تخفيض تصنيف الموقع في نتائج البحث.
- تجنب استخدام الأمر “Disallow: /” لمنع محرك البحث من زيارة جميع صفحات الموقع، لأن هذا سيؤدي إلى شطب الموقع من نتائج البحث.
- تأكد من أن المحتوى في ملف robots.txt يتوافق مع سياسة الموقع والهدف منه.
إنشاء ملف robots.txt في ورد بريس
لا يفترض بوجود ملف robots.txt في ورد بريس عند تثبيته، لذلك يجب إنشاؤه يدويًا. لإنشاء ملف robots.txt في ورد بريس، يجب اتباع الخطوات التالية:
- افتح محرر النصوص المفضل لديك، مثل بلوك نوت أو برنامج محرر نصوص آخر.
- اكتب الأوامر التي تريد إضافتها إلى ملف robots.txt. يجب عليك أن تكون حريصًا على عدم حظر أي صفحات تريد أن تظهر في نتائج البحث.
مثال على ملف robots.txt في ورد بريس:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Sitemap: https://example.com/sitemap.xml- احفظ الملف باسم “robots.txt”.
- رفع الملف إلى جذر موقع ورد بريس الخاص بك باستخدام FTP أو لوحة التحكم في الاستضافة الخاصة بك.
إختبار ملف robots.txt في وورد بريس
يمكنك اختبار ملف robots.txt في ورد بريس باستخدام أدوات التحقق من صحة ملف robots.txt، مثل Google Search Console. يمكنك أيضًا استخدام أدوات على الويب الخاصة بالتحقق من ملف robots.txt.
إنشاء ملف robots.txt في بلوقر:
بلوقر تتيح للمستخدمين إنشاء ملف robots.txt بسهولة، وذلك باستخدام الخيار المخصص في لوحة التحكم الخاصة بهم. لإنشاء ملف robots.txt في بلوقر، يجب اتباع الخطوات التالية:
- افتح لوحة التحكم في بلوقر الخاصة بك.
- انتقل إلى “إعدادات” > “مفاتيح موقع الويب”.
- انتقل إلى “ملف robots.txt” وانقر على “تعديل”.
- اكتب الأوامر التي تريد إضافتها إلى ملف robots.txt. يجب عليك أن تكون حريصًا على عدم حظر أي صفحات تريد أن تظهر في نتائج البحث. (يمكنك أخذ الملف الجاهز في الأعلى)
- احفظ الملف.
إختبار ملف robots.txt في بلوقر
يمكنك اختبار ملف robots.txt في بلوقر باستخدام أدوات التحقق من صحة ملف robots.txt، مثل Google Search Console. يمكنك أيضًا استخدام أدوات على الويب الخاصة بالتحقق من ملف robots.txt.
نصائح لإنشاء ملف robots.txt
- تأكد من عدم حظر أي صفحات تريد أن تظهر في نتائج البحث.
- استخدم تعليمات User-agent الصحيحة لتحديد المحركات التي تريد إبقائها أو حظرها من الفهرسة.
- استخدم تعليمات Disallow لتحديد الصفحات التي لا يجب أن تكون متاحة لمحركات البحث.
- استخدم تعليمات Allow لتحديد الصفحات التي يجب أن تكون متاحة لمحركات البحث، حتى إذا كانت في دليل محظور.
- استخدم Sitemap لتوجيه محركات البحث إلى خريطة موقعك.
خلاصة
إنشاء واختبار ملف robots.txt في ورد بريس وبلوقر هو عملية هامة لتحسين تصنيف موقعك في نتائج محركات البحث. يجب عليك أن تكون حريصًا على عدم حظر أي صفحات تريد أن تظهر في نتائج البحث، واستخدام تعليمات User-agent، Disallow، Allow، و Sitemap بشكل صحيح. يمكنك اختبار ملف robots.txt باستخدام أدوات التحقق من صحة ملف robots.txt، مثل Google Search Console.