ملف robots.txt ماهو ولماذا هو مهم وكيفية التعديل عليه؟
ملف robots.txt ملف يحتوي على النصوص تعطي لعناكب البحث معلومات عن ما تريد أرشفته
و ما لا تريد أرشفته، إذا لم تقم بإضافة ملف Robots.Txt يتم القيام باستعمال الملف
الافتراضي الذي يمكن تعديل محتواه من بعض الخيارات
يمكن الوصول لملف Robots.Txt لأي موقع من خلال إضافة Robots.Txt آخر دومين الموقع
بعد سلاش مثل: https://btechnomee.blogspot.com/robots.txt وان دخلت اليه ستجد
التخصيص الذي نستخدمه ان اردت استعماله ولكنه غير ثابت قد نغير فيه لهذا تابع
الشرح لتنشأ واحدا خاص بك احسن.
ملف robots.txt الإفتراضي
كما قلنا انك ان لم تخصص الملف سيتم وضع ملف افتراضي من قبل المنصة والملف سيكون
على هذا الشكل
User-Agent: Mediapartners-Google Disallow: User-Agent: * Disallow: /search Allow: / Sitemap: https://btechnomee.blogspot.com/sitemap.xml
هذا الملف يحتوي اوامر تقوم بتوجيه الزواحف
الزواحف: توجد أنواع مختلفة من الزواحف منها:
- عناكب البحث المتخصصة في البحث عن مواضيع لأرشفتها
- توجد الزواحف المتخصصة في جلب المعلومات مثل Facebookexternalhit/1.1 الخاص بالفيسبوك وظيفته الزحف للروابط التي تم مشاركتها على الفيسبوك لجلب الصور و المعلومات المخزنة
- زاحف Ia_archiver الخاص بموقع ألكسا وظيفته تصفح المواقع لتحليل المحتوى ووظائف تحليلية أخرى...
توجد أنواع كثيرة من الزواحف كل زاحف و الوظيفة التي تم تطويره ليقوم بها .
تخصيص ملف robots.txt
لتخصيص الملف الخاص لمدونتك قم بتسجيل الدخول لبلوجر ثم إعدادات ثم برامج الزحف و
الفهرسة ثم ملف Robots.Txt مخصص و اضغط على تحرير ثم قم بتحديد نعم و أخيرا قم
بإضافة السطور التي تريد استعمالها
كما قلنا سنريك طريقة كتابة الملف وانت تقوم بالباقي ولكن لفعل ذلك سنخبركم بكل
الأسطر التي تستطيع كتابتها في الملف وانت تعدل عليها حسب رغبتك ومجال موقعك
المكونات
User-Agent:
يقوم بتحديد نوع الزاحف الذي ستعطى له الأوامر , لإختيار زاحف الفيسبوك
Facebookexternalhit/1.1 مثلا سنستعمل هذه السطور
User-Agent: Facebookexternalhit/1.1 Disallow: /p Disallow: /search/label Allow: / User-Agent: * Allow: / Sitemap: https://btechnomee.blogspot.com/sitemap.xml
سيتم تطبيق الاوامر المحددة لزاحف الفيسبوك فقط (شرح الاوامر في الاسفل) أما إذا
قمنا بإستعمال علامة * في User Agent فتقوم بتحديد كل الزواحف الاخرى بدون
المحددة في الكود , يعني الامر المحدد بالأخضر Allow:/ الموجود في User Agent *
لن يعمل على زاحف الفيسبوك لأن زاحف الفيسبوك خصصنا له الاوامر الخاصة به وحده
. وهذا شرح مفصل على زواحف الشبكة
من هنا
الأوامر
Disallow:
يمكنك إضافة سطر Disallow لمنع الزاحف من الوصول لكامل أو بعض صفحات مدونتك مثال:
User-Agent: * Disallow: /
هذا السطر سيقوم بمنع كل أنواع الزواحف من الوصول لموقعك و Disallow يقوم بمنع
الوصول لأي صفحة في الموقع تبدأ بـ / يعني كل الصفحات , إذا كنت تريد منع الوصول
لبعض الصفحات يمكنك تحديدها فعلى سبيل المثال اريد منع الوصول لموضوع الإنضمام
للموقع سأستخدم هذا:
User-Agent: * Disallow: /p Disallow: /2022/01/inv-author.html
وملاحظة ان اردت اضافة صفحة جديدة في المحظورات ضف هذا السطر
Disallow: /search
بدون حذف الذي سبقه لتفهم ولكن ان اردت تجنب كل هذا حيث ان تسمح بالوصول للكل:
اتركه فارغة وعندما تتركه فارغة يعني تستخدم واحدو فقط لاأكثر
Allow يعتبر هذا عكس الأول وظيفيا فهنا الذي تضيفه داخله سيتم منح امكانية
الوصول له ويمكنك التعديل عليه مثل الاول وهذا مثال لتفهم:
User-Agent: * Disallow: /p Allow: /p/Important.Html
Disallow يمنع الوصول لأي صفحة في المدونة لأن بلوجر تستضيف كل الصفحات على روابط
تبدأ بـ /p إلا أن Allow قام بالسماح لصفحة واحدة و هي important.html
Sitemap تخبر عناكب البحث عن مكان تخزين فهرس المدونة , لتسهيل الوصول
للتدوينات في بلوجر يمكن الوصول لخريطة المدونة بطرق مختلفة
- https://btechnomee.blogspot.com/feeds/posts/default?orderby=updated
- https://btechnomee.blogspot.com/feeds/posts/default?alt=atom
- https://btechnomee.blogspot.com/sitemap.xml
- https://btechnomee.blogspot.com/atom.xml
حسب معرفتي الافضل هي الاولى لأنها تقوم بجلب المواضيع بترتيب حسب ٱخر تعديل ,
يعني أخر موضوع قمت بتعديله يصبح في أعلى الخريطة .
تقوم بإضافتها في أسفل ملف Robots.Txt بهذا الشكل
User-Agent: * Allow: / Sitemap: https://btechnomee.blogspot.com/feeds/posts/default?orderby=updated
التعليقات
يعني تقريبا كل لغات البرمجة بها تعليقات مثل جافا سكريبت وhtmlوcss وان كنت قد
تابعت كورس html ستفهم قصدي ولكن لنرجع لموضوعنا يعني مستحيل ان يحفر الملف فأكيد
يتوفر بتعليقات والتعليقات هي كتابات لاتأثر على محتوى الملف او الكود يتم
استخدامه للتفرقة بين الأكواد او الأسطر لفهم محتواها بدون الرجوع لهذا الدرس مع
انو بدي ترجعولي مشان ازيد مشاهدات (🤣😂) ، ولإضافة تتعليق قم بإضافته بعد # لن
اريكم المثال لأنو تعبت وكمان الطريقة سهلة من اضافة الأكواد.
مولد ملف روبوت
نحن وفرنا لكم صفحة خاصة تقوم بتوليد ملف روبوت حسب معطياتك ورغبتك
akram lam
طالب ومصمم ومطور في xml وhtml
