أسهل طريقة اختبار ملف robots.txt | اضمن وصول عناكب البحث الي مقالاتك المهمة 2021

تعريف ملف robots.txt .

ملف Robots.txt | هو ملف يتم إنشاؤه ، في مدونه بلوجر الخاصة بموقع الويب الخاص ، و يوجه عناكب إلى الصفحات المهمة . الخاصة بموقعك الخاص ، أو الصفحات المهمة ، و التي يتم أرشفتها. وإعداد ، واختبار ملف robots.txt خطوة مهمة جدا ، وسوف نعرض لكم وظيفه ملف robots.txt .

وظيفة ملف robots.txt داخل موقعك الالكتروني .

  يخبر هذا الملف محركات البحث ، أن هذه الصفحات من أهم الصفحات ، على موقعك الالكتروني الخاص بك . وسيتم أرشفتها ، وتخبر  أيضًا أنه يوجد صفحات غير مهمة ، لا ينبغي لعناكب البحث أرشفتها . ولا عرضها على محركات البحث . يتم ذلك عن طريق الأوامر ، داخل الملف الموجود في مدونتك الذي يتم  إنشاؤه . وسوف نستعرض لكم ، كيفيه انشاء ملف robots.txt علي مدونتك .

كيف تقوم بانشاء ملف robots.txt علي موقعك .

لانشاء ملف robots.txt ، لمدونتك الخاصة بموقعك الإلكتروني ، ما عليك سوى اتباع الاتي .

• التوجه  الي صفحة بلوجر ، الخاصة بك .
• ثم الضغط علي زر الإعدادات ، الخاص بمدونتك .
• ثم البحث عن برامج الزحف والفهرسة .
• ثم تقوم بوضع الكود الاتي ، ملف robots.txt .

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://www.ahmedcompeo.com/sitemap.xml

• ما عليك سوي إزاله الموقع الالكترونى ، ووضع الموقع الالكترونى الخاص بك .
• ثم تقوم بعمل حفظ ، و تفعيل ملف robots.txt .

كيفيه اختبار ملف robots.txt .

هي خطوة مهمة جدا ، للتأكد من أن الملف الذي قمت بانشائه ، صحيح لا يوجد به أي اخطاء . ما عليك سوي اتباع الاتي .

• الذهاب إلى Google search console .
• ثم الضغط علي زر المزيد من المعلومات .
• ثم تفتح لك صفحة ، و تقوم بالضغط على زر اختبار ملف robots.txt .
• ثم تقوم بأختيار موقعك الإلكتروني ، الخاص بك .
• وسوف يتم توجيهك الي الملف مباشرة .
• تقوم الضغط علي زر اختبار ، و الموجود أسفل الملف ، اذا أعطاك شريط باللون الاخضر ، فإن الملف صالح .
• ثم تقوم بالضغط علي ارسال الملف .

شرح الأوامر داخل ملف robots.txt .

• User-agent ،  أمر مهم  لعرض قواعد محركات البحث المختلفة .
•  Disalow ، أمر يمنع  محركات البحث ، من الوصول إلى صفحات معينة ، داخل موقعك الإلكتروني .
• Allaw ، هذا أمر مهم جدا ، و وظيفته يسمح لمحركات البحث ، بالوصول إلى الصفحات ، وكل جزء داخل موقعك الإلكتروني . 
• Sitemap ، أمر ارتباط إلى خريطة الموقع الالكترونى الخاص بك ، للوصول المحركات البحث .

منع حجب الملفات داخل موقعك الإلكتروني .

في هذا الحال ، لا تقم بحجب ملفات gava script ، و CSS ، لأن عناكب ومحركات البحث . لن تستطيع مشاهدة موقعك الإلكتروني ، بشكل جيد كما يراه الزوار ، ما عليك سوي ان تسمح لمحركات البحث ، بالوصول للملفات . للحصول على ارشفة سريعة لموقعك ، وكسب ثقة أكبر ، من عناكب ومحركت البحث .

هذا وقد قدمنا لكم ، تعريف كامل عن ملف robots.txt ، كما قدمنا لكم . كيفيه انشاء ملف robots.txt ، داخل موقعك  الخاص بك ، وكيفيه اختبار الملف ، بالطريقة الصحيحة . 

شرح وإصلاح خطأ 404 علي موقعك الالكتروني  .

 تحسين محتواك  الذي تقدمةللقارئ من هنا   .