إضافة ملف Robots.txt بشكل صحيح

مرحباً..
هذه المرة أشرح لكم الكيفية الصحيحة لإضافة أحد أهم الملفات التي تساهم في أرشفة مدونتك وتحسين ظهورها في محركات البحث، بل إنه للحقيقة حساس لدرجة أنك لو أخطئت في تطبيق هذا الشرح فقد تختفي مدونتك من جوجل في دقيقة!
حسنا بعد هذه المقدمة الرهيبة، وإن كنت لا تزال هنا فتابع معي هذه الخطوات البسيطة بتركيز:

ملف robots.txt مخصص

من لوحة تحكم المدونة اختر التبويب "إعدادات"

1. اضغط على "تفضيلات البحث"
2. توجه نحو: ملف Robots.txt مخصص واضغط "تحرير"
3. أضف الكود التالي مع تغيير رابط مدونتي بمدونتك أنت ثم احفظ التغييرات

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://arbloggerblog.blogspot.com/sitemap.xml
Sitemap: http://arbloggerblog.blogspot.com/feeds/posts/default?orderby=UPDATED
Sitemap: http://arbloggerblog.blogspot.com/feeds/comments/default?redirect=false&start-index=1&max-results=500
Sitemap: http://arbloggerblog.blogspot.com/feeds/comments/default?redirect=false&start-index=501&max-results=500
Sitemap: http://arbloggerblog.blogspot.com/feeds/comments/default?redirect=false&start-index=1001&max-results=500

علامات رؤوس مخصصة لبرامج الروبوت

توجه الآ، نحو الخيار الذي يليه، اضغط تحرير ثم اجعل الخيارات كما في الصورة الآتية:

اضغط على الصورة لتكبيرها

هكذا يمكنني أن أضمن لك أرشفة قوية وسريعة لكل المواضيع، وحتى التعليقات، إضافة إلى تجنب تكرار نفس المحتوى.