خريطة الموقع و robots.txt للمتاجر السعودية: كيف تساعد Google على الزحف بدون فوضى؟

خريطة الموقع و robots.txt للمتاجر ليست إعدادات تقنية هامشية. هي إشارات تساعد Google على معرفة الصفحات التي تستحق الزحف والفهرسة، والصفحات التي لا يجب أن يهدر عليها وقتًا. في المتاجر السعودية، الخطأ هنا قد يعني أن منتجات مهمة لا تظهر في البحث، أو أن Google يزحف لصفحات فلاتر وسلات وحسابات لا قيمة لها في السيو.

توضح Google Search Central أن sitemap تساعد في إخبار Google بالصفحات المهمة، بينما robots.txt يدير وصول الزواحف إلى مسارات معينة، لكنه ليس وسيلة آمنة لمنع ظهور صفحة في نتائج البحث. لذلك يحتاج المتجر إلى تعامل دقيق: خريطة واضحة للصفحات التي نريد فهرستها، وrobots.txt لا يحجب صفحات المنتجات أو التصنيفات أو ملفات CSS وJavaScript المهمة.

ما وظيفة خريطة الموقع؟

خريطة الموقع XML تعرض قائمة بالروابط التي تريد من محركات البحث اكتشافها. في متجر إلكتروني، غالبًا تشمل الصفحة الرئيسية، التصنيفات، المنتجات، المقالات، صفحات العلامات المهمة، وصفحات الخدمات إن وجدت. قيمتها تزيد عندما يكون المتجر كبيرًا أو يحتوي منتجات كثيرة أو صفحات جديدة تُضاف باستمرار.

متى تكون خريطة الموقع ضرورية؟

• عند وجود عدد كبير من المنتجات أو التصنيفات.
• عند إطلاق متجر جديد لا يملك روابط داخلية قوية بعد.
• عند إضافة مقالات أو صفحات هبوط بشكل مستمر.
• عند وجود صفحات عميقة لا يصلها العميل من القائمة الرئيسية بسهولة.

ما وظيفة robots.txt؟

ملف robots.txt يخبر الزواحف ما المسارات التي يمكنها أو لا يمكنها الزحف إليها. لكن Google توضح أنه ليس وسيلة لمنع الفهرسة. إذا أردت منع ظهور صفحة في Google، استخدم noindex أو حماية بكلمة مرور حسب الحالة، لا تعتمد على robots.txt وحده.

أمثلة مسارات يمكن مراجعتها

قد تحتاج لحجب مسارات مثل نتائج البحث الداخلية أو روابط السلة أو الحسابات أو صفحات فلاتر تولد آلاف الروابط المتشابهة. لكن لا تحجب صفحات المنتج أو التصنيف الأساسية، ولا تحجب ملفات التصميم والسكربت التي يحتاجها Google لفهم الصفحة.

الفرق العملي بين sitemap و robots.txt

قائمة فحص خريطة الموقع للمتاجر السعودية

خطوات عملية لضبط الخريطة وrobots.txt

1. افحص الخريطة الحالية

افتح رابط الخريطة، غالبًا يكون مثل /sitemap.xml أو ملفًا ينشئه نظام المتجر أو إضافة السيو. راجع هل تعرض المنتجات والتصنيفات والمقالات، أم تحتوي صفحات غير مفيدة مثل حساب العميل والسلة ونتائج البحث الداخلية.

2. أرسل الخريطة في Search Console

استخدم تقرير Sitemaps داخل Google Search Console لإرسال الخريطة ومراجعة حالة القراءة. وجود الخريطة لا يضمن الفهرسة، لكنه يساعدك على كشف مشاكل القراءة والروابط المرفوضة أو غير المكتشفة.

3. راجع robots.txt قبل أي تعديل

لا تعدل robots.txt بشكل عشوائي. ابدأ بسؤال واضح: ما الصفحات التي تستهلك الزحف ولا تستحق الفهرسة؟ وما الصفحات التي يجب أن تبقى مفتوحة؟ أي سطر Disallow خاطئ قد يحجب مسارًا كاملًا من المنتجات.

4. اختبر أهم صفحات المنتجات والتصنيفات

استخدم فحص الرابط داخل Search Console لأهم المنتجات والتصنيفات. تأكد أن Google يستطيع الزحف، وأن الصفحة ليست noindex، وأن canonical يشير للصفحة الصحيحة، وأنها ليست محجوبة بملف robots.txt.

أخطاء شائعة في المتاجر

• إرسال خريطة تحتوي روابط منتجات محذوفة أو صفحات 404.
• حجب مجلد كامل يحتوي صور المنتجات أو ملفات مهمة للعرض.
• ترك فلاتر السعر واللون والمقاس تولد روابط كثيرة قابلة للزحف بدون ضبط.
• إضافة صفحات checkout والحساب والسلة داخل خريطة الموقع.
• الاعتماد على sitemap فقط مع ضعف الربط الداخلي بين التصنيفات والمنتجات.

كيف تربط الموضوع بقرار تسويقي؟

إذا كانت صفحاتك لا تُكتشف أو لا تُفهرس، فلن يجدي إنتاج محتوى أو تحسين عنوان المنتج وحده. ابدأ من سؤال: هل Google يرى صفحات البيع المهمة أصلًا؟ بعد ذلك انتقل لتحسين العنوان والوصف والمحتوى والصور والبيانات المنظمة.

مصادر رسمية مفيدة

• Google Search Central: Build and submit a sitemap
• Google Search Central: Introduction to robots.txt
• Search Console Help: Sitemaps report
• Search Console Help: URL Inspection Tool
• Google Search Central: Canonical URLs

أسئلة شائعة