الاستشهاد بكم في محركات الإجابة بالذكاء الاصطناعي: ما هو موثق وما ليس كذلك

وثائق Google Search Central بشأن AI Overviews و AI Mode واضحة ومباشرة. فلا توجد متطلبات إضافية للظهور في أي من الميزتين، ولا حاجة إلى تحسينات خاصة. ولكي تكون الصفحة مؤهلة للظهور رابطًا داعمًا، يجب أن تكون مفهرسة ومؤهلة للعرض في Google Search مع مقتطف. ويضيف دليل التحسين لدى Google أن الموقع يجب أن يكون مُدرجًا في ميزات الذكاء الاصطناعي التوليدي في البحث ضمن Search Console ليكون مؤهلًا.

وتصف Google الآلية أيضًا بعبارات عامة. فالميزتان تستخدمان التوليد المعزز بالاسترجاع، الذي يعتمد على أنظمة الترتيب الأساسية في البحث لاسترجاع الصفحات من فهرس البحث، و"توزيع الاستعلام" (query fan-out)، الذي يُجري فيه النموذج عدة عمليات بحث مترابطة عبر موضوعات فرعية قبل صياغة الإجابة. ولا تظهر AI Overviews إلا حين تقدّر أنظمة Google أنها تضيف قيمة إلى النتائج التقليدية، وتقول Google إنها كثيرًا ما لا تظهر. وقد تستخدم AI Mode و AI Overviews نماذج مختلفة، لذا قد تختلف الروابط التي تعرضانها للسؤال نفسه.

وعمليًا، يقوم الظهور في ميزات الذكاء الاصطناعي لدى Google على الأسس نفسها التي يقوم عليها الظهور في البحث العادي. فالصفحة التي لا يمكن الزحف إليها، أو لا يمكن فهرستها، أو يُمنع عرض مقتطف منها، ليست مؤهلة.

توثّق OpenAI برامج زحف منفصلة لأغراض منفصلة. فـ OAI-SearchBot يُظهر المواقع في ميزات البحث في ChatGPT، والمواقع التي تحجبه لن تظهر في إجابات البحث في ChatGPT، وإن كان يمكنها الظهور روابطَ للتنقل. أما GPTBot فيزحف إلى محتوى قد يُستخدم في تدريب النماذج الأساسية لدى OpenAI. والإعدادان مستقلان، فيمكن للموقع أن يسمح بـ OAI-SearchBot ويمنع GPTBot. ويجلب ChatGPT-User الصفحات حين يطرح مستخدم سؤالًا على ChatGPT، وتشير OpenAI إلى أن قواعد robots.txt قد لا تنطبق على هذه الطلبات التي يبادر بها المستخدم. وتقول OpenAI إن تغيير robots.txt قد يستغرق نحو 24 ساعة حتى ينعكس على نتائج البحث.

وتتبع وثائق Perplexity نمطًا مشابهًا. فـ PerplexityBot يُظهر المواقع ويربطها في نتائج البحث في Perplexity، ووفقًا لـ Perplexity لا يُستخدم للزحف إلى المحتوى لصالح النماذج الأساسية للذكاء الاصطناعي. ويجلب Perplexity-User الصفحات استجابةً لأسئلة المستخدمين، ويتجاهل robots.txt بوجه عام. كما تنصح Perplexity أصحاب المواقع المحمية بجدار حماية لتطبيقات الويب بإضافة نطاقات عناوين IP التي تنشرها إلى قائمة السماح.

وثمة نمط إخفاق يقع خارج نطاق فريق المحتوى. فقاعدة في جدار الحماية أو شبكة توصيل المحتوى (CDN) كُتبت لإيقاف أدوات استخراج البيانات قد تحجب OAI-SearchBot أو PerplexityBot دون أن يقرر أحد ذلك. وتتضمن قائمة التحقق التي تضعها Google لميزات الذكاء الاصطناعي التأكد من أن الزحف مسموح به "من أي شبكة CDN أو بنية استضافة"، إضافة إلى robots.txt.

لا ينشر أي مزوّد المعايير التي يستخدمها نظامه لتفضيل مصدر على آخر في إجابة معينة. والنصائح التي تدّعي معرفة هذه الأوزان استنتاج لا أكثر. ويقول دليل التحسين لدى Google إنه لا توجد أداة من طرف ثالث تستطيع الوصول إلى أنظمة الترتيب أو الذكاء الاصطناعي الداخلية لدى Google، ويدعو أصحاب المواقع إلى الحذر من الأدوات التي تدّعي استخدام مقاييس Google الداخلية.

ويتناول الدليل أيضًا llms.txt. و llms.txt مقترح، منشور على llmstxt.org، لملف بصيغة markdown يمنح النماذج اللغوية لمحة منتقاة عن الموقع مع روابط إلى نسخ نظيفة من صفحاته. وتقول Google إن Google Search لا يستخدم llms.txt ولا ملفات نصية مماثلة مخصصة للذكاء الاصطناعي. فنشر هذا الملف لن يفيد الظهور أو الترتيب في Google Search ولن يضرهما. ولا تذكره وثائق برامج الزحف لدى OpenAI و Perplexity. ويجوز للموقع مع ذلك أن ينشره لوكلاء البرمجة أو غيرهم من الأدوات التي تقرؤه، لكن لا يوجد أساس منشور لاعتباره عامل ترتيب لدى أي من محركات الإجابة الثلاثة التي يتناولها هذا المقال.

وتسرد Google أساليب شائعة أخرى تقول إن أصحاب المواقع يمكنهم تجاهلها فيما يخص ميزاتها للذكاء الاصطناعي. ومنها تقسيم المحتوى إلى "أجزاء" صغيرة، وإعادة كتابة الصفحات خصيصًا لأنظمة الذكاء الاصطناعي، والسعي وراء إشارات غير أصيلة عبر الويب، وإضافة ترميز schema.org خاص بالذكاء الاصطناعي.

محرك الإجابة الذي يستشهد بمؤسسة ما يجب أن يتبيّن أي مؤسسة هي. ويصبح ذلك أصعب حين يختلف الاسم التجاري عن الاسم القانوني، ولا يظهر رقم التسجيل في أي مكان على الموقع، وتصف الملفات التعريفية في الأدلة والمنصات الاجتماعية والأسواق الإلكترونية النشاط بعبارات مختلفة.

وتصف وثائق Google للبيانات المنظَّمة من نوع Organization ترميزًا يساعد Google على فهم التفاصيل الإدارية للمؤسسة وتمييزها عن غيرها. ومن الخصائص المتاحة legalName، وروابط sameAs إلى الملفات التعريفية على مواقع أخرى، و vatID، و taxID، و iso6523Code، الذي يمكن أن يحمل معرّف الكيان القانوني (LEI) مع البادئة 0199. ولا تُعد أي من هذه الخصائص إلزامية. وتضيف إرشادات Google لميزات الذكاء الاصطناعي تحفظين. فالبيانات المنظَّمة يجب أن تطابق النص الظاهر في الصفحة، وهي ليست شرطًا للبحث بالذكاء الاصطناعي التوليدي. وتكمن قيمتها في إزالة الالتباس، وهي تساعد في الأهلية للنتائج المنسقة.

والعمل غير لافت. اعرضوا الاسم القانوني ورقم التسجيل والعنوان المسجل على الموقع نصًا عاديًا. ورمّزوها بصورة متسقة، ووجّهوا sameAs إلى الملفات التعريفية التي تتحكمون فيها. وأبقوا معلومات Google Business Profile، ومعلومات Merchant Center بالنسبة لتجار التجزئة، محدّثة. وتقول Google إن كليهما قد يساعد المنتجات والخدمات على الظهور في إجاباتها المعتمدة على الذكاء الاصطناعي.

قرروا سياسة برامج الزحف عن قصد. فيمكن ضبط الوصول لأغراض التدريب ولأغراض البحث بشكل منفصل لدى OpenAI عبر GPTBot و OAI-SearchBot. وبالنسبة لـ Google، يحكم الرمز Google-Extended الاستخدام في تدريب نماذج Gemini وتأسيس إجاباتها على المصادر، وتؤكد Google أنه لا يؤثر في الإدراج أو الترتيب في Google Search. دوّنوا القرار وسببه لكل وكيل مستخدم.

اختبروا صمود السياسة على حافة الشبكة. راجعوا سجلات جدار الحماية وشبكة CDN بحثًا عن طلبات محجوبة من وكلاء المستخدم ونطاقات عناوين IP المنشورة، وافحصوا robots.txt باستخدام الرموز الموثقة لدى كل مزوّد.

لا تستخدموا ضوابط المقتطفات إلا حيث تخدم غرضًا. إذ تعدّ Google كلًّا من nosnippet و data-nosnippet و max-snippet و noindex الضوابط التي تحد مما يظهر من الصفحة في البحث، بما في ذلك ميزات الذكاء الاصطناعي. والصفحة التي تحجب المقتطفات تُخرج نفسها أيضًا من الأهلية للظهور رابطًا داعمًا.

قيسوا ما يمكن قياسه. فـ Google تعرض حركة AI Overviews و AI Mode ضمن تقرير الأداء في Search Console، وتوفر تقريرًا لأداء الذكاء الاصطناعي التوليدي. وتتبعوا الاستشهادات في المحركات الأخرى بأخذ عينة من مجموعة ثابتة من الأسئلة وفق جدول زمني ثابت، وتعاملوا مع النتائج على أنها ملاحظات لا ترتيب.

قدّموا للمحركات ما يستحق الاستشهاد به. فدليل Google يطلب محتوى "غير نمطي" قائمًا على خبرة مباشرة. وبالنسبة لمؤسسة راسخة، يعني ذلك عادةً نشر الأدلة والأساليب والبيانات المحددة التي تملكها بالفعل، مع ذكر المؤلف والتاريخ في كل صفحة.