عدا جوجل.. ريديت تحظر ظهور محتواها في نتائج محركات البحث

فقدت محركات البحث المختلفة، عدا Google Search، قدرتها على إظهار نتائج البحث من منصة Reddit، وذلك بعد تحديث جديد لملف robots.txt الخاص بالموقع. 

جاء هذا التحديث كجزء من استراتيجية جديدة تهدف إلى تنظيم الوصول إلى محتوى الموقع واستخدامه.

السبب وراء هذا التحديث هو أن ريديت تسعى لحماية محتواها من الاستخدام غير المرغوب فيه لتدريب نماذج الذكاء الاصطناعي، حيث أوضح تيم راتشميدت، المتحدث باسم Reddit، أن المنصة لم تتمكن من التوصل إلى اتفاقيات مع جميع محركات البحث بسبب عدم قدرتها على تقديم وعود قابلة للتنفيذ بشأن استخدام محتوى Reddit في الذكاء الاصطناعي، مما أدى إلى منع محركات البحث مثل Bing وDuckDuckGo وMojeek من الوصول إلى محتوى الموقع، بينما سمح لمحرك بحث جوجل فقط بذلك، بحسب موقع ذا فيرج.

حماية من روبوتات الويب

في الأول من يوليو الجاري، حدثت المنصة الاجتماعية ملف robots.txt الخاص بها، مما منع العديد من محركات البحث وأدوات الذكاء الاصطناعي من الوصول إلى الموقع باستخدام الروبوتات البرمجية لتحليل المحتوى . 

أكدت مايكروسوفت أن محركها البحثي "بينج" قد توقف عن الوصول إلى ريديت بعد هذا التحديث.

وأكد متحدث باسم مايكروسوفت لموقع Search Engine Land أن مايكروسوفت تحترم معيار robots.txt وتلتزم بالتوجيهات المقدمة من المواقع، والتي ترفض استخدام محتوى صفحاتها لتدريب نماذج الذكاء الاصطناعي التوليدي الخاصة بها.

كما أوضح راتشميدت أن الأمر لا علاقة له بشراكة ريديت مع جوجل، وأنهم في محادثات مع عدة محركات بحث لكنهم لم يتوصلوا إلى اتفاقيات مع جميعها.

بحسب رويترز، أبرمت ريديت اتفاقية تعاون مع جوجل، في فبراير، تتقاضى المنصة الاجتماعية بمقتضاه 60 مليون دولار سنوياً، مقابل حصول عملاق البحث الأميركي على حق استخدام محتوى المنصة لتدريب نماذج الذكاء الاصطناعي الخاصة به.

ومع الخطوة الأخيرة من ريديت، أصبحت جوجل الآن محرك البحث الوحيد الذي يمكنه عرض نتائج من ريديت، مما يجعل واحدة من أكبر منصات المحتوى الذي ينشئه المستخدمون حصرية لأكبر محرك بحث على الإنترنت. 

محركات البحث الأخرى مثل DuckDuckGo وBing وMojeek لم تعد تعرض نتائج جديدة من ريديت، وذلك لانها تستخدم نظام أرشفة صفحات الويب الخاصة بمايكروسوفت "بينج".

وصرح كولين هايهيرست، الرئيس التنفيذي لمحرك البحث Mojeek، بأن ريديت لم يرد على رسائلهم الإلكترونية بخصوص الحظر، مضيفاً أن ريديت أصبحت أكثر تشدداً في ملف robots.txt الخاص بها، حيث يحظر جميع عمليات الوصول الروبوتي بشكل صارم، بحسب تصريحاته لموقع 404Media.

تجدر الإشارة إلى أن العديد من المواقع بدأت تحديث ملفات robots.txt الخاصة بها لمنع الشركات من استخدام بياناتها لتدريب نماذج الذكاء الاصطناعي، مما يشير إلى تزايد القلق بشأن استخدام البيانات العامة في هذا المجال.

ما هو ملف robots.txt؟

ملف robots.txt هو ملف نصي يستخدمه مشرفو المواقع لتوجيه محركات البحث وأدوات الوصول الروبوتي حول كيفية الوصول إلى صفحات موقعهم. 

يحتوي الملف على تعليمات تحدد الأجزاء التي يمكن لتقنيات الروبوتية الوصول إليها وتلك التي يجب تجنبها. 

ويتواجد هذا الملف في جذر الموقع وتقرأه التقنيات الروبوتية عند الوصول للتعرف على أذونات الوصول إلى أجزاء معينة من مواقع الويب. 

يمكن أن تشمل التعليمات السماح أو عدم السماح بزيارة ملفات أو مجلدات معينة من الموقع، مما يساعد في إدارة ظهور الموقع بنتائج البحث وحماية حقوق ملكية محتواه في عصر الذكاء الاصطناعي.