Az Egyesült Királyság és az Egyesült Államok vezető híroldalainak döntő többsége egyre határozottabban lép fel a mesterséges intelligenciát betanító botokkal szemben. A brit Press Gazette elemzése szerint a száz legnagyobb brit és amerikai hírportál legalább 79 százaléka blokkolja az MI-modellek képzésére szolgáló feltérképező robotokat, köztük az OpenAI GPTBotját, a ClaudeBotot, az Anthropic AI crawlerét, a CCBotot, az Applebot-Extendedet vagy a Google-Extendedet.
A tiltások nem állnak meg a betanításnál: a vizsgált oldalak 71 százaléka azokat az MI-botokat is letiltja, amelyek valós idejű keresés vagy visszakeresés céljából pásztáznák az oldalaikat. Ez azt jelenti, hogy a kiadók egyre kevésbé engedik, hogy tartalmaik közvetlenül megjelenjenek az MI-alapú válaszokban.
Az 50 legnagyobb kiadó 34 százaléka, köztük a BBC, a The New York Times, a Daily Mail, a The Telegraph, a Sky News, a Wall Street Journal, a Business Insider és a Huffpost teljes körű tiltást alkalmaz ezek ellen. Ugyanakkor a legnagyobb kiadók 14 százaléka – például a Fox News, a The Independent, a Politico vagy a Substack – továbbra is engedélyezi az összes vizsgált AI-crawler hozzáférését.
A tiltások mögött elsősorban üzleti megfontolások állnak. Harry Clarkson-Bennett, a Telegraph SEO-igazgatója szerint, miközben a kiadók bevételei továbbra is nagyrészt a látogatottságtól függenek, az MI-modellek használata során nem történik valódi értékcsere és a nagy nyelvi modellek nem generálnak érdemi hivatkozási forgalmat. Ráadásul az MI-cégek nem fizetnek a betanításhoz felhasznált tartalmakért, miközben az eredményeket jellemzően saját platformjaikon hasznosítják.
A visszakereső botok közül a Perplexity-User és a ChatGPT-User kapta a legtöbb engedélyt, míg az Anthropic betanítási botja és a Common Crawl CCBotja a leggyakrabban tiltottak közé tartozik. Külön dilemmát jelent a Google Extended, amely bár lehetővé teszi az MI-képzés letiltását, a Google AI Overviews felületén nem akadályozza meg a tartalmak felhasználását. Ennek elkerüléséhez a keresőindexelés letiltására lenne szükség, ez viszont komoly forgalomvesztéssel járhat. Az amerikai kiadók ezen a téren jóval határozottabbak: 58 százalékuk blokkolja a Google Extendedet, míg a brit oldalaknál ez az arány 29 százalék.
A szakértők arra is figyelmeztetnek, hogy sok tiltás technikailag hibás. Ugyanis az elírások és rosszul konfigurált robots.txt fájlok miatt a botok gyakran mégis hozzáférnek a tartalmakhoz. Ugyanakkor az adatlekérésen alapuló generálás (RAG) terjedése miatt „sosem késő blokkolni”, mivel az MI-modellek folyamatosan újra feltérképezik a webet.
Az IAB Tech Lab szerint a kiadók hosszabb távon csak kollektív fellépéssel és új monetizációs megoldásokkal teremthetnek valódi piacot az MI-cégek és a tartalom-előállítók között. Akár ideiglenes, közös tiltásokkal is jelezve, hogy az ingyenesen felhasznált tartalomnak igenis van ára.
