Nové nástroje Cloudflare umožňují webům detekovat a blokovat roboty AI zdarma

Podle zakladatele Dark Visitors Gavina Kinga se většina hlavních agentů umělé inteligence stále řídí souborem robots.txt. „To bylo docela konzistentní,“ říká. Ne všichni majitelé webových stránek však mají čas nebo znalosti na neustálou aktualizaci svých souborů robots.txt. A i když tak učiní, někteří roboti budou obcházet příkazy souboru: „Snaží se zamaskovat provoz.“

Prince říká, že blokování botů Cloudflare nebude příkaz, který by tento druh špatného herce mohl ignorovat. „Robots.txt je jako umístit ceduli ‚zákaz vstupu‘,“ říká. „Je to jako mít fyzickou zeď hlídkovanou ozbrojenými strážemi.“ Stejně jako označuje jiné typy podezřelého chování na webu, jako jsou roboty sbírající ceny používané k nelegálnímu sledování cen, společnost vytvořila procesy, aby odhalila i ty nejpečlivěji skryté prohledávače AI.

Cloudflare také oznamuje nadcházející tržiště pro zákazníky, kde si budou moci vyjednat podmínky používání scrapingu se společnostmi s umělou inteligencí, ať už jde o platbu za používání obsahu nebo výměnu za kredity za používání služeb AI výměnou za scraping. „Ve skutečnosti nás nezajímá, o jakou transakci jde, ale myslíme si, že musí existovat nějaký způsob, jak vrátit hodnotu tvůrcům původního obsahu,“ říká Prince. „Odškodnění nemusí být dolary.“ Kompenzací může být kredit nebo uznání. Může to být spousta různých věcí.“

Není stanoveno žádné datum spuštění tohoto trhu, ale i když bude uveden v tomto roce, připojí se ke stále přeplněnější oblasti projektů, jejichž cílem je usnadnit licenční smlouvy a další ujednání o povolení mezi společnostmi, vydavateli, platformami a dalšími weby.

Co z toho dělají společnosti AI? „Mluvili jsme s většinou z nich a jejich reakce se pohybovaly od ‚to dává smysl a jsme otevřeni‘ až ‚jdi do pekla‘,“ říká Prince. (Jména však neuvádí.)

Projekt měl poměrně rychlý průběh. Prince jako inspiraci pro projekt uvádí rozhovor s generálním ředitelem společnosti Atlantic (a bývalým šéfredaktorem WIRED) Nickem Thompsonem; Thompson diskutoval o tom, kolik různých vydavatelů se setkalo s tajnými webovými škrabáky. „Miluji, že to dělá,“ říká Thompson. Pokud by se i velké mediální organizace potýkaly s přílivem scraperů, uvažoval Prince, nezávislí blogeři a majitelé webových stránek by měli ještě větší potíže.

Cloudflare je již léta přední firmou v oblasti webové bezpečnosti a poskytuje velkou část infrastruktury, která drží web. Historicky zůstávala co nejvíce neutrální ohledně obsahu webových stránek, které poskytuje; ve vzácných případech, kdy to udělalo výjimky z tohoto pravidla, Prince zdůraznil, že nechce, aby Cloudflare byl arbitrem toho, co je online povoleno.

Zde vidí Cloudflare jako jedinečnou pozici k tomu, aby zaujala stanovisko. „Cesta, na které jdeme, není udržitelná,“ říká Prince. „Doufáme, že se můžeme podílet na zajištění toho, aby lidé dostali za svou práci zaplaceno.“