Riječ je o novoj direktivi u fajlu robots.txt, pomoću koje će izdavači moći da zabrane preuzimanje tekstova i drugih materijala za treniranje generativnih AI modela.
Kompanije su podržale prijedlog koji se razmatra u okviru organizacije IETF, zadužene za razvoj otvorenih internet standarda. Autor prijedloga je Kevin Keli, vodeći stručnjak za standarde u kompaniji Anthropic.
Šta donose nova pravila?
Prema dosadašnjoj praksi, vlasnici internet stranica morali su pojedinačno da identifikuju programe koji automatski prikupljaju sadržaj, poznate kao kroleri, i da za svakog od njih postavljaju posebna ograničenja.
Nova direktiva trebalo bi da pojednostavi taj postupak, jer će kompanije koje razvijaju vještačku inteligenciju prepoznavati zajednički signal kojim vlasnici sajtova zabranjuju korišćenje sadržaja za obuku AI modela.
Izdavači će moći da postave sljedeća pravila u fajlu robots.txt:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Ovakva podešavanja znače da je prikupljanje sadržaja za obuku vještačke inteligencije zabranjeno na cijelom sajtu, osim u posebno dozvoljenim dijelovima, poput stranice sa materijalima za medije.
Važno je naglasiti da zabrana neće automatski značiti i uklanjanje sadržaja iz rezultata internet pretrage.
Google će, na primjer, novu direktivu primjenjivati na svoj sistem Google-Extended, koji kontroliše pristup sadržaju za određene potrebe razvoja njegovih AI modela, uključujući Gemini.
Šta će biti sa već preuzetim sadržajem?
Nova pravila neće važiti retroaktivno, što znači da kompanije neće morati da uklone materijale koje su ranije prikupile.
Ukoliko su tekstovi, fotografije ili drugi podaci već preuzeti, nova direktiva neće poništiti njihovo ranije prikupljanje.
Njena osnovna svrha jeste da vlasnicima internet stranica omogući da ubuduće ograniče korišćenje sadržaja za obuku vještačke inteligencije.
Ipak, riječ je o tehničkom standardu čija primjena zavisi od toga da li će ga kompanije i njihovi sistemi za prikupljanje podataka zaista poštovati.
Kada počinje primjena?
Kompanija Anthropic već je počela da podržava novu direktivu, dok je Microsoft najavio da će je primjenjivati od 1. februara 2027. godine.
Google je saopštio da će nova pravila početi da podržava početkom 2027. godine, dok je OpenAI najavio njihovu primjenu u narednim mjesecima.
Ova promjena mogla bi biti posebno značajna za medijske kuće, izdavače i druge vlasnike autorskog sadržaja, koji već duže vrijeme upozoravaju na problem preuzimanja njihovih materijala za razvoj sistema vještačke inteligencije bez odgovarajuće dozvole ili naknade.
