Cloudflare sallii sivustojen veloittaa tekoälyrobotteja ’Maksa per haku’ -periaatteella

Cloudflare tarjoaa julkaisijoille uuden vaihtoehdon: veloittaa tekoälyrobotteja heidän sivustojensa selauksesta käyttäen uudelleen käyttöön otettua HTTP 402 -maksujärjestelmää.

Uuden ”Pay Per Crawl” -järjestelmänsä ansiosta verkkosivustojen omistajat voivat veloittaa tekoälybotteja sisällön käytöstä. Järjestelmä tarjoaa julkaisijoille vaihtoehtoisen lähestymistavan nykyiseen kaksivaihtoehtoiseen käytäntöönsä, joka joko sallii tekoälyn datan kaapimisen tai estää tekoälyn pääsyn kokonaan.

”Monet julkaisijat, sisällöntuottajat ja verkkosivustojen omistajat tuntevat tällä hetkellä olevansa kahden vaihtoehdon edessä – joko jättää etuovi selkoselälleen tekoälyn nieltäväksi kaiken, mitä he luovat, tai rakentaa oma suojattu alueensa”, Cloudflare totesi. ”Mutta entäpä jos olisi olemassa toinenkin tapa?”

Pay Per Crawl -toiminnon avulla sisällöntuottajat voivat nyt päättää, kuka pääsee sisään ja millä hinnalla. He voivat päästää joitakin tekoälyn käyttämiä tiedonkeruurobotteja ilmaiseksi, estää toisia kokonaan tai veloittaa pääsystä. ”Haluamme, että sisällöntuottajat voivat itse hallita kuka pääsee käsiksi heidän työhönsä”, Cloudflare totesi. ”Luojien pitäisi olla ratin takana.”

Siirto tapahtuu kasvavan vastareaktion keskellä, kun AI-yritykset käyttävät verkkosisältöä ilman suostumusta. Esimerkiksi YouTubea on arvosteltu siitä, että se sallii Googlen videoita raaputtavan ilmoittamatta tekijöille. Lisäksi Googlen AI Overviews -ominaisuus on vähentänyt liikennettä uutissivustoille, kuten HuffPostille ja The Washington Postille, yli 50%.

”Google vain ottaa sisällön väkisin ja käyttää sitä ilman vastiketta – varkauden määritelmä”, sanoi Danielle Coffey, News/Media Alliance -järjestön presidentti.

Työkalu toimii vanhaa web-ominaisuutta hyödyntäen: HTTP-vastauskoodia 402, joka tarkoittaa ”maksu vaaditaan”. Jos tekoälyrobotti yrittää päästä sivulle, palvelin voi nyt vastata 402:lla ja sisällyttää hintalapun. Jos botti suostuu maksamaan, palvelin toimittaa sisällön.

Cloudflare tarjoaa teknisen infrastruktuurin ja hoitaa maksut. Kustantajat voivat asettaa kiinteän hinnan jokaiselle hakupyynnölle ja jopa soveltaa erilaisia sääntöjä eri roboteille. Vaikka botti ei olisi rekisteröitynyt Cloudflareen, se voi silti olla ”veloitettavissa” – pääsy estetään käytännössä, mutta jätetään tilaa tuleville sopimuksille.

Tämä järjestelmä voisi tulevaisuudessa johtaa joustavampaan lisenssointiin ja dynaamiseen hinnoitteluun. Kuten Cloudflare sen ilmaisee: ”Tarjoamalla luojille vankan, ohjelmallisen mekanismin digitaalisten omaisuuseriensä arvottamiseen ja hallintaan, me mahdollistamme heidän jatkavan rikkaan ja monipuolisen sisällön luomista, mikä tekee internetistä korvaamattoman.”