Boty AI coraz mocniej obciążają zasoby serwerowe Wikipedii. To może mieć fatalne reperkusje

"Ciężkie" boty

Skala zautomatyzowanego pobierania danych przez różnego rodzaju boty, których celem jest zasilenie modeli językowych (LLM), wzrosła w ciągu ostatnich miesięcy o 50 proc. pod względem wykorzystania łącza — zwłaszcza przy pobieraniu materiałów multimedialnych.

Wikimedia podkreśla, że olbrzymie zapotrzebowanie na nowe dane dla modeli AI generuje ogromne koszty techniczne i finansowe. Organizacja podkreśla, że nie otrzymuje wystarczającego wsparcia ani w postaci środków finansowych, ani choćby w formie rzetelnego przypisywania autorstwa do pobieranych materiałów.

Dane fundacji wskazują, że boty stanowią obecnie 65 proc. najbardziej wymagających (i tym samym kosztownych) zapytań, choć odpowiadają tylko za 35 proc. łącznej liczby odsłon. Z punktu widzenia inżynierii oznacza to, że takie zapytania są dla serwera wielokrotnie cięższe niż ruch pochodzący od ludzi, a niektóre crawlery dodatkowo ignorują reguły w pliku robots.txt czy próbują się podszywać pod zwykłych użytkowników za pomocą fałszywych identyfikatorów przeglądarek i rotacji adresów IP.

Fundacja właśnie dlatego startuje z inicjatywą WE5: Responsible Use of Infrastructure, w ramach której chce wypracować zasady odpowiedzialnego korzystania z jej zasobów. Chodzi m.in. o efektywniejsze sposoby pobierania danych, opracowanie przejrzystych zasad ograniczających agresywne boty i — być może — ustalenie warunków finansowania pomiędzy gigantami AI a dostawcami treści.

Źródło: Republika, Business Insider.

Dziękujemy, że przeczytałaś/eś nasz artykuł do końca.

Bądź na bieżąco! Obserwuj nas w Wiadomościach Google. 

Jesteśmy na Youtube: Bądź z nami na Youtube

Jesteśmy na Facebooku: Bądź z nami na FB

Jesteśmy na platformie X: Bądź z nami na X