W dobie szybko rozwijających się modeli generatywnych coraz trudniej odróżnić teksty tworzone przez sztuczną inteligencję, od tych pisanych przez ludzi. Zastanówmy się czy wiarygodna ocena jest w ogóle możliwa.
Istnieje bardzo wiele narzędzi przeznaczonych do wykrywania czy tekst stworzony został przez sztuczną inteligencję. Są nimi na przykład ZeroGPT, WRITER czy GPTzero. Bazują między innymi na analizie statystycznej, składniowej czy semantycznej. Mają jednak poważne ograniczenia.
-
W przypadku krótkiego tekstu nie ma możliwości określenia czy tekst napisała sztuczna inteligencja. Na przykład, czy „Dzień dobry” napisał człowiek czy AI?
-
Na podstawie samego stylu nie da się z dużym prawdopodobieństwem określić autorstwa. W przypadku literatury czy obrazów autorstwo przypisujemy nie na podstawie stylu, tylko podpisu twórcy, charakteru pisma czy informacji historycznych. Tutaj mogłyby pomóc metadane, gdyby tylko takie były zapisywane w tekstach tworzonych przez AI.
-
Wspomniane narzędzia są w stanie wykryć tekst tworzony przez AI tylko w przypadku bardzo prymitywnych zapytań. Już tak proste techniki, jak „naśladowanie stylu” czy „nadanie roli”, opisane między innymi w naszej ostatniej książce, powodują, że algorytmy przypisują autorstwo człowiekowi z bardzo dużym prawdopodobieństwem.
-
Odrzucanie przez wykładowców prac studentów tylko na podstawie wskazań narzędzi służących do wykrywania AI należy uznać za karygodne! Narzędzia te są bardzo wadliwe i mają wysoki poziom wyników fałszywie pozytywnych. Jest również prawdopodobne, że ktoś będzie pisał w stylu zbliżonym do stylu AI.
-
Jakiś czas temu przetestowałem kilka napisanych przez siebie tekstów i okazało się, że według niektórych algorytmów zostały one w 100% stworzone przez AI. Może czas wykonać test Voighta-Kampffa?
Powiedzmy sobie jasno, na dzień dzisiejszy nie ma narzędzi, które w sposób wiarygodny mogłyby ocenić czy tekst został stworzony przez sztuczną inteligencję czy człowieka. Te, które istnieją działają w bardzo ograniczonym zakresie i mogą być jedynie wskazówką, że z danym tekstem jest coś nie tak, a nie niezbitym dowodem. Nie oznacza to, że koślawo napisanego tekstu zawierającego liczne dziwne błędy oraz charakterystyczne dla sztucznej inteligencji pauzy i półpauzy nie możemy uznać za wytwór AI. Jeżeli wiele sygnałów sugeruje nam, że tekst nie jest stworzony przez człowieka, to rzeczywiście może tak być. Ocena jednak powinna bazować na wielu aspektach, a nie być jedynie efektem działania jakiegoś programu czy narzędzia, ponieważ są one bardzo wadliwe. To natomiast może prowadzić do bardzo krzywdzącej oceny i podejrzeń. Nikt z nas nie chciałby napracować się nad tekstem, spędzić wiele dni na zbieraniu danych i edycji, a następnie usłyszeć, że to wszystko AI. Bądźmy ostrożni w ocenach i absolutnie nie bazujmy wyłącznie na dostępnych narzędziach.