Odkąd rozpoczął się wielki szał na sztuczne inteligencje, który zainicjował ChatGPT zaczęto straszyć utratą miejsc pracy, w tym także dla programistów. Bo przecież te sztuczne inteligencje to modele językowe „doskonale” wykorzystujące języki, zwłaszcza o tak restrykcyjnej konstrukcji, jak języki programowania.
Obok ilustracja od sztucznej inteligencji Dall-E zatytułowana: Przerażony programista spogląda w kod od AI.
Tylko nie wiadomo czy jest przerażony słabą jakością kodu, czy jego genialnością, co może prowadzić do strachu przed utratą pracy.
A tak na marginesie, twarz programisty jest przerażająca, to widać zwłaszcza po powiększeniu obrazka 😉
Ale kurz trochę opadł, przynajmniej na tyle, aby spokojniej przeanalizować temat wykorzystania AI w pracy programisty. Jakiś czas temu pisałem o moich próbach utworzenia prostego pluginu do WordPress’a. Jeśli nie znasz, a ciekawość zżera to zajrzyj do wpisu Google Bard, Chat GPT-4 oraz zmyślone sztuczne inteligencje, a konkretnie chodzi o trzeci przykład.
Na codzień ChatGPT sprawdza się jako pomocnik, który pomoże w znalezieniu błędu, podpowie rozwiązanie, wyjaśni działanie jakiegoś kodu. Ale nie napisze całości za nas, tu mam na myśli kompleksowego rozwiązania, jakiejś większej aplikacji.
Okazuje się, że udowodniono badaniami, że rozwiązania od AI nie są takie idealne. Uniwersytet Purdue przeprowadził bardzo ciekawe badanie, w którym ChatGPT miał odpowiedzieć na 517 pytań ze znanego dobrze programistom StackOverflow.
Who Answers It Better? An In-Depth Analysis of ChatGPT and Stack Overflow Answers to Software Engineering Questions
Badania pokazały, że ChatGPT nie poradził sobie najlepiej z zadaniami. Na 52% z nich odpowiedział błędnie, a 77% uznano za rozwlekłe.
To zapewne potwierdzą osoby, które korzystały już z ChatGPT, że chatbot lubi się rozpisywać nawet przy bardzo prostych pytaniach.
Aby dokładniej przeanalizować jakość odpowiedzi ChatGPT, naukowcy poprosili 12 uczestników o różnym poziomie wiedzy programistycznej o przedstawienie swoich spostrzeżeń na temat odpowiedzi.
Chociaż uczestnicy w różnych kategoriach woleli odpowiedzi Stack Overflow od ChatGPT, jednak w 39,34% przypadków nie udało im się poprawnie zidentyfikować nieprawidłowych odpowiedzi wygenerowanych przez ChatGPT.
Według badania dobrze sformułowane odpowiedzi generowane przez ChatGPT spowodowały, że użytkownicy przeoczyli nieprawidłowe informacje w odpowiedziach.
Autorzy badania wyjaśniali to następująco:
„Użytkownicy pomijają nieprawidłowe informacje w odpowiedziach ChatGPT (39,34% czasu) ze względu na wszechstronne, dobrze sformułowane i humanoidalne spostrzeżenia w odpowiedziach ChatGPT”.
Czyli elokwentna dłuższa wypowiedź zaciemnia poprawność wypowiedzi. To akurat dobrze znam obserwując przemówienia polityków 😉
Badanie utwierdza nas w tym, co pewnie wielu użytkowników AI zaczęło już dostrzegać, że generowanie wiarygodnie brzmiących odpowiedzi, które są niepoprawne, jest istotnym problemem we wszystkich chatbotach, ponieważ umożliwia rozpowszechnianie dezinformacji.
Jeśli dorzucimy do tego niski poziom wyników, to powinno nam dać już jasny obraz sytuacji – chatboty są fajne, ale należy kontrolować ich odpowiedzi.
0 komentarzy