ChatGPT tak łatwo nie wygryzie programistów

14 sierpnia 2023 | Po godzinach - Wszystkie wpisy, Sztuczna inteligencja | 0 komentarzy

Odkąd rozpoczął się wielki szał na sztuczne inteligencje, który zainicjował ChatGPT zaczęto straszyć utratą miejsc pracy, w tym także dla programistów. Bo przecież te sztuczne inteligencje to modele językowe „doskonale” wykorzystujące języki, zwłaszcza o tak restrykcyjnej konstrukcji, jak języki programowania.

Obok ilustracja od sztucznej inteligencji Dall-E zatytułowana: Przerażony programista spogląda w kod od AI.
Tylko nie wiadomo czy jest przerażony słabą jakością kodu, czy jego genialnością, co może prowadzić do strachu przed utratą pracy.
A tak na marginesie, twarz programisty jest przerażająca, to widać zwłaszcza po powiększeniu obrazka 😉

blank

Ale kurz trochę opadł, przynajmniej na tyle, aby spokojniej przeanalizować temat wykorzystania AI w pracy programisty. Jakiś czas temu pisałem o moich próbach utworzenia prostego pluginu do WordPress’a. Jeśli nie znasz, a ciekawość zżera to zajrzyj do wpisu Google Bard, Chat GPT-4 oraz zmyślone sztuczne inteligencje, a konkretnie chodzi o trzeci przykład. 

Na codzień ChatGPT sprawdza się jako pomocnik, który pomoże w znalezieniu błędu, podpowie rozwiązanie, wyjaśni działanie jakiegoś kodu. Ale nie napisze całości za nas, tu mam na myśli kompleksowego rozwiązania, jakiejś większej aplikacji.

Okazuje się, że udowodniono badaniami, że rozwiązania od AI nie są takie idealne. Uniwersytet Purdue przeprowadził bardzo ciekawe badanie, w którym ChatGPT miał odpowiedzieć na 517 pytań ze znanego dobrze programistom StackOverflow.
Who Answers It Better? An In-Depth Analysis of ChatGPT and Stack Overflow Answers to Software Engineering Questions

Badania pokazały, że ChatGPT nie poradził sobie najlepiej z zadaniami. Na 52% z nich odpowiedział błędnie, a 77% uznano za rozwlekłe.
To zapewne potwierdzą osoby, które korzystały już z ChatGPT, że chatbot lubi się rozpisywać nawet przy bardzo prostych pytaniach.

Aby dokładniej przeanalizować jakość odpowiedzi ChatGPT, naukowcy poprosili 12 uczestników o różnym poziomie wiedzy programistycznej o przedstawienie swoich spostrzeżeń na temat odpowiedzi.

Chociaż uczestnicy w różnych kategoriach woleli odpowiedzi Stack Overflow od ChatGPT, jednak w 39,34% przypadków nie udało im się poprawnie zidentyfikować nieprawidłowych odpowiedzi wygenerowanych przez ChatGPT.

Według badania dobrze sformułowane odpowiedzi generowane przez ChatGPT spowodowały, że użytkownicy przeoczyli nieprawidłowe informacje w odpowiedziach.
Autorzy badania wyjaśniali to następująco:
„Użytkownicy pomijają nieprawidłowe informacje w odpowiedziach ChatGPT (39,34% czasu) ze względu na wszechstronne, dobrze sformułowane i humanoidalne spostrzeżenia w odpowiedziach ChatGPT”.

Czyli elokwentna dłuższa wypowiedź zaciemnia poprawność wypowiedzi. To akurat dobrze znam obserwując przemówienia polityków 😉

Badanie utwierdza nas w tym, co pewnie wielu użytkowników AI zaczęło już dostrzegać, że generowanie wiarygodnie brzmiących odpowiedzi, które są niepoprawne, jest istotnym problemem we wszystkich chatbotach, ponieważ umożliwia rozpowszechnianie dezinformacji.
Jeśli dorzucimy do tego niski poziom wyników, to powinno nam dać już jasny obraz sytuacji – chatboty są fajne, ale należy kontrolować ich odpowiedzi.

Autor tekstu:

Autor tekstu:

Tomasz Bartosiewicz - Ojciec dyrektor

Ojciec bo pełni funkcję taty dla dwójki cudownych dusz, a dyrektor, bo jest szefem w ITB Vega 😉
Co mnie kręci: świat technologii oraz jak można go użytecznie wykorzystywać, maratony w basenie, wędrówki po starych górach, robienie zdjęć.
Mieszkam i pracuję w Bydgoszczy, ale wykonuję sporo prac zdalnych. Jeśli szukasz kogoś do stworzenia strony internetowej lub do jej aktualizacji, zadzwoń, z przyjemnością porozmawiam o Twoich potrzebach
507 96 11 46

0 komentarzy

Wyślij komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *

Po godzinach

Wielkie zmiany w pozycjonowaniu stron internetowych

Wielkie zmiany w pozycjonowaniu stron internetowych

Można to śmiało nazwać rewolucją, a zbliża się ona wielkimi krokami. Niektórzy spece od SEO zaczynają to zauważać i czasami gdzieś w sieci można spotkać ciekawe analizy. Wynika z nich, że strony www, którymi się opiekują piszący, przyciągają duży ruch, który jest niewspółmiernie wielki do środków jakie włożono w linkowanie. I to jest najbardziej zaskakujące, ten stosunek działań do efektów, zwłaszcza pod kątem linkowania.

Ghost in the Machine, IBM NorthPole, zasobożerność procesów myślowych i kreatywność sztucznej inteligencji

Ghost in the Machine, IBM NorthPole, zasobożerność procesów myślowych i kreatywność sztucznej inteligencji

Tytuł wpisu to zbiór tematów, które przy niedzieli mnie naszyły, a że pod czaszką kipi kreatywność, to pozwalam jej się wydostać przy pomocy klawiatury. A i że kocham muzykę wszelkiej maści, to dziś się też podzielę pewnym smacznym kąskiem, który idealnie pasuje do mojego pisania o sztucznej inteligencji i jej zagrożeniach wynikających z jej rozwoju, bo i o tym też wspomnę.

Przyszłość WordPress, czyli najpopularniejszego systemu CMS na planecie Ziemia

Przyszłość WordPress, czyli najpopularniejszego systemu CMS na planecie Ziemia

Zastanawiasz się może nad przyszłością WordPress’a? Pewnie nie. No chyba, że twój biznes oparty jest o tworzenie lub obsługę stron internetowych i czasami sprawdzasz czy twoje narzędzia mają potencjał w przyszłości. Albo może jesteś amatorem, który dzierga strony wieczorowo i sprawdzasz czy ten WordPress jeszcze długo pociągnie. A może ktoś Ci stawia stronę na WordPress’ie i chcesz dowiedzieć się czy długo ona podziała? Jeśli zastanawiasz się nad przyszłością WordPress’a to zapraszam do lektury.

CSS before i after dla Google są za ścianą

CSS before i after dla Google są za ścianą

Na oficjalnym profilu Google na platformie X pojawił się wpis „Zalecamy, aby nie dodawać znaczących treści ani symboli za pomocą pseudoelementów CSS ::before i ::after”. Spece z Google stwierdzają, że takie treści nie mogą być wykorzystywane do indeksowania stron. Jako ciekawostkę można dodać, że nie jest to zmiana w działaniu wyszukiwarki Google. Została ona po prostu wspomniana w dokumentacji.

Wyszukiwarka Bing + AI = Coś niespotykanego!

Wyszukiwarka Bing + AI = Coś niespotykanego!

Jest taki tort, który zwie się wyszukiwarki internetowe. Microsoft chciał chapnąć z niego większy kawałek. Zapewne firma widziała okazję na zmniejszenie dominacji Google. Na początku roku, bo to jakoś w lutym było, Microsoft ogłosił uruchomienie ChatGPT w swojej wyszukiwarce Bing. Oczywiście wszystko dostępne tylko we własnej przeglądarce Edge. Upłynęło kilka miesięcy, można ocenić skutki – co wyszło z tego połączenia?