Czym jest sztuczna inteligencja i duże modele językowe: prostymi słowami

Za większością dzisiejszych asystentów do pisania kodu stoi jeden rodzaj technologii: duży model językowy, w skrócie LLM. Warto rozumieć, czym jest, bo to wyjaśnia zarówno jego siłę, jak i słabości.

Trzy pojęcia, które łatwo pomylić

• Sztuczna inteligencja (AI) to szerokie hasło: wszystko, co naśladuje zadania wymagające ludzkiej inteligencji, od filtra spamu po rozpoznawanie obrazów.
• Uczenie maszynowe to sposób budowania AI: zamiast pisać reguły ręcznie, pokazujemy programowi bardzo wiele przykładów, a on sam wyciąga z nich wzorce.
• Duży model językowy (LLM) to model uczenia maszynowego wytrenowany na ogromnych zbiorach tekstu, a często także kodu. Potrafi tworzyć kolejne fragmenty tekstu pasujące do polecenia.

Jak model się uczy

Podczas treningu model dostaje niezliczone fragmenty tekstu i uczy się przewidywać, co powinno wystąpić dalej. Powtarzane miliardy razy, to ćwiczenie daje zaskakujący efekt: model przyswaja gramatykę, styl, wiele faktów, a także typowe konstrukcje w językach programowania. Po tym etapie modele zwykle są jeszcze dostrajane, aby chętniej wykonywały polecenia i odpowiadały w sposób użyteczny i bezpieczny.

Dlaczego potrafi pisać kod

Kod to także tekst, który ma swoją gramatykę i powtarzalne wzorce. Model widział go bardzo dużo, więc potrafi dopasować typowe rozwiązanie do opisu zadania. Nie „rozumie” programu tak jak człowiek: generuje to, co statystycznie pasuje do polecenia i kontekstu rozmowy.

Co z tego wynika w praktyce

• Model jest świetny tam, gdzie są wzorce: typowe funkcje, formularze, proste aplikacje, tłumaczenie między językami programowania.
• Bywa niepewny tam, gdzie wzorców jest mało: niszowe biblioteki, bardzo nowe wersje narzędzi, nietypowa logika biznesowa.
• Brzmi pewnie nawet wtedy, gdy się myli. Więcej o tym w tekście o tokenach, kontekście i halucynacjach.
• Nie zna Twojego projektu, dopóki mu go nie pokażesz. Wie tylko to, co dostał w rozmowie, plus to, czego nauczył się wcześniej.

Model to nie wyszukiwarka

Wyszukiwarka znajduje istniejące strony. Model generuje nową odpowiedź na podstawie tego, czego się nauczył, dlatego może ona być jednocześnie wiarygodna i fałszywa. Dobrze o tym pamiętać przy każdej odpowiedzi, zwłaszcza gdy chodzi o fakty, liczby i nazwy bibliotek.

Gdy wiesz już, czym jest model, przejdź do praktyki: prompt engineering dla każdego.