Что такое искусственный интеллект и большие языковые модели: простыми словами

За большинством современных ассистентов для написания кода стоит один вид технологии: большая языковая модель, сокращённо LLM. Стоит понимать, что это такое, ведь это объясняет и её силу, и слабости.

Три понятия, которые легко перепутать

• Искусственный интеллект (ИИ) — широкое понятие: всё, что имитирует задачи, требующие человеческого интеллекта, от спам-фильтра до распознавания изображений.
• Машинное обучение — способ создания ИИ: вместо того чтобы писать правила вручную, мы показываем программе очень много примеров, а она сама выводит из них закономерности.
• Большая языковая модель (LLM) — модель машинного обучения, обученная на огромных массивах текста, а часто и кода. Она умеет создавать очередные фрагменты текста, подходящие к запросу.

Как учится модель

Во время обучения модель получает несметное количество фрагментов текста и учится предсказывать, что должно идти дальше. Повторённое миллиарды раз, это упражнение даёт неожиданный эффект: модель усваивает грамматику, стиль, множество фактов, а также типичные конструкции в языках программирования. После этого этапа модели обычно ещё дообучают, чтобы они охотнее выполняли запросы и отвечали полезно и безопасно.

Почему она умеет писать код

Код — это тоже текст со своей грамматикой и повторяющимися шаблонами. Модель видела его очень много, поэтому умеет подобрать типичное решение под описание задачи. Она не «понимает» программу так, как человек: она генерирует то, что статистически подходит к запросу и контексту разговора.

Что из этого следует на практике

• Модель отлично справляется там, где есть шаблоны: типичные функции, формы, простые приложения, перевод между языками программирования.
• Она может быть неуверенной там, где шаблонов мало: нишевые библиотеки, очень новые версии инструментов, нестандартная бизнес-логика.
• Она звучит уверенно, даже когда ошибается. Подробнее об этом в тексте о токенах, контексте и галлюцинациях.
• Она не знает ваш проект, пока вы его не покажете. Ей известно только то, что она получила в разговоре, плюс то, чему научилась раньше.

Модель — не поисковая система

Поисковая система находит существующие страницы. Модель генерирует новый ответ на основе того, чему научилась, поэтому он может быть одновременно правдоподобным и ложным. Об этом стоит помнить при каждом ответе, особенно когда речь идёт о фактах, цифрах и названиях библиотек.

Когда вы уже знаете, что такое модель, переходите к практике: промпт-инжиниринг для всех.