Що таке штучний інтелект і великі мовні моделі: простими словами

За більшістю сучасних асистентів для написання коду стоїть один різновид технології: велика мовна модель, скорочено LLM. Варто розуміти, що це таке, бо це пояснює і її силу, і слабкості.

Три поняття, які легко сплутати

• Штучний інтелект (ШІ) — широке поняття: усе, що імітує завдання, які потребують людського інтелекту, від спам-фільтра до розпізнавання зображень.
• Машинне навчання — спосіб створення ШІ: замість того щоб писати правила вручну, ми показуємо програмі дуже багато прикладів, а вона сама виявляє в них закономірності.
• Велика мовна модель (LLM) — модель машинного навчання, навчена на величезних масивах тексту, а часто й коду. Вона вміє створювати наступні фрагменти тексту, що відповідають запитові.

Як модель навчається

Під час тренування модель отримує безліч фрагментів тексту й вчиться передбачати, що має з’явитися далі. Повторена мільярди разів, ця вправа дає напрочуд сильний ефект: модель засвоює граматику, стиль, багато фактів, а також типові конструкції мов програмування. Після цього етапу моделі зазвичай ще доналаштовують, щоб вони охочіше виконували запити та відповідали корисно й безпечно.

Чому вона вміє писати код

Код — це теж текст, який має власну граматику й повторювані шаблони. Модель бачила його дуже багато, тож уміє добирати типове рішення до опису завдання. Вона не «розуміє» програму так, як людина: вона генерує те, що статистично пасує до запиту й контексту розмови.

Що з цього випливає на практиці

• Модель чудова там, де є шаблони: типові функції, форми, прості застосунки, переклад між мовами програмування.
• Вона буває непевною там, де шаблонів мало: нішеві бібліотеки, дуже нові версії інструментів, нетипова бізнес-логіка.
• Вона звучить упевнено навіть тоді, коли помиляється. Більше про це в тексті про токени, контекст і галюцинації.
• Вона не знає вашого проєкту, доки ви його не покажете. Знає лише те, що отримала в розмові, плюс те, чого навчилася раніше.

Модель — не пошуковик

Пошуковик знаходить наявні сторінки. Модель генерує нову відповідь на основі того, чого навчилася, тому вона може бути водночас правдоподібною й хибною. Це варто пам’ятати щодо кожної відповіді, особливо коли йдеться про факти, цифри й назви бібліотек.

Коли ви вже знаєте, що таке модель, переходьте до практики: промпт-інжиніринг для всіх.