Как работает ИИ (нейросети) - Урок №4

В прошлом уроке мы говорили о разных видах искусственного интеллекта. Многие из них могут выступать как универсальные помощники - например ChatGPT. Но мы пока не обсудили, как же ИИ вообще работает. А это очень важно.

Многие представляют искусственный интеллект как нечто вроде человеческого мозга, как будто это живой компьютер, который думает, чувствует и выдаёт «своё мнение». На самом деле это не так. Текущие технологии ещё далеки от настоящего сверхинтеллекта. То, что мы называем искусственным интеллектом сегодня, устроено совсем иначе.

Чтобы объяснить принцип работы ИИ, давайте возьмём простую и близкую многим метафору — кухню. Представьте, что у вас есть ресторан, и вы наняли туда робота-повара. Вы хотите, чтобы он умел готовить вкусный борщ без вашего постоянного контроля.

Что нужно сделать?
Сначала вы даёте ему очень много примеров: рецепты, фото готовых блюд, видео приготовления, последовательность шагов. Робот наблюдает, замечает закономерности: что и когда нарезать, сколько варить, в какой момент солить. После этого он уже может приготовить борщ сам, опираясь на выявленные шаблоны.

С ИИ всё примерно так же. Правильно говорить, что искусственный интеллект это общее понятие, под которым часто подразумевают нейросети. Эти модели обучаются на огромных массивах данных — текстах, изображениях, аудио. Они не хранят готовые ответы и не «вспоминают» информацию, как человек. Вместо этого они выявляют закономерности в обучающих данных, а затем синтезируют новый ответ, который с наибольшей вероятностью соответствует вашему запросу.

И тут важный момент: если «робота-повара» обучали только на вегетарианских рецептах, он просто не будет знать, что такое мясо, и всегда предложит вегетарианский борщ. Точно так же и ИИ: если в обучающем наборе нет определённых фактов или примеров, модель их не выдумает «из памяти» - она построит ответ только из того, что встречала в данных, и того, как вы сформулировали запрос.

Однако (важное примечание): если в обучающих данных нет точной информации, модель может построить правдоподобный, но неточный ответ. Такое явление называют галлюцинацией и мы в будущем разберем как с ней работать.

Пример из жизни.

На вопрос «почему небо синее?» хорошо обученная модель выдаст объяснение про рассеяние света в атмосфере. Не потому что «вспомнила статью», а потому что в обучении такие объяснения встречались и они высоковероятны для такого запроса.

Таким образом, нейросеть, увы, не волшебство. А система шаблонов и закономерностей, и работает она на четырех основных принципах:


1) Данные
Представьте кухню. Данные же это ваши ингредиенты. Чем они качественнее и разнообразнее, тем вкуснее и точнее получится «блюдо» (ответ ИИ). Если продукты однотипные, модель будет «готовить» одно и то же, без креатива. Если в данных есть перекос , то ИИ будет выдавать предвзятую картину.
Пример: если модель видела больше англоязычных текстов, чем русскоязычных, она будет увереннее и богаче отвечать на английском.

2) Модель (архитектура) и алгоритм обучения
Модель это то, как данные обрабатываются: что с чем смешать, что выкинуть, а что оставить. Алгоритм обучения - это набор правил, по которым модель учится находить закономерности. У разных архитектур разные сильные стороны: одни лучше работают с текстами (например, трансформеры), другие — с изображениями (например, диффузионные сети).

3) Обучение, а именно многократные прогоны данных через модель
Тут всё как у повара: чем больше он готовит одно и то же блюдо, тем лучше оно получается. Модель тоже «набивает руку», подбирая оптимальные параметры, чтобы выдавать более точные ответы. Но это процесс ресурсоёмкий: нужны мощные серверы и недели, а то и месяцы работы.

4) Файнтюнинг (дообучение модели)
Обучение с нуля - это создание модели «с чистого листа» на гигантских массивах данных. Этим занимаются компании вроде OpenAI, Google или Яндекса - а это годы работы, команды специалистов, десятки миллионов долларов.
Файнтюнинг - это когда уже готовую модель «дотренировывают» под конкретную задачу, стиль или тематику.

Важное примечание.

В работе вы будете использовать уже готовые модели (LLM), а при необходимости — дообученные под ваши внутренние задачи, чтобы они говорили на вашем «корпоративном языке» и учитывали нюансы вашей работы. Такое дообучение - называется файнтюнингом.


Представьте, что вы хотите, чтобы ИИ умел варить отличный кофе.
Вы «кормите» его миллионами рецептов, отзывов и описаний про кофе. Модель начинает искать закономерности и замечает, что слово «кофе» очень часто идёт рядом со словом «молоко».
И вот вы спрашиваете: «Какой кофе самый вкусный?»
ИИ почти всегда отвечает: «Кофе с молоком». Не потому, что это абсолютная истина, а потому, что в обучающих данных таких примеров было больше всего.

Это и есть баяс (или bias по английски), а по-русски предвзятость модели. Если в её «прошлом опыте» один вариант встречался чаще, она будет склонна считать его «нормой» и предлагать именно его.
Тот же принцип работает и в других темах. Задайте вопрос: «Что лучше - Android или iPhone?», и ответ будет зависеть от того, каких отзывов и статей в обучающих данных было больше.

Теперь представьте, что вы берёте такую «кофейную» модель и проводите файнтюнинг - дообучаете её под свои приоритеты. Например, добавляете много рецептов чёрного кофе без молока, с упором на его вкус и пользу. После такого дообучения модель начнёт чаще предлагать именно этот вариант, а не потому, что «разлюбила» молоко, а потому что в её новых данных приоритеты изменились.

Если хотите чуть глубже понять, что происходит «под капотом» у ИИ - давайте разберёмся без сложной математики, но уже ближе к языку специалистов.

Большинство современных моделей, включая ChatGPT, относятся к типу LLM - Large Language Model («большая языковая модель»). Их главный принцип работы - предсказание следующего токена.
Токен - это кусочек информации. Для текстов это могут быть слова или части слова, для картинок - пиксели или группы пикселей, для музыки — ноты или фрагменты звука.

Как это работает на словах: модель смотрит на цепочку слов, которую вы ей дали, и на каждом шаге вычисляет, какое слово с наибольшей вероятностью должно быть следующим.
Чтобы при этом понимать смысл и не выдавать «кашу из слов», модель использует механизм attention («внимание»).

Это значит, что она «взвешивает», какие слова или фразы в вашем запросе важнее, и строит ответ с опорой именно на них, а не просто идёт слева направо.

В работе с LLM можно управлять так называемыми настройками генерации — temperature, top-p (nucleus sampling), frequency и presence penalties.

• Temperature регулирует креативность: чем выше, тем более неожиданные и «смелые» ответы.
• Top-p сужает круг возможных вариантов, чтобы убрать «шум» из ответа.
• Остальные параметры помогают избежать повторов и сделать текст более разнообразным.

Мы разберём их подробно в отдельном занятии.

Важный момент.
Нейросеть не «знает» ничего в привычном нам смысле. У неё нет энциклопедии или памяти, как у человека. Она просто была обучена на огромном массиве данных, уловила закономерности и теперь статистически «собирает» ответ, который выглядел бы логичным в данном контексте.
Если коротко: это не логика и не размышление - это генерация на основе вероятностей.

Именно поэтому так важен хороший промпт (или по-русски - команда). Чем чётче и конкретнее задача, тем меньше поле вариантов и тем ближе ответ к тому, что вам нужно.