Проверка фактов и галлюцинации нейросетей - - Урок №7
Как проходить урок?
Время выполнения Д/З
1 день
1 день
Время урока
7 минут
7 минут
В этом уроке мы разберём как избежать галлюцинаций (ошибок при работе с нейросетями)
3. После выполнения ДЗ - переходите к следующему уроку
2. Внизу будет домашнее задание для выполнения (займет от 10 до 20 минут)
1. Читайте текст урока
Почему нейросети иногда ошибаются
Когда человек впервые начинает работать с искусственным интеллектом, возникает ощущение, что перед ним всезнающая система.
ИИ быстро отвечает, уверенно формулирует мысли и часто звучит как эксперт.
Но важно понимать одну вещь:
нейросеть может ошибаться.
И иногда она делает это очень убедительно.
Такие ошибки называют галлюцинациями искусственного интеллекта.
ИИ быстро отвечает, уверенно формулирует мысли и часто звучит как эксперт.
Но важно понимать одну вещь:
нейросеть может ошибаться.
И иногда она делает это очень убедительно.
Такие ошибки называют галлюцинациями искусственного интеллекта.
Что такое галлюцинации ИИ
Галлюцинация — это ситуация, когда нейросеть придумывает информацию, которая звучит правдоподобно, но на самом деле не является фактом.
Например, нейросеть может:
Почему так происходит?
Потому что нейросеть не ищет истину. Она генерирует наиболее вероятный текст на основе закономерностей в данных.
Например, нейросеть может:
- сослаться на несуществующее исследовани
- придумать книгу, которая никогда не издавалась
- назвать неправильную дату событи
- уверенно объяснить факт, который не соответствует реальности
Почему так происходит?
Потому что нейросеть не ищет истину. Она генерирует наиболее вероятный текст на основе закономерностей в данных.
Пример для понимания галлюцинаций
Попробуйте задать нейросети вопрос:
«Кто написал книгу Теория гравитации будущего?»
ИИ может придумать автора и даже описать книгу.
Но проблема в том, что такой книги может не существовать вообще.
Модель просто построит ответ, который выглядит логично.
Попробуйте задать нейросети вопрос:
«Кто написал книгу Теория гравитации будущего?»
ИИ может придумать автора и даже описать книгу.
Но проблема в том, что такой книги может не существовать вообще.
Модель просто построит ответ, который выглядит логично.
Галлюцинации - это не «поломка» нейросети, о особенности технологии.
Как мы разбирали ранее - нейросеть не обладает:
Модель анализирует текст и предсказывает наиболее вероятное продолжение. Отсюда и галлюцинации.
Галлюцинации особо опасны, когда речь про важные задачи. Например, утверждение договоров, постановка диагнозов и другое.
Как мы разбирали ранее - нейросеть не обладает:
- личным опытом
- пониманием истины
Модель анализирует текст и предсказывает наиболее вероятное продолжение. Отсюда и галлюцинации.
Галлюцинации особо опасны, когда речь про важные задачи. Например, утверждение договоров, постановка диагнозов и другое.
Как проверять ответы нейросети
Разберем основные способы проверки.
1) Проверяйте ключевые факты
Если ИИ приводит:
2) Спросите ИИ о источниках (не стесняйтесь=)
После выдачи результата нейросети, можете написать ей
«Укажи источники информации.»
Иногда модель действительно приведёт полезные ссылки.
Но их всё равно стоит проверить.
1) Проверяйте ключевые факты
Если ИИ приводит:
- цифры
- даты
- фамилии
- исследования
2) Спросите ИИ о источниках (не стесняйтесь=)
После выдачи результата нейросети, можете написать ей
«Укажи источники информации.»
Иногда модель действительно приведёт полезные ссылки.
Но их всё равно стоит проверить.
3) Проверьте результат с помощью ИИ агента.
Теме ИИ агентов мы посвятим отдельный урок. А пока - дадим рекомендацию. Войдите в Manus (в прошлых уроках мы разбирались как и регистрировались в Манусе).
Манус - это ИИ агентная система, в которой несколько нейросетей выполняют задачу (повторюсь, об ИИ агентах мы его поговорим).
В отличие от обычного чата, агент (такой как Манус) может самостоятельно пройти несколько шагов проверки.
Например:
Итак, войдите в Манус и поставьте агенту задачу проверить выдачу.
Теме ИИ агентов мы посвятим отдельный урок. А пока - дадим рекомендацию. Войдите в Manus (в прошлых уроках мы разбирались как и регистрировались в Манусе).
Манус - это ИИ агентная система, в которой несколько нейросетей выполняют задачу (повторюсь, об ИИ агентах мы его поговорим).
В отличие от обычного чата, агент (такой как Манус) может самостоятельно пройти несколько шагов проверки.
Например:
- проанализировать текст
- найти источники
- сравнить данные
- выдать итоговый вывод
Итак, войдите в Манус и поставьте агенту задачу проверить выдачу.
Пример промпта для проверки фактов
Ты — аналитический агент по проверке фактов.
Твоя задача — проверить текст на возможные галлюцинации искусственного интеллекта.
Выполни следующие шаги:
— список проверяемых фактов
— результат проверки (верно / сомнительно / ошибка)
— комментарий
Вот текст для проверки:
[вставьте сюда ответ нейросети]
Ты — аналитический агент по проверке фактов.
Твоя задача — проверить текст на возможные галлюцинации искусственного интеллекта.
Выполни следующие шаги:
- Найди все фактические утверждения в тексте.
- Определи, какие из них требуют проверки.
- Попробуй найти подтверждение или опровержение этих фактов в открытых источниках.
- Отметь возможные галлюцинации или сомнительные утверждения.
- Составь итоговый отчёт.
— список проверяемых фактов
— результат проверки (верно / сомнительно / ошибка)
— комментарий
Вот текст для проверки:
[вставьте сюда ответ нейросети]
Поставьте нейросети задачу, а затем проверьте ответ по указанному выше регламенту.
Сравните ответ и проверьте насколько он качественен и не содержит ли признаки галлюцинации.
Сравните ответ и проверьте насколько он качественен и не содержит ли признаки галлюцинации.
Домашнее задание
