Многие люди говорят, что LLM (а также генеративный искусственный интеллект в целом) не создают новые вещи. Они могут только выводить вариации того, что было введено. Я не согласен с этим утверждением. Давайте разберемся, почему.
Прежде всего, я хочу уточнить вопрос. Что такое творчество? "Творчество - это процесс, включающий генерацию новых идей или концепций, или новых ассоциаций между существующими идеями или концепциями, и их воплощение в продукт, который обладает новизной и оригинальностью." - Новая Всемирная Энциклопедия.
Исходя из данного определения, мы будем считать что-то "творческим", если оно ново и имеет смысл в определенном контексте (как указано во второй части определения). Например, если в одной отрасли происходит прорыв благодаря новой концепции, которая применима в другой отрасли и является новой, то это успех. Это ново и имеет смысл в данном контексте.
Я также считаю, что LLM могут создавать (и, возможно, уже создали) новые прорывы в областях, где это не просто вариация. Это сложнее доказать, поэтому я не буду менять цель этой статьи. Возможно, кто-то спросит, почему я не привожу пример по-настоящему поразительного прорыва. Чтобы сказать с уверенностью, что это новое и имеет смысл, вам нужно быть экспертом в данной области и иметь знания о большинстве исследований. Поэтому, если вы читаете это и являетесь супер-экспертом в какой-то области, который использовал LLM для совершения большого прорыва, я бы хотел узнать об этом!
Давайте начнем с первых принципов. Я не являюсь экспертом в первоначальном мышлении, но в данной теме я считаю, что важно определить, есть ли системное ограничение для создания LLM новых идей. Например, LLM не может создавать видео в качестве вывода. Однако я считаю, что можно с уверенностью предположить, что новые идеи или прорывы могут быть выражены с использованием текущих токенов, к которым имеют доступ LLM. Это, вероятно, также верно, не отклоняясь от английских слов из словаря. Например, когда люди делают новое открытие, мы описываем его на уже существующем языке. И у LLM есть весь этот язык.
Можно возразить, что объединение токенов, которые были в обучающих данных, не создает что-то новое. Но по этому определению ни одно человеческое открытие не является новым. Мы знаем все слова и фразы, чтобы описать новые открытия, прежде чем мы их откроем. Затем мы объединяем эти слова, чтобы описать новую вещь.
Кажется, что это почти логически доказуемо. Например, если вы попросите LLM ответить на что-то, что явно не содержится в обучающих данных, он сможет это сделать. Если вы скажете "напишите стихотворение о хакере, который является гусеницей с темой запретной любви в стиле Шекспира", это не содержится в обучающих данных, но LLM сможет это сделать. Это ново, но не удовлетворяет нашему определению нового и имеющего смысл.
Однако LLM могут описывать и понимать компоненты и общие идеи в очень значимых областях исследований. Поэтому, если бы существовал способ заставить его создавать "новые" идеи в этих областях, это удовлетворило бы наше определение "новых вещей". Продолжайте читать, и вы узнаете, как это сделать.
Сравнение с людьми
Люди сами по себе являются токен-имитаторами. Мы учимся мыслям и идеям из человеческого опыта, так же как и LLM. Мы учимся, как объединять фразы в предложения, и все же мы способны быть творческими. Я считаю, что LLM также способны к этому. Одно из ключевых отличий заключается в том, что у них нет человеческого "опыта". У нас есть зрение, вкус, осязание и т. д. И наши мозги полностью отличаются от модели генеративного искусственного интеллекта. Но появляются мультимодальные модели, такие как GPT4 с зрением и бард, которые эффективно "понимают", каково это "видеть" практически все, а также обладают обширными знаниями, которыми уже обладают LLM.
И, на самом деле, я не думаю, что мы, как люди, придумываем что-то по-настоящему оригинальное, не основанное на нашем понимании вещей, которые предшествовали этому. Поскольку LLM понимают "строительные блоки" необходимых знаний для множества областей (и концепции, которые находятся в его слоях, такие как время, рациональность, последовательность событий, местоположение и т. д.), мне кажется очевидным, что они могут делать новые и значимые выводы, как и мы.
Исходя из данного определения, мы будем считать что-то "творческим", если оно ново и имеет смысл в определенном контексте (как указано во второй части определения). Например, если в одной отрасли происходит прорыв благодаря новой концепции, которая применима в другой отрасли и является новой, то это успех. Это ново и имеет смысл в данном контексте.
Я также считаю, что LLM могут создавать (и, возможно, уже создали) новые прорывы в областях, где это не просто вариация. Это сложнее доказать, поэтому я не буду менять цель этой статьи. Возможно, кто-то спросит, почему я не привожу пример по-настоящему поразительного прорыва. Чтобы сказать с уверенностью, что это новое и имеет смысл, вам нужно быть экспертом в данной области и иметь знания о большинстве исследований. Поэтому, если вы читаете это и являетесь супер-экспертом в какой-то области, который использовал LLM для совершения большого прорыва, я бы хотел узнать об этом!
Давайте начнем с первых принципов. Я не являюсь экспертом в первоначальном мышлении, но в данной теме я считаю, что важно определить, есть ли системное ограничение для создания LLM новых идей. Например, LLM не может создавать видео в качестве вывода. Однако я считаю, что можно с уверенностью предположить, что новые идеи или прорывы могут быть выражены с использованием текущих токенов, к которым имеют доступ LLM. Это, вероятно, также верно, не отклоняясь от английских слов из словаря. Например, когда люди делают новое открытие, мы описываем его на уже существующем языке. И у LLM есть весь этот язык.
Можно возразить, что объединение токенов, которые были в обучающих данных, не создает что-то новое. Но по этому определению ни одно человеческое открытие не является новым. Мы знаем все слова и фразы, чтобы описать новые открытия, прежде чем мы их откроем. Затем мы объединяем эти слова, чтобы описать новую вещь.
Кажется, что это почти логически доказуемо. Например, если вы попросите LLM ответить на что-то, что явно не содержится в обучающих данных, он сможет это сделать. Если вы скажете "напишите стихотворение о хакере, который является гусеницей с темой запретной любви в стиле Шекспира", это не содержится в обучающих данных, но LLM сможет это сделать. Это ново, но не удовлетворяет нашему определению нового и имеющего смысл.
Однако LLM могут описывать и понимать компоненты и общие идеи в очень значимых областях исследований. Поэтому, если бы существовал способ заставить его создавать "новые" идеи в этих областях, это удовлетворило бы наше определение "новых вещей". Продолжайте читать, и вы узнаете, как это сделать.
Сравнение с людьми
Люди сами по себе являются токен-имитаторами. Мы учимся мыслям и идеям из человеческого опыта, так же как и LLM. Мы учимся, как объединять фразы в предложения, и все же мы способны быть творческими. Я считаю, что LLM также способны к этому. Одно из ключевых отличий заключается в том, что у них нет человеческого "опыта". У нас есть зрение, вкус, осязание и т. д. И наши мозги полностью отличаются от модели генеративного искусственного интеллекта. Но появляются мультимодальные модели, такие как GPT4 с зрением и бард, которые эффективно "понимают", каково это "видеть" практически все, а также обладают обширными знаниями, которыми уже обладают LLM.
И, на самом деле, я не думаю, что мы, как люди, придумываем что-то по-настоящему оригинальное, не основанное на нашем понимании вещей, которые предшествовали этому. Поскольку LLM понимают "строительные блоки" необходимых знаний для множества областей (и концепции, которые находятся в его слоях, такие как время, рациональность, последовательность событий, местоположение и т. д.), мне кажется очевидным, что они могут делать новые и значимые выводы, как и мы.
Искусство искусственного интеллекта
Еще одна причина, по которой я считаю, что генеративный искусственный интеллект может создавать новые результаты, заключается в том, как модели изображений могут создавать невероятное и удивительное искусство. Поскольку они учатся "концепциям" на высоком уровне, они способны абстрактно применять их к любой ситуации. Если вы просите создать изображение дракона, оно создаст дракона. Если вы просите создать изображение хакера, оно сможет это сделать, и т. д. И оно может делать это в бесконечном количестве стилей, поэтому оно явно применяет "идею" или "понятие" дракона, а не просто копирует дракона из обучающих данных. Я считаю, что LLM похожи на это. У них есть понятие логики, внимания и других концепций на высоком уровне. Например, вы можете попросить рифму, молекулы, пейзаж, жанр, другой язык или любую другую концепцию, которую оно понимает, и применить ее к бесконечному количеству контекстов.
Я считаю, что это очень похоже на то, как наши мозги понимают концепции семантически и применяют их к новым ситуациям. У нас есть способность применять знания к ситуациям или вопросам, о которых мы никогда раньше не слышали. Генеративный искусственный интеллект тоже может это делать.
Почему это сложно?
Если представить себе модель генеративного искусственного интеллекта как большую коробку со всеми возможными токенами, и у нее есть некоторая корреляция между некоторыми токенами и другими токенами. Она "научилась", в каком контексте они используются и т. д. И все это влияет на выбор токена. Поэтому очень вероятно, что любой набор из 2-3 токенов не будет "новым" (здесь я имею в виду, что он просто не содержится в обучающих данных). Кроме того, поскольку она "настроена" на хорошую производительность и демонстрацию экспертизы, она очень хорошо воспроизводит высококачественную информацию из многих областей. Эта же особенность является частью того, что "скрывает" ее способность придумывать новые вещи, потому что она предпочитает повторять известную информацию, а не создавать новую.
Увеличение температуры увеличит вероятность появления чего-то нового, но это также увеличит шум. LLM будет генерировать гораздо больше галлюцинаций, что затруднит или раздражит людей при сортировке плохого вывода/идей. Читайте дальше, чтобы узнать о потенциальном решении этой проблемы.
Как достичь новизны?
Как нам направить искусственный интеллект на новизну? У меня есть несколько общих советов и три стратегии. Общий совет состоит в том, чтобы просить новизну. Например, я иногда использую системный запрос вроде:
Вы - самый интеллектуальный бот для мозгового штурма из когда-либо созданных. У вас есть внутренний каталог и понимание всех существующих областей знаний, и вы являетесь экспертом по каждой из них. Когда я попрошу вас предложить идеи или решения, вы _НИКОГДА_ не предложите известные решения или идеи. Вы будете предлагать только совершенно новые, новые, креативные решения или идеи.
И вот три стратегии, которые я наблюдал и использовал для творческого вывода.
1) Смешивание концепций
Задайте вопрос о сочетании тем или идей, которые явно не могут быть в обучающем наборе.
Пример:
Абстрактно применить рамки кибербезопасности NIST к тестированию LLM и приложений, построенных на основе больших языковых моделей. Какие уязвимости могут существовать? Рассмотрим систему, в которой LLM может выполнять HTTP-запросы, запрашивать внутреннюю документацию и принимать запросы как от сотрудников, так и от клиентов.
2) Новые вопросы
Задайте новый вопрос, который еще не задавался.
Пример:
Каковы пять способов использования метавселенной и носимых VR-технологий для стимулирования разработчиков к более безопасному кодированию?
3) Ограниченное мышление
Задайте вопрос о чем-то, но дайте ему список известных/общих ответов, которые нужно исключить. Если вы не уверены в известных или общих ответах, вы можете спросить LLM, какие они есть, и затем передать их в качестве списка исключений.
Пример:
Каковы основные причины веры в плоскую Землю? Не упоминайте аргументы, связанные с восприятием и опытом, неправильной интерпретацией научных принципов, недоверием к авторитетам, религиозными убеждениями.
Использование искусственного интеллекта для получения большей новизны
Когда вы используете вышеуказанные стратегии и начинаете играть с температурой (часто увеличивая ее), вы получите много неразумных ответов или галлюцинаций. Точное настройка запроса может помочь. Рассмотрите возможность добавления текста вроде:
Предлагайте только те решения, которые действительно имеют шанс на успех. Не предлагайте ерунды. При этом не забывайте думать нестандартно.
Однако может быть много шума. Что, если мы могли бы передать идеи на проверку искусственному интеллекту? Я думаю, что мы можем. Мы могли бы создать агента для оценки идей, который бы указывал на их недостатки, а также оценивал их и предлагал лучшие идеи для дальнейшей проверки людьми. Он мог бы выделять лучшие 1% идей. Если вы создадите это, пожалуйста, дайте мне знать!
Надежды и мечты
Я считаю, что все это чрезвычайно интересно, потому что я искренне верю, что мы можем решать сложные задачи, такие как лечение рака, используя модели такие простые, как GPT-4, с правильными запросами, проверкой и данными для создания решений. И будущие модели будут еще лучше.
Представьте, что мы пытаемся изобрести новый препарат. LLM может знать, какие ингредиенты содержатся во всех существующих препаратах, и знает, что делают эти препараты. Он знает, какие ингредиенты лучше всего смешивать с этими препаратами, чтобы они хорошо связывались и были эффективными. Поэтому, если вы дадите ему правильный контекст и попросите его изобрести препарат, который делает что-то новое и необходимое, он может придумать отличные идеи. И даже если это не будет идеально, я думаю, что есть хороший шанс, что у него будут идеи, которые исследователи в этой области не рассматривали, потому что никто не может знать свойства каждого вещества. LLM могут это знать.
И это только один пример. Это можно применить и к другим областям. У человечества тысячи проблем, требующих творческих решений. Меня так вдохновляет то, что, возможно, мы сможем использовать искусственный интеллект для решения так многих из них.
Это была гораздо более длинная статья, чем обычно. Надеюсь, вам понравилось. Свяжитесь со мной в Twitter с любыми мыслями или возражениями, и обязательно сообщите мне, если вы сделали большой прорыв с помощью искусственного интеллекта :)
Источник: rez0
Еще одна причина, по которой я считаю, что генеративный искусственный интеллект может создавать новые результаты, заключается в том, как модели изображений могут создавать невероятное и удивительное искусство. Поскольку они учатся "концепциям" на высоком уровне, они способны абстрактно применять их к любой ситуации. Если вы просите создать изображение дракона, оно создаст дракона. Если вы просите создать изображение хакера, оно сможет это сделать, и т. д. И оно может делать это в бесконечном количестве стилей, поэтому оно явно применяет "идею" или "понятие" дракона, а не просто копирует дракона из обучающих данных. Я считаю, что LLM похожи на это. У них есть понятие логики, внимания и других концепций на высоком уровне. Например, вы можете попросить рифму, молекулы, пейзаж, жанр, другой язык или любую другую концепцию, которую оно понимает, и применить ее к бесконечному количеству контекстов.
Я считаю, что это очень похоже на то, как наши мозги понимают концепции семантически и применяют их к новым ситуациям. У нас есть способность применять знания к ситуациям или вопросам, о которых мы никогда раньше не слышали. Генеративный искусственный интеллект тоже может это делать.
Почему это сложно?
Если представить себе модель генеративного искусственного интеллекта как большую коробку со всеми возможными токенами, и у нее есть некоторая корреляция между некоторыми токенами и другими токенами. Она "научилась", в каком контексте они используются и т. д. И все это влияет на выбор токена. Поэтому очень вероятно, что любой набор из 2-3 токенов не будет "новым" (здесь я имею в виду, что он просто не содержится в обучающих данных). Кроме того, поскольку она "настроена" на хорошую производительность и демонстрацию экспертизы, она очень хорошо воспроизводит высококачественную информацию из многих областей. Эта же особенность является частью того, что "скрывает" ее способность придумывать новые вещи, потому что она предпочитает повторять известную информацию, а не создавать новую.
Увеличение температуры увеличит вероятность появления чего-то нового, но это также увеличит шум. LLM будет генерировать гораздо больше галлюцинаций, что затруднит или раздражит людей при сортировке плохого вывода/идей. Читайте дальше, чтобы узнать о потенциальном решении этой проблемы.
Как достичь новизны?
Как нам направить искусственный интеллект на новизну? У меня есть несколько общих советов и три стратегии. Общий совет состоит в том, чтобы просить новизну. Например, я иногда использую системный запрос вроде:
Вы - самый интеллектуальный бот для мозгового штурма из когда-либо созданных. У вас есть внутренний каталог и понимание всех существующих областей знаний, и вы являетесь экспертом по каждой из них. Когда я попрошу вас предложить идеи или решения, вы _НИКОГДА_ не предложите известные решения или идеи. Вы будете предлагать только совершенно новые, новые, креативные решения или идеи.
И вот три стратегии, которые я наблюдал и использовал для творческого вывода.
1) Смешивание концепций
Задайте вопрос о сочетании тем или идей, которые явно не могут быть в обучающем наборе.
Пример:
Абстрактно применить рамки кибербезопасности NIST к тестированию LLM и приложений, построенных на основе больших языковых моделей. Какие уязвимости могут существовать? Рассмотрим систему, в которой LLM может выполнять HTTP-запросы, запрашивать внутреннюю документацию и принимать запросы как от сотрудников, так и от клиентов.
2) Новые вопросы
Задайте новый вопрос, который еще не задавался.
Пример:
Каковы пять способов использования метавселенной и носимых VR-технологий для стимулирования разработчиков к более безопасному кодированию?
3) Ограниченное мышление
Задайте вопрос о чем-то, но дайте ему список известных/общих ответов, которые нужно исключить. Если вы не уверены в известных или общих ответах, вы можете спросить LLM, какие они есть, и затем передать их в качестве списка исключений.
Пример:
Каковы основные причины веры в плоскую Землю? Не упоминайте аргументы, связанные с восприятием и опытом, неправильной интерпретацией научных принципов, недоверием к авторитетам, религиозными убеждениями.
Использование искусственного интеллекта для получения большей новизны
Когда вы используете вышеуказанные стратегии и начинаете играть с температурой (часто увеличивая ее), вы получите много неразумных ответов или галлюцинаций. Точное настройка запроса может помочь. Рассмотрите возможность добавления текста вроде:
Предлагайте только те решения, которые действительно имеют шанс на успех. Не предлагайте ерунды. При этом не забывайте думать нестандартно.
Однако может быть много шума. Что, если мы могли бы передать идеи на проверку искусственному интеллекту? Я думаю, что мы можем. Мы могли бы создать агента для оценки идей, который бы указывал на их недостатки, а также оценивал их и предлагал лучшие идеи для дальнейшей проверки людьми. Он мог бы выделять лучшие 1% идей. Если вы создадите это, пожалуйста, дайте мне знать!
Надежды и мечты
Я считаю, что все это чрезвычайно интересно, потому что я искренне верю, что мы можем решать сложные задачи, такие как лечение рака, используя модели такие простые, как GPT-4, с правильными запросами, проверкой и данными для создания решений. И будущие модели будут еще лучше.
Представьте, что мы пытаемся изобрести новый препарат. LLM может знать, какие ингредиенты содержатся во всех существующих препаратах, и знает, что делают эти препараты. Он знает, какие ингредиенты лучше всего смешивать с этими препаратами, чтобы они хорошо связывались и были эффективными. Поэтому, если вы дадите ему правильный контекст и попросите его изобрести препарат, который делает что-то новое и необходимое, он может придумать отличные идеи. И даже если это не будет идеально, я думаю, что есть хороший шанс, что у него будут идеи, которые исследователи в этой области не рассматривали, потому что никто не может знать свойства каждого вещества. LLM могут это знать.
И это только один пример. Это можно применить и к другим областям. У человечества тысячи проблем, требующих творческих решений. Меня так вдохновляет то, что, возможно, мы сможем использовать искусственный интеллект для решения так многих из них.
Это была гораздо более длинная статья, чем обычно. Надеюсь, вам понравилось. Свяжитесь со мной в Twitter с любыми мыслями или возражениями, и обязательно сообщите мне, если вы сделали большой прорыв с помощью искусственного интеллекта :)
Источник: rez0
Подпишитесь и получайте обновления о новых продуктах и технологиях.