Что такое CoT?

Chain-of-Thought (CoT) prompting - это тип техники подачи команд в обработке естественного языка (NLP), которая включает создание и уточнение цепочек рассуждений для улучшения понимания и генерации языка. В CoT prompting модели языка (например, модели на основе нейронных сетей, такие как GPT-3), предлагается запрос для выполнения заданной задачи (например, ответить на вопрос). Затем модели предоставляется набор обоснований (или причин), почему данное слово или фраза могут быть правильным ответом. Модель затем может использовать эти обоснования для создания более точного и контекстуально соответствующего ответа. CoT prompting доказала свою эффективность в улучшении работы моделей языка в различных задачах.
CoT prompting похож на игру в "Двадцать вопросов". Вы думаете об объекте, и ваш друг должен задать вам вопросы, чтобы выяснить, что это. Когда ваш друг задает вопрос, вы даёте ему причину, почему ответ на вопрос может помочь ему угадать объект. Например, если ваш друг спрашивает: "Это овощ?", вы могли бы сказать: "Да, потому что он растет в земле". Ваш друг затем может использовать эту причину для более точного угадывания. CoT prompting работает аналогичным образом. Компьютерной программе даётся запрос на выполнение задачи, например, на ответ на вопрос. Затем ей предоставляется набор причин, почему определённый ответ может быть верным. Программа может использовать эти причины, чтобы придумать лучший ответ. Эта техника показала улучшение работы компьютерных программ, обрабатывающих язык, в разнообразных задачах. Теоретически, довольно прямая и убедительная модель, не согласитесь? Попробуйте её в следующий раз, когда будете использовать ChatGPT, и посмотрите, улучшатся ли ответы в точности и желаемости.
С более практической стороны, CoT prompting может быть вычислительно дорогостоящей, особенно при работе с большими наборами данных и сложными задачами рассуждения. Процесс включает создание и уточнение цепочек рассуждений, что может потребовать значительных вычислительных ресурсов. Кроме того, создание набора обоснований для представления модели языка может требовать ручной аннотации, что может быть трудоемким и дорогостоящим. Однако, преимущества использования CoT prompting, такие как улучшенная работа в языковых задачах, могут перевесить вычислительные затраты для определенных приложений. Более того, прогресс в области аппаратного и программного обеспечения, а также разработка более эффективных алгоритмов, могут помочь снизить вычислительные затраты CoT prompting в будущем.

Chain-of-Thought (CoT) prompting - это техника, которую можно использовать для улучшения рассуждения и точности работы больших моделей языка (LLM), предоставляя обоснования для данного слова или фразы. Метод показывает сильные способности к эффективному улучшению работы моделей языка в различных задачах. Кроме того, исследование Zhang и соавторов представляет захватывающий новый подход к рассуждению Chain-of-Thought, включая в двухшаговый фреймворк как языковые, так и визуальные модальности, которые разделяют генерацию рассуждений и вывод ответов. Их предложенный метод достигает высокой точности, превосходя существующие LLM и человеческую производительность. Этот тип исследований открывает обещающие перспективы для будущих исследований и приложений ИИ. Кроме того, концепция, лежащая в основе CoT prompting, также может помочь пользователям LLM, таким как ChatGPT, улучшить их подачу команд и достигнуть лучших, более точных результатов. Я считаю, что мы увидим гораздо больше этого подхода в ближайшем будущем, и итерации этой модели будут продвигать уже очень впечатляющие возможности текущих больших моделей языка еще дальше.

Примером Chain-of-Thought (CoT) prompting может служить следующая ситуация. Допустим, у нас есть задача перевода текста с английского на французский. Например, мы хотим перевести фразу "The cat is under the table" (Кот под столом).
В классическом подходе мы бы просто передали эту фразу в модель машинного перевода и получили бы результат. Однако в подходе CoT, мы сначала обосновываем, почему каждое слово или фраза могут быть правильным переводом.
Вот как это может выглядеть:

1. "The" в французском языке может быть переведено как "Le" или "La", в зависимости от гендера следующего слова. Поскольку "cat" (кот) во французском языке является мужского рода ("chat"), мы выбираем "Le".
2. "Cat" переводится на французский как "chat", потому что это соответствующее слово для обозначения кота.
3. "Is under" может быть переведено как "est sous", поскольку это буквальный перевод данного выражения.
4. "The table" переводится как "la table", потому что "table" во французском языке женского рода.

Итак, на каждом шаге мы предоставляем обоснование того, почему выбран именно этот перевод. Наконец, после обработки каждого слова, мы комбинируем все вместе, чтобы получить окончательный перевод: "Le chat est sous la table".
В этом примере мы видим, что вместо того чтобы просто принять первый попавшийся перевод, мы делаем обоснованный выбор на каждом шаге, что позволяет нам получить более точный и надежный результат. Это и есть суть подхода CoT.

Ссылки на ресурсы
Lu, P., Mishra, S., Xia, T., Qiu, L., Chang, K.-W., Zhu, S.-C., Tafjord, O., Clark, P., and Kalyan. A. (2022). Learn to explain: Multimodal reasoning via thought chains for science question answering. ArXiv preprint, arXiv:2209.09513v2.
Zhang, Zhuosheng, Zhang, Aston, Li, Mu, Zhao, Hai, Karypis, George, & Smola, Alex. (2023). Multimodal Chain-of-Thought Reasoning in Language Models. arXiv:2302.00923v4.