ChatGPT — один из самых, если не самый известный чат-бот в мире на сегодняшний день. Как человек, который активно читает твиты от SEO-специалистов и энтузиастов искусственного интеллекта (ИИ), ChatGPT — это имя, которое я вижу каждый раз, когда открываю свой Twitter.
Что такое ChatGPT?
ChatGPT — это чат-бот, созданный Open.AI с использованием технологии машинного обучения, известной как «Generative Pre-trained Transformer 3 (GPT-3)». Если вы впервые слышите об этом — GPT-3 — это модель большого языка (LLM). Он использует машинное обучение для создания текста на естественном языке, который трудно отличить от текста, написанного людьми.
Бум! Слишком много жаргона в одном абзаце.
Три имени, которые нужно помнить
Термин "Большая языковая модель«, или LLM, относится к модели машинного обучения, которая обучается на большом наборе данных человеческого языка и способна генерировать естественно звучащий текст.
Генеративный предварительно обученный преобразователь 3, или GPT-3, — это специальный LLM, разработанный компанией OpenAI, которая добилась впечатляющих результатов в широком спектре языковых задач, таких как перевод и обобщение текста.
ChatGPT — это вариант языковой модели GPT-3, специально разработанный для генерации человеческого текста в контексте чат-бота.
Так что думайте:
- LLM как технология, помогающая роботам читать и писать на человеческом языке
- GPT-3 — это тип LLM, разработанный частной компанией (OpenAI).
- ChatGPT — это робот, который использует GPT-3 для взаимодействия с людьми в чате.
Почему ChatGPT особенный?
Что отличает ChatGPT от других языковых моделей (их много! подробнее об этом позже), так это его способность поддерживать контекст на протяжении нескольких ходов разговора. Когда вы общаетесь с ботом, он обладает «памятью» и может генерировать человеческие ответы, которые относятся к обсуждаемой теме и основаны на предыдущих заявлениях, сделанных пользователем или самим чат-ботом.
Но это еще не все — инструмент может больше, чем просто поддерживать разговор. Он также может выполнять широкий спектр языковых задач, таких как перевод, обобщение, кодирование (да, язык языки — это тоже человеческий язык), и даже писать стихи.
Что ChatGPT может сделать для вас?
От генерации идей и контента до предоставления исследований и поддержки — ChatGPT — это ценный ресурс, который может помочь отдельным лицам и организациям. Повысить продуктивность и эффективность. Являетесь ли вы блогером-любителем, юристом, школьным учителем или даже генеральным директором компании — ChatGPT может оказать значительное влияние на вашу работу.
Ниже приведены некоторые конкретные задачи, которые вы можете передать ChatGPT на аутсорсинг.
Для блоггеров
- Генерация идей и написание черновиков для ваших следующих постов в блоге
- Изучение и проверка контента блога
- Преобразование контента (например, обзоров, графика разработки) в таблицы или маркированные списки.
Для юристов
- Составление юридических документов и договоров
- Обобщение сложных юридических концепций для непрофессионалов
- Организация и управление юридическими документами и делами
Для школьных учителей
- Разработка леsson планы и учебные материалы
- Создание оценок и тестов
- Создание разных сценариев для разных уровней учащихся
Программистам
- Генерация фрагментов кода и отладка ошибок кодирования
- Объяснение ваших кодов на письменном языке
- Переключение функций между разными языками программирования
Для музыкантов
- Генерация песенных идей и мелодий
- Написание текстов
- Изучать и быть в курсе отраслевых тенденций и технологий
Для руководителей компаний
- Организация и управление проектами и задачами компании
- Обобщение деловых новостей, отчетов сотрудников и презентаций
- Сотрудничество с членами команды и другими заинтересованными сторонами (написание электронных писем, текстовых сообщений и т. д.)
Подсказки, которые вы можете использовать для ChatGPT
Я использую ChatGPT в основном в качестве преподавателя и помощника по письму. Вот несколько подсказок, которые я часто использую во время работы. Фатих Кадир Акин составил большой список удивительных подсказок на Подсказки.чат и в эта бесплатная электронная книга - обязательно загляните, если хотите еще.
I want you to act as an educational content creator. You will need to create engaging and informative lessons for students seeking guidance or advice in a particular topic.I want you to act as a stand-up comedian. I will provide you with some statements and you will use your wit and creativity to create scripts based on those statements. You are allowed to incorporate personal anecdotes or experiences into the routine in order to make it more relatable and engaging for the audience.
This is the first statements:
Translate the following statements to English for me:Более глубокое погружение в машинное обучение на человеческом языке
ChatGPT не одинок
Хотя GPT-3 является мощным и популярным, на рынке доступно множество других моделей больших языков (см. таблицу ниже).
Большинство из этих LLM обладают собственными уникальными возможностями и добились хороших результатов в различных языковых задачах. Языковой перевод, анализ тональности и ответы на вопросы — это некоторые распространенные языковые операции, выполняемые инструментами LLM.
Другие известные LLM, доступные на рынке
| Модель | Описание | Размер | Основные характеристики |
|---|---|---|---|
| LLM | Длинная языковая модель, разработанная OpenAI | Меньше и проще, чем GPT-3 | Сосредоточены на создании связного текста в определенной области или теме. |
| БЕРТ | Предварительно обученная языковая модель, разработанная Google | Умеренная | Может быть настроен для широкого круга задач обработки естественного языка. |
| XLNet | Предварительно обученная языковая модель, разработанная Google и Университетом Карнеги-Меллона. | Большой | Использует новый подход под названием «моделирование языка перестановок» для достижения хороших результатов в широком диапазоне задач. |
| РОБЕРТа | Предварительно обученная языковая модель, разработанная искусственным интеллектом Facebook. | Большой | Вариант BERT, обученный на большем наборе данных и с некоторыми изменениями в процедуре обучения. |
| АЛЬБЕРТ | Предварительно обученная языковая модель, разработанная Google | Умеренная | Облегченная версия BERT, в которой используются методы уменьшения размера и вычислительных требований. |
| Elmo | Предварительно обученная языковая модель, разработанная Институтом искусственного интеллекта Аллена. | Большой | Использует глубокое контекстуализированное представление слов, способное улавливать значение окружающего текста. |
| T5 | Предварительно обученная языковая модель, разработанная Google | Большой | Способен выполнять широкий спектр задач по обработке естественного языка без специальной подготовки. |
| CTRL | Предварительно обученная языковая модель, разработанная OpenAI | Большой | Использует новый подход, называемый «условными преобразователями», для создания текста, похожего на человеческий. |
| Трансформер-XL | Предварительно обученная языковая модель, разработанная Google | Большой | Использует новый подход под названием «относительное позиционное кодирование» для моделирования долгосрочных зависимостей в тексте. |
LLM не понимают
В то время как LLM, такие как ChatGPT, очень хорошо генерируют человеческий текст, у них нет истинного понимания, мнений или убеждений по теме (* см. примечание ниже) они обсуждают так же, как человек.
Вместо этого LLM могут генерировать текст, используя алгоритмы машинного обучения для анализа большого набора данных человеческого языка и изучения шаблонов и отношений, существующих в данных. После изучения этих шаблонов LLM используют их для создания нового текста, похожего на текст в обучающих данных.
Другими словами, LLM не умны. Они просто очень хорошо угадывают правильные слова, чтобы использовать их в своих «писаниях».
LLM (особенно ChatGPT) очень хорошо умеют угадывать
Что делают LLM, так это анализируют все тексты, которые они «читали» в прошлом, и угадывают, какие слова лучше всего написать следующими.
Например, чтобы определить следующие слова для завершения предложения, такого как «Уэйн Руни сделал пас дриблинга…», ChatGPT, LLM, который я использую в настоящее время, будет анализировать шаблоны и отношения в языковых данных, на которых он был обучен, чтобы определять слова и фразы, которые, скорее всего, будут следующими в этом контексте.
Модель могла узнать из своих обучающих данных, что такие слова, как «мимо», «вокруг» или «сквозь», обычно используются после фразы «обводка». Затем он может использовать эту информацию для создания нового предложения, которое гласит:
- «Уэйн Руни обвел защитника», или
- «Уэйн Руни обвел защитника» или
- «Уэйн Руни обыграл защитника».
Предложения — это просто набор слов
Вот еще один пример, демонстрирующий возможности предсказания ChatGPT. Следующий фрагмент взят из первая глава Перси Джексон и похититель молний (книга 1) Рика Риордана (любимый роман моего сына).
"Being a half-blood is dangerous. It's scary. Most of the time, it gets you killed in painful, nasty ways." Я попросил ChatGPT дополнить абзац. Вот два варианта, которые дал мне ChatGPT:
Версия #1
"But I've always known that I was different. I've always known that I was a target. That's why I've trained myself to be strong. That's why I've learned how to defend myself. I won't let anyone hurt me. I won't let anyone take away the person I am."Версия #2
"I've tried to stay hidden, to keep a low profile. But it's not easy. There are always people watching, waiting for me to slip up. I can't let them catch me. I can't let them hurt me or my family."В обоих этих примерах следующие три предложения продолжают исследовать тему полукровки, а также опасностей и проблем, которые с этим связаны.
Первый вариант фокусируется на собственных усилиях рассказчика быть сильным и защищать себя, а второй вариант фокусируется на усилиях рассказчика оставаться скрытым и избегать обнаружения. Оба варианта основаны на идее, что быть полукровкой опасно и может причинить вред, но они подходят к этой теме с разных сторон и оттенков.
Впечатляет, правда?
Недостатки и проблемы с LLM
Как и любая модель машинного обучения, ChatGPT не все так ярко и блестяще. Вот несколько примеров некоторых возможных проблем, которые могут возникнуть с ChatGPT:
1. Систематическая ошибка в обучающих данных
Как и большинство моделей машинного обучения, ChatGPT обучается на большом наборе данных. Он может включать смещения, присутствующие в данных. Обезьяны видят, обезьяны делают. Если обучающие данные содержат непропорционально большое количество примеров, написанных определенной группой людей, ChatGPT может генерировать текст, предвзято относящийся к этой группе.
Прочитать статью Мелиссы Вирусное приложение для аватаров с искусственным интеллектом Lensa раздело меня без моего согласия. Не имеет отношения к ChatGPT, но демонстрирует, что может пойти не так с ИИ.
2. Трудности с пониманием контекста
ChatGPT предназначен для генерации ответов на основе контекста и смысла вводимого текста. Однако иногда у него могут возникнуть трудности с пониманием контекста конкретной подсказки или разговора, что может привести к неточным или бессмысленным ответам.
3. Ограниченная способность справляться с открытыми задачами.
ChatGPT предназначен для генерации ответов на определенные подсказки или вопросы. У него могут возникнуть трудности с выполнением открытых задач или ситуаций, в которых желаемая реакция четко не определена.
4. Ограниченная способность обращаться с необычным или специфичным для предметной области языком
ChatGPT обучен работе с широким спектром текстов, но ему может быть трудно понять или создать необычный или специфичный для предметной области язык. Это может быть проблемой, если вы используете ChatGPT для задач, требующих глубокого понимания определенной области или предмета.
В целом, ChatGPT — мощный и полезный инструмент, но не без ограничений. Важно помнить об этих ограничениях при использовании ChatGPT и тщательно взвешивать пригодность модели для конкретной задачи.
Заключение
Возможно, главная причина, по которой ChatGPT покорил мир, заключается в его простоте. Не верьте мне на слово - Вы можете попробовать сами здесь, бесплатно. Вам не нужно быть техническим волшебником — просто напишите ему несколько слов и посмотрите, творит ли он свое волшебство. Просто не забудьте перепроверить его вывод, прежде чем отправить его своему боссу, бабушке или президенту.
И, как всегда, помните: с большими возможностями языкового моделирования приходит и большая ответственность (и, надеюсь, несколько смешков по пути).
Дополнительные примечания
Развитие ГПТ-3
Развитие GPT-3 можно проследить до оригинальной исследовательской работы «Улучшение понимания языка с помощью генеративного предварительного обучения», написанный Алеком Рэдфордом и его коллегами и опубликованный в виде препринта на веб-сайте OpenAI в июне 2018 года.
В ноябре 2019 года OpenAI выпустила GPT-2, которая была значительным улучшением по сравнению с исходной моделью GPT. GPT-2 был обучен на наборе данных из более чем 8 миллиардов веб-страниц и имел гораздо больший размер (1.5 триллиона параметров).
В мае 2020 года OpenAI выпустила GPT-3, еще более крупную и мощную версию модели GPT. GPT-3 обучался на наборе данных из миллиардов веб-страниц и имел размер 175 миллиардов параметров, что делало его одной из крупнейших когда-либо разработанных языковых моделей. Он мог выполнять широкий спектр языковых задач, включая перевод, обобщение и ответы на вопросы, а также мог генерировать текст, похожий на человеческий. трудно отличить от текста, написанного человеком.
О компании Open.AI
OpenAI — это исследовательская лаборатория, базирующаяся в Сан-Франциско, Калифорния. Компания занимается продвижением искусственного интеллекта ответственным и безопасным образом. Он был основан в 2015 году и финансируется известными именами в технологических отраслях, включая Microsoft, Elon Muskи Питер Тиль.
Среди известных лидеров компании:
- Сэм Альтман – генеральный директор OpenAI и известный лидер технологической отрасли. Он был связан с компанией с момента ее основания и сыграл ключевую роль в ее росте и развитии (почитайте его блог здесь).
- Грег Брокман – Соучредитель и технический директор OpenAI, бывший технический директор Stripe.. Он сыграл ключевую роль в разработке больших языковых моделей компании, включая GPT-3 (подробнее).
- Илья Суцкевер – главный научный сотрудник OpenAI и сооснователь компании. Он является ведущим экспертом в области машинного обучения и сыграл ключевую роль в развитии исследований и разработок компании (читайте его твиты здесь).
- Войцех Заремба — соучредитель и научный сотрудник OpenAI, сыгравший ключевую роль в разработке больших языковых моделей компании, включая GPT-3 (Профиль Twitter).
- Джон Шульман – научный сотрудник OpenAI, сыгравший ключевую роль в разработке алгоритмов и технологий обучения с подкреплением (Профиль Twitter).
