От варварского общества до искусственного интеллекта — ученый-компьютерщик Ву Цзюнь объясняет вам все тонкости ChatGDP.
Вечером 3 апреля У Цзюнь, ученый-компьютерщик и эксперт по моделям естественного языка, был приглашен в комнату прямой трансляции, чтобы провести прямую трансляцию по актуальным темам, таким как искусственный интеллект и ChatGPT.
В1:
Почему появление ChatGPT вызывает панику?
Я знаю, что ChatGPT в последнее время очень популярен в Китае, и многие его обсуждают. Но что очень интересно, на самом деле в США на эту тему уже мало кто говорит. На самом деле, это не только ChatGPT: оглядываясь назад на десять лет, когда появилось много новых технологий, я обнаружил, что дискуссия в китайских СМИ была намного выше, чем в США. Хотя на самом деле эта технология в основном появляется в Соединенных Штатах, китайцы больше обеспокоены ею. Я думаю, что это хорошо, но это также и плохо.
«Плохо» то, что эти технологии на самом деле слишком раздуты, и в процессе многие люди зарабатывают на них деньги. Например, тогда блокчейн был очень популярен, но сейчас его мало кто обсуждает, верно? Это первый. Второй — Метавселенная. В настоящее время только Facebook в США настаивает на этом. Когда мы приехали в Китай, многие обсуждали, будем ли мы жить в полностью виртуальном мире в будущем. Наконец, с конца прошлого года по начало этого года Facebook вложил в эту сферу десятки миллиардов долларов, не услышав ни единого слова, и, наконец, начал масштабные увольнения. В настоящее время одна из самых горячих тем — ChatGPT. Некоторые люди в восторге, некоторые боятся, и я также вижу, что в Китае все еще много людей, которые ловят рыбу в мутной воде, пытаясь снова нарезать всем лук-порей.
Прежде чем рассказать вам, что такое ChatGPT, позвольте мне рассказать вам историческую историю. Эта историческая история заставит вас смеяться, но если оглянуться назад, многие люди ведут себя точно так же и сегодня.
В 1503 году сын Колумба записал этот случай.Колумб отплыл на запад, в Новый Свет.В результате на полпути он прибыл на Ямайку, а еды на корабле не было. Поэтому Колумбу и его команде оставалось только надеяться, что местные жители предоставят еду и напитки. Однако уже через несколько дней провизии у экипажа возникли конфликты с местными жителями — некоторые члены экипажа украли у местных вещи, поэтому местные жители перекрыли подачу продовольствия.
Чтобы выйти из этого затруднительного положения, Колумбу пришла в голову хитроумная идея. Колумб в то время носил с собой вечный календарь и отмечал в календаре, что будет солнечное затмение, лунное затмение и вся эта информация в определенный год, месяц и день. Колумб в это время позвонил местным племенным вождям и сказал, что если вы не обеспечите меня едой, вы оскорбили Бога. Бог разгневается, луна станет красной, и тогда Бог заберет луну. Конечно, теперь мы практически все знаем, что когда происходит полное лунное затмение, то есть когда Земля не полностью закрывает Луну, Луна действительно красная, и это то, что мы называем «кровавой луной». Однако ямайцы в то время этого не знали. В результате ночью ямайцы обнаружили, что луна стала красной, а затем медленно и понемногу исчезла. Местные жители впали в панику, и все говорили, что Бог их накажет.
Вождь племени спешно отправился в Колумбус и пообещал согласиться на все условия Колумба. Колумб сказал: «Хорошо, я пойду в палатку и помолюсь Богу, чтобы Он тебя не наказал, но мне нужно немного времени», и тогда Колумб вошел в палатку. На самом деле, войдя в палатку, Колумб держал песочные часы и смотрел на время.
Сегодня у нас есть знания по астрономии, и мы точно знаем время полного лунного затмения, которое, вероятно, продлится около 48 минут, и к тому времени Луна снова появится. Но эти ямайцы этого не знают. Они увидели, что, когда Колумб вышел из своей палатки, взошла луна. Тогда Колумб сказал: «Бог прислушался к моему совету и обещал простить тебя, но ты должен обеспечить нас хорошей едой». Поэтому местные жители благодарны и продолжают снабжать их едой.
Что означает эта история? У возникновения полного лунного затмения есть причина, но когда люди не знают причины, они часто могут только приписать это природное явление действию бога. И сам этот бог был создан человеком. Другими словами, после того как человек сам создаёт бога, он затем ложится у ног бога и становится его рабом.
Именно поэтому я хочу преподавать вам курс «История мировых цивилизаций».
Фактически, процесс развития этой цивилизации — это процесс постоянного понимания людьми законов природы. Мы добились незначительного прогресса и больше не похожи на местных коренных жителей, которые слепо верят, что молитвы Богу действительно могут предотвратить исчезновение Луны. Теперь мы знаем, что за затмениями Солнца и Луны на самом деле действуют три закона планет Кеплера, а за тремя законами планет Кеплера стоит закон всемирного тяготения Ньютона. После того, как люди поймут эту причину, они больше не просто боятся природы.Мы можем использовать законы природы, чтобы делать очень много вещей.
В2:
Какова техническая основа ChatGPT?
Оглядываясь назад от истории к настоящему, ситуация с ChatGPT на самом деле аналогична: за ней стоит математическая модель, называемая языковой моделью, в действии. Другими словами, за ChatGPT стоит математическая модель. Сегодня эта технология эффективна по трем основным причинам:
Во-первых, это требует большого количества вычислений;
Во-вторых, у него большой объем данных;
В-третьих, сегодняшние методы обучения языковых моделей намного лучше, чем раньше. Итак, что такое языковая модель? Или это продукт какой эпохи?
Это технология, разработанная командой под руководством моего наставника Фреда Джелинека в 1972 году. В частности, это была технология, которую он заставил людей разработать в IBM, которая использовалась для измерения вероятности возникновения предложения или языкового явления. Так какой в этом смысл? Первоначально он использовался для распознавания речи, затем для машинного перевода, а затем для компьютерных вопросов и ответов — вопроса-ответа, с которым мы знакомы сегодня.
В то время его можно было использовать в качестве резюме. Например, если есть статья объемом 10 000 слов, как вы можете изложить содержание статьи в десяти предложениях? Для людей, которые занимаются обработкой естественного языка, это математическая проблема. Другими словами, каковы ваши условия? Условие — эти 10 000 слов, а какой потом результат вы хотите получить? В результате может получиться десять предложений или сто слов, комбинаций здесь много. Вы можете выбрать несколько предложений наугад или разделить некоторые предложения на два абзаца и добавить в конце менее важные изменения или описания. Частично удалено . Затем вы также можете объединить два предложения в одно. Когда вы объединяете фрагмент текста, компьютер рассчитает вероятность. Какие предложения с большей вероятностью будут объединены вместе, и он поможет вам объединить их в соответствии с вероятностью.
ChatGPT, который мы видим сегодня, представляет собой большую языковую модель. Он выберет текст с наибольшей вероятностью и наиболее вероятным появлением, чтобы показать вам. Итак, в целом процесс генерации результатов ChatGPT — это процесс, который использует много вычислительных ресурсов. Для поддержки требуется очень большой объем данных, и существует множество графических процессоров (компьютерных процессоров). Без этих вещей невозможно построить ChatGPT.
И сегодняшний ChatGTP — это на самом деле не только технология, но и большое количество рабочей силы. Они также наняли компанию для проверки результатов ChatGPT. Например, ChatGPT сгенерировал сотню тезисов, все из которых были очень хорошими, но я больше не мог их отличить друг от друга.
Фактически вы можете видеть, что за Chat GPT стоит языковая модель, а технология этой языковой модели существует с 1972 года. Сейчас, спустя пятьдесят лет работы в отрасли, люди на самом деле не думают, что это имеет большое значение. До этого эта языковая модель действительно многое делала.
Когда речь идет о языковой модели, этот термин изначально предложил мой наставник Яриник. Он поступил в Университет Джонса Хопкинса примерно в 1993 году, а я поступил в университет в 1996 году и стал его студентом. Итак, китайская версия этого слова, состоящая из четырех слов «языковая модель», как вы видите, была создана мной, когда я опубликовал статью в 1990-х годах. В то время только те из нас, кто был в кругу, знали, что оно способно на многое, но вы и не подумали сказать: «А?» Позже этот вопрос станет предметом жарких дискуссий.
Вы можете понять это так: «языковая модель» для ChatGPT — то же самое, что три закона планет Кеплера для лунных затмений.
Q3：
Какова была ситуация, когда родилась «языковая модель»?
Так какова же была ситуация с языковой моделью на момент ее изобретения?
Фактически, в 1990-е годы модели, полученные с помощью простых статистических методов, уже были очень неточными. Это эквивалентно тому, что, позвольте мне использовать аналогию, вы наблюдаете за планетами, но использовать геоцентрическую теорию Птолемея для их предсказания очень неточно. Поэтому в то время мы начали вводить много информации о грамматике, темах и семантике. Затем эта языковая модель становится очень сложной. Сложность порождает еще одну большую проблему.
в чем проблема?
Например, я сделал очень сложную языковую модель. Сколько параметров имела эта языковая модель на тот момент? 6 миллионов параметров, то есть размер языковой модели этой песни в основном определяется этими параметрами. То, над чем я тогда работал, уже было самой большой и сложной языковой моделью, которую можно было построить на тот момент. На тот момент я использовал не ПК, а 20 суперсерверов, и на обучение такой языковой модели ушло около 3 месяцев. Как видите, сумма расчета очень большая. Итак, какие параметры языковой модели использовались в первой версии ChatGPT? Существует около 200 миллиардов параметров, и вы можете увидеть изменения с годами. Поэтому сегодня многие спрашивают, что ChatGPT появился в США.Когда же китайские исследовательские институты смогут создать ChatGPT? Фактически, большинство исследовательских институтов в Китае не могут этого сделать не из-за уровня исследований, а потому, что Chat GPT потребляет слишком много ресурсов. Сегодняшний ChatGPT может стоить почти 1 миллиард долларов США только за оборудование.Это не включает затраты на электроэнергию, поэтому стоимость и расходы очень велики. Итак, если вы перестанете шутить и спросите, в чем заключается самый большой вклад ChatGPT, я думаю, что он внес большой вклад в глобальное потепление. Итак, что я хочу сказать, так это то, что принцип ChatGPT очень прост, но реализовать его в технике на самом деле довольно сложно.
Q4:
На какие вопросы хорошо отвечают компьютеры?
Примерно в 2010 году, то есть 13 лет назад, какой степени могли достичь языковые модели? Позвольте мне показать вам два примера. Оба эти примера были сделаны до того, как я покинул Google в 2014 году. В то время я отвечал за автоматическую систему вопросов и ответов Google, которая позволяла компьютерам отвечать на вопросы. Однако, поскольку этот продукт на английском языке, он практически не пользуется большой популярностью в китайском мире.
Позвольте мне показать вам вопрос, на который ответил Google: почему небо голубое?
Вы можете взглянуть на это. Ответ таков: Солнечный свет преломляется, когда он достигает Земли через атмосферу. Газы в воздухе рассеивают свет разных цветов в разных местах. Синий свет имеет более короткую длину волны и более высокое преломление. Индекс выше, чем у других цветов. Высокий, поэтому небо выглядит голубым. Это был ответ, сгенерированный компьютерами того времени. Честно говоря, этот ответ лучше, чем мой собственный абзацный ответ, потому что для объяснения этого явления нужно знать много знаний по физике, и предложение кажется вполне разумным. Одна из целей людей, использующих ChatGPT сегодня, — дать ему возможность отвечать на вопросы.
Здесь я разложу это для вас.
Фактически, вопросы, которые мы задаем компьютерам, можно разделить на две категории: первая категория называется простыми вопросами, а вторая категория называется сложными вопросами. Простые вопросы касаются фактов, например, откуда родом определенная звезда и в каком году он родился. Потому что это факт и на него есть однозначный ответ.
Вторая категория — это сложные проблемы, поэтому все считают ChatGPT таким замечательным. Он может интегрировать информацию и ответить, почему небо голубое, как будто у него есть своя логика. Еще вопрос по процессу.Например как испечь торт?Можете пошагово расписать? Сегодня мы спросили ChatGPT, как запекать яйца высоко. Он может подробно описать процесс, сказать, сколько стаканов воды, сколько яиц добавить, сколько муки добавить и т. д. Тогда, основываясь на полученных ответах, вы действительно сможете испечь пирог, и он может оказаться весьма неплохим. Это то, что все считают удивительным.
Но вы должны знать, что компьютеры действительно сделали это в 2014 году, и сделали это очень хорошо. Так что в самой технологии нет особой загадки.
Вопрос 5:
Компьютеры или люди: кто лучше пишет?
Сейчас все горячо говорят о ChatGPT, и еще одна причина в том, что они думают, что он умеет писать. Например, сегодня американцы чаще всего используют ChatGPT для написания рабочей презентации. На этой неделе я сделал 1 234 567 дел, эти семь дел, а? Видите ли, мне не нужно писать это самому: я позволяю ChatGPT сгенерировать его, а затем отредактировать.
Однако писать на компьютере на самом деле сложно или легко.Я могу привести вам пример.
После того, как я ушел из Google в 2014 году, я в то время особо не занимался программированием, но на тот момент у меня все еще были некоторые вычислительные ресурсы, поэтому я писал несколько программ и играл в свободное время. В это время я попросил компьютер написать два стихотворения. Вы можете прочитать эти два стихотворения.
Первое стихотворение - стихотворение из пяти иероглифов. По моим словам, это стихотворение в стиле Ли Бая. Вы можете его прочитать. Это стихотворение написал сам компьютер. На самом деле, если вы прочитаете его, вы обнаружите, что в этом стихотворении есть некоторые характеристики Ли Бая.
Что касается второго стихотворения, то картинку я тоже выложил ниже, можете посмотреть.
Прежде всего потому, что во всех древних стихотворениях пинг и лей имеют одинаковое значение, но наше нынешнее произношение отличалось от произношения того времени, поэтому нас не волнует, соответствуют ли эти пинг и лей древним временам, но мы смотрите только на его содержание и художественную концепцию.По мере чтения он будет казаться очень гладким.
Хорошо, вернемся к этому.
Как вы написали первое стихотворение? На самом деле, нет ничего проще: просто вставить стихи Ли Бая в компьютер. Стихов Ли Бая более 1000, а это всего около 10 000 предложений.Это слишком просто для компьютеров. При написании я разбивал предложения на группы по два или три символа, например, «Кунчжоу» — это группа, а «Вспоминая Чанъань» — группа из трех символов. Затем собирается языковая модель, о которой я только что говорил, и вычисляется вероятность: какая из них имеет наибольшую вероятность? Разобрав его, я обратился к нему с просьбой, сказав, что хочу написать стихотворение о воспоминаниях о Чанъане, и стихи были аранжированы и объединены в «Вспоминая Чанъань». Второе стихотворение немного сложнее.
Но знаете ли вы, сколько времени мне потребовалось, чтобы написать эти две программы? Два дня. Что это означает? Это значит, что вам не очень сложно попросить компьютер написать что-нибудь приличное, это не так загадочно, как вы думаете, или само компьютерное письмо не так загадочно, как вы думаете.
Так почему же эти два стихотворения кажутся такими хорошими? Поскольку это стихотворение Тан, формат поэзии Тан фиксирован. Кроме того, почему полезно использовать ChatGPT для написания еженедельных отчетов? Поскольку формат еженедельного отчета по сути представляет собой список, он также является фиксированным форматом. В том числе, если вы читаете китайскую версию Wall Street Journal, то скажу вам, что 90% контента здесь написано компьютерами, но вы этого не знаете. После написания, конечно, люди должны дать ему тему, затем написать введение к первому абзацу, а затем дать резюме и заголовок. Почему лучше писать финансовые статьи? Поскольку в нем много фактов и фиксированный формат, он делает это очень хорошо.
Я так долго рассказывал об истоках ChatGPT, но на самом деле я просто хочу сказать, что в этом нет ничего загадочного и что за ним стоит не очень сложная машина. С одной стороны, ChatGPT опирается на математическую модель, и эта математическая модель существует с 1972 года, но сегодня его вычислительная мощность очень высока и он полагается на вычисления методом грубой силы. Итак, сколько энергии потребляет обучение ChatGPT? Это может быть 3000 электромобилей Tesla, каждый из которых пробегает 200 000 миль и работает до смерти. Такого большого энергопотребления достаточно, чтобы тренироваться один раз. Это очень дорогая вещь.
Вопрос 6:
Какое влияние оказывает на нас ChatGPT?
Итак, давайте поговорим о том, какое влияние ChatGPT оказывает на людей.
Давайте вернемся к истории: каждая технологическая революция на самом деле оказывает определенное влияние на людей. Однако ChatGPT — это не новая технологическая революция, потому что, как я только что сказал, этот процесс очень долгий. вещь. Самый большой прогресс здесь на самом деле не в самой языковой модели.
Сегодня обучение языковых моделей — это уже не просто статистика. Это одна из причин, почему ChatGP T может давать лучшие результаты. Какое влияние ChatGPT может оказать на людей?
Я не буду отвечать на ваш вопрос напрямую. Позвольте мне сначала спросить вас. Я только что показал вам эти два стихотворения Тан. Вы заметили какие-либо особенности? Между прочим, эти два стихотворения хорошо написаны, но ваше первоначальное представление о династии Тан не будет обновлено из-за этих двух стихотворений. Потому что ChatGPT в каком-то смысле похож на попугая: сначала нужно что-то сказать, а потом оно может последовать. Это может звучать красиво, но это не дает никакой дополнительной информации. 90% контента в Интернете сегодня попадает в эту категорию – он не предоставляет ни новой информации, ни оригинального контента, ни моих собственных идей, это не что иное, как копирование и соединение воедино. В настоящее время я думаю, что 99% содержания коротких видеороликов, таких как Douyin и Kuaishou, попадают в эту категорию и не являются питательными. Возможно, после прочтения вам это покажется интересным, но на самом деле, сколько бы вы ни читали, это на самом деле это не приносит вам никакой пользы. Если ChatGPT действительно кому-то угрожает, я думаю, что он угрожает работе этого типа людей, то есть тех на Douyin, которые снимают короткие видеоролики или публикуют какой-то контент. ChatGPT справится с этим гораздо лучше, чем они. Просто подумайте об этом. Предположим, есть группа людей, которые каждый день перелистывают предложения в трехстах танских стихотворениях, и они также могут сочинять несколько стихотворений. Тогда ChatGPT определенно сможет сочинять их гораздо быстрее, чем люди. Таким образом, эта технология окажет влияние на эту группу людей.
Итак, кого это не затронет? Люди, создавшие контент, не будут затронуты.
Почему я это говорю? Помните вопрос, который я только что сказал: «Почему небо голубое?» Почему Google может ответить на этот вопрос?
Потому что, когда Google отвечал, он, вероятно, анализировал почти все приличные на тот момент предложения на английском языке, а это около 100 миллиардов английских предложений. На самом деле вы найдете этот ответ на веб-сайтах некоторых университетов и на веб-сайте НАСА, но мы собрали его воедино, удалили и удалили, а затем выбрали. Но первые физики провели это исследование и выяснили эту истину.Эта работа имеет смысл и не может быть заменена ChatCPT. Итак, в чем же заключается работа Chat GPT? Например, после того, как Птолемей создал эту модель, в Европе время от времени составляли календарь на несколько десятилетий, а затем отмечали на нем, в какой день будет солнечное затмение, как в этот день будут двигаться планеты и т. д. . . Затем по этим правилам люди печатают много экземпляров этой книги.Этот ЧатGPT эквивалентен многим книгам.Если вы возьмете его и посмотрите позже, вы скажете, ага, лунное затмение произойдет в определенном году, месяце и день, и ответ будет очень ясен. Однако по-настоящему значимой работой, стоящей за этим, является не издание этой книги, а исследование Птолемея. Поэтому я думаю, что с исторической точки зрения ChatGPT на самом деле не является технологической революцией: он затрагивает только ленивых людей, которым лень использовать свой мозг и создавать новые вещи. Тех, кто по-настоящему исследует тайны человеческого знания, никогда не заменят.
Вопрос 7:
Какие новые возможности может предоставить ChatGPT?
Многие спрашивают, какие новые возможности есть у ChatGPT? Честно говоря, у вас нет шансов, потому что это потребляет слишком много ресурсов и вы не можете себе этого позволить. Так кто же может получить выгоду? Это люди, которые продают ресурсы.
Могу провести аналогию, то есть во время золотой лихорадки в Калифорнии многие люди стекались на поиски золота. До сих пор мы до сих пор не знаем, какой золотоискатель действительно заработал деньги, и никто не оставил его имени. . Но кто в конечном итоге зарабатывает деньги? Это продавец воды и продавец джинсов. То же самое относится и к ChatGPT. Если все пойдут мыть золото, вы на самом деле не заработаете никаких денег, но при этом вам все равно придется покупать воду и джинсы.В конце концов, именно эти две группы людей зарабатывают деньги. Levi’s — компания, зародившаяся в то время и производившая джинсы.
Тогда, в конце концов, вы можете заплатить деньги нескольким крупным компаниям, занимающимся облачными вычислениями, что может быть результатом. Хорошо, теперь, когда я закончил говорить об истории ChatGPT, я дам вам краткое изложение.
Во-первых, не бойтесь.
Сегодня многие люди боятся ChatGPT, так же, как коренные жители Ямайки, с которыми столкнулся Колумб, боялись лунного затмения.
Во-вторых, не заставляйте себя искать так называемые возможности.
Я видел, как некоторые студенты спрашивали меня, почему Apple не использует ChatGPT, и я ответил, что это правда! Вот почему Apple — самая богатая компания в мире с самой высокой прибылью и самой большой рыночной капитализацией. В настоящее время многие так называемые компании, занимающиеся искусственным интеллектом такого рода, все еще теряют деньги. Поэтому многие студенты иногда задают слишком необычные вопросы, поэтому я в шутку спрашиваю их: вы погасили ипотеку? Если вы не выплатили долг, просто вернитесь на работу и делайте свою работу хорошо. Это самое значимое дело для всех, и это также верно исторически.
В-третьих, вам придется разглядеть уловки этих так называемых заговорщиков или людей, которые хотят вас отрезать.
То есть, если другой человек притворяется Колумбом и говорит, что он представитель Бога, а затем может молиться Богу, чтобы вышла луна, не верьте этому. Итак, вам нужно понять некоторые научные аспекты ChatGPT. Вам все еще необходимо понять некоторые простейшие принципы, подобные тем, о которых я говорю сегодня.