野蛮な社会から人工知能まで、コンピューター科学者のウー ジュンが ChatGDP の詳細を説明します。
4 月 3 日の夜、コンピューター科学者で自然言語モデルの専門家であるウー ジュン氏がライブ ブロードキャスト ルームに招待され、人工知能や ChatGPT などの現在注目のトピックに関するライブブロードキャストを実施しました。
質問1：
なぜChatGPTの出現はパニックを引き起こすのでしょうか?
ChatGPT は最近中国で非常に人気があり、多くの人がそれについて議論していることを知っています。しかし、非常に興味深いのは、実際には米国ではこの話題について話す人がほとんどいないということです。実際、ChatGPT だけではありません。多くの新しいテクノロジーが登場した 10 年を振り返ると、中国のメディアでの議論が米国よりもはるかに高かったことがわかりました。実際、その技術は主に米国で登場しているが、中国国民の方がより懸念している。それは良いことだと思いますが、悪いことでもあります。
「悪いこと」は、これらのテクノロジーが実際に過剰に宣伝されており、その過程で多くの人がそれから金儲けをしていることです。例えば、ブロックチェーンは当時すごく話題になっていましたが、今ではそれについて議論する人はほとんどいませんよね？これが最初のものです。 2つ目はメタバースです。現在、米国でこれを主張しているのはFacebookだけです。私たちが中国に到着したとき、多くの人が将来、完全な仮想世界に住むようになるかどうかについて議論していました。ついに昨年末から今年初めにかけ、フェイスブックは誰にも聞かれずにこの分野に数百億ドルを投資し、ついに大規模な人員削減に踏み切った。最近、最もホットなトピックの 1 つは、ChatGPT です。興奮している人もいれば、恐れている人もいます。また、中国では依然として、みんなのネギを再び切ろうと、荒れた海で釣りをしている人もたくさんいるようです。
ChatGPT とは何かを説明する前に、歴史的な話をしましょう。この歴史的な話はあなたを笑わせるでしょうが、振り返ってみると、今日、多くの人が同じように行動しています。
1503 年、コロンブスの息子はこの出来事を記録しました。コロンブスは新世界に向けて西に航海しましたが、その結果、航海の途中でジャマイカに到着しましたが、船には食べ物がありませんでした。したがって、コロンブスと乗組員は、地元の人々が食べ物や飲み物を提供してくれることを願うことしかできませんでした。しかし、食料提供の数日後、乗組員は地元住民と衝突し、一部の乗組員が地元住民から物を盗んだため、地元住民は食料供給を遮断した。
この窮地を脱するために、コロンブスは妙案を思いついた。当時、コロンブスは永久カレンダーを持ち歩き、特定の年、月、日に日食、月食、およびこれらすべての情報が起こることをカレンダーにマークしました。コロンブスは当時の地元の部族指導者たちに電話して、もしあなたが私に食べ物を提供してくれなければ、あなたは神を怒らせているでしょう、そして月は赤くなり、そして神が月を取り上げるでしょう、と言いました。もちろん、皆既月食が起こるとき、つまり地球が月を完全に遮っていないとき、月は確かに赤く、これを「ブラッドムーン」と呼ぶことは、基本的に今では誰もが知っています。しかし、当時のジャマイカ人はこのことを知りませんでした。その結果、ジャマイカ人は夜になると月が赤くなり、ゆっくりと少しずつ消えていくことに気づきました。地元住民はパニックに陥り、誰もが神が罰を与えるだろうと言いました。
部族のリーダーは急いでコロンバスに行き、コロンバスの条件をすべて受け入れると約束しました。コロンブスは、「わかった、テントに行って、神があなたを罰しないように神に祈りますが、少し時間が必要です」と言い、それからコロンブスはテントに入っていきました。実際、コロンブスはテントに入った後、砂時計を持って時間を眺めていました。
今日、私たちは天文学の知識を持っており、皆既月食の時刻を確実に知っています。皆既月食はおそらく約 48 分間続き、それまでに月が再び現れるでしょう。しかし、ジャマイカ人たちはそれを知りません。彼らが見たのは、コロンブスがテントから出てきたとき、月が出てきたということでした。するとコロンブスは、「神は私の忠告を聞いて、あなたを許すと約束してくださいました。しかし、あなたは私たちにおいしい食べ物を提供しなければなりません」と言いました。そのため、地元の人々は感謝し、食べ物を提供し続けています。
この話は何を意味するのでしょうか？皆既月食が起こるのには理由がありますが、その理由が分からないときは、この自然現象を神の仕業としか考えられないことがよくあります。そして、この神自身も人間によって創造されました。言い換えれば、人間は自ら神を創造した後、その神の足元に横たわり、その奴隷となるのです。
これが私が「世界文明の歴史」という授業を教えたい理由です。
実は、この文明の発展過程は、人間が常に自然の法則を理解し続ける過程でもあります。私たちはほとんど進歩していないので、神に祈ることで本当に月が消えるのを防ぐことができると盲目的に信じている地元の先住民のようにはなりません。私たちは現在、太陽と月の食の背後に実際に働いているのはケプラーの惑星に関する 3 法則であり、ケプラーの惑星に関する 3 つ法則の背後にはニュートンの万有引力の法則があることがわかっています。この理由を理解すると、人間はもはや自然を恐れるだけではなくなり、自然の法則を利用してさまざまなことができるようになります。
Q2：
ChatGPT の技術的基盤は何ですか?
歴史から現在までを振り返ると、ChatGPT の状況も実は同様です。その背後には言語モデルと呼ばれる数学モデルが働いています。言い換えれば、ChatGPT の背後には数学的モデルがあります。現在、このテクノロジーは次の 3 つの主な理由から強力です。
まず、多くの計算が必要です。
第二に、大量のデータが含まれています。
第三に、言語モデルをトレーニングするための今日の方法は以前よりもはるかに優れています。では、言語モデルとは何でしょうか?それともいつの時代の産物でしょうか？
これは、1972 年に私の指導者であるフレッド ジェリネックが率いるチームによって開発されたテクノロジーです。具体的には、これは彼が IBM で人々を完成させたテクノロジーで、文や言語現象がどの程度発生する可能性を測定するために使用されていました。それで何の役に立つの？最初は音声認識に使用され、後に機械翻訳に、そして今日私たちがよく知っている質問と回答であるコンピューターの質疑応答に使用されました。
その際に、例えば10,000文字の記事があった場合、その記事の内容を10文にまとめるにはどうすればよいでしょうか。この自然言語処理を行う人々にとって、これは数学的な問題です。言い換えれば、あなたの条件は何ですか？条件はこの 10,000 語で、その場合に得たい結果は何ですか?結果は 10 文または 100 単語になる可能性があり、ここではいくつかの文をランダムに選択することも、一部の文を 2 つの段落に分割して、重要度の低い変更や説明を最後に追加することもできます。 。次に、2 つの文を 1 つの文に結合することもできます。テキストを結合するときに、どの文が結合される可能性が高いかをコンピュータが計算し、その確率に基づいてそれらを結合することができます。
今日私たちが目にする ChatGPT は、この大規模な言語モデルであり、最も確率が高く、最も出現する可能性の高いテキストを選択して表示します。したがって、一般に、ChatGPT による結果生成のプロセスは、多くのコンピューティング リソースを使用するプロセスです。サポートするには非常に大量のデータが必要であり、GPU (コンピューター プロセッサー) が多数あります。これらがなければChatGPTは構築できません。
そして今日のChatGTPは、実はテクノロジーだけではなく、その背後には多くのマンパワーも存在しています。彼らはまた、ChatGPT によって生成された結果を監査するために会社を雇いました。たとえば、ChatGPT は 100 個の要約を生成しましたが、それらはすべて非常に優れていますが、それらを区別することができなくなりました。その場合、これらの人々は、どれがより正確であるかを区別するのに役立ちます。
実際、Chat GPT の背後には言語モデルがあり、この言語モデルのテクノロジーは 1972 年から存在していることがわかります。 50 年を経た今、業界では、実際にはそれが大したことではないと考えられています。これに至るまで、この言語モデルは実際に多くのことを行ってきました。
言語モデルに関して言えば、この用語はもともと私の指導者である Jarinick によって提案されました。彼は 1993 年頃にジョンズ・ホプキンス大学に到着し、私は 1996 年に大学に到着して彼の学生になりました。この言葉の中国語版、つまりご覧の 4 つの単語「言語モデル」は、1990 年代に論文を発表したときに私が作成したものです。当時、これでいろいろなことができることはサークルにいる人しか知らなかったのですが、まさか「え？」と言うとは思いませんでした。この問題は後ほど激しく議論されるだろう。
このように理解できます。ChatGPT にとっての「言語モデル」は、月食にとってのケプラーの惑星の 3 法則と同じものです。
Q3：
「言語モデル」はどのような状況で生まれたのでしょうか？
それでは、言語モデルが発明された当時の状況はどうだったのでしょうか?
実際、1990 年代には、単純な統計手法を使用して得られたモデルはすでに非常に不正確でした。これは、たとえて言えば、惑星を観察することに相当しますが、プトレマイオスの天動説を使用して惑星を予測するのは非常に不正確です。したがって、当時、文法、テーマ、意味論に関する多くの情報を導入し始めました。すると、この言語モデルは非常に複雑になります。複雑さは別の大きな問題を引き起こします。
何が問題ですか？
たとえば、非常に複雑な言語モデルを作成しました。そのとき、この言語モデルにはいくつのパラメーターがありましたか? 600万のパラメータ、つまりこの曲の言語モデルのサイズは基本的にこれらのパラメータによって決まります。当時私が取り組んでいたのは、すでにその時点で構築できる最大かつ最も複雑な言語モデルでした。当時は PC ではなく 20 台のスーパーサーバーを使用していましたが、このような言語モデルをトレーニングするのに約 3 か月かかりました。計算量が非常に多いことがわかります。では、ChatGPT の最初のバージョンで使用されていた言語モデル パラメーターは何でしょうか?パラメータは約 2,000 億個あり、経年変化がわかります。したがって、今日多くの人が、ChatGPT が米国で登場したのですが、いつ中国の研究機関が ChatGPT を作成できるようになるのかと尋ねています。実際、中国のほとんどの研究機関は、研究レベルのせいではなく、チャット GPT があまりにも多くのリソースを消費するため、それを行うことができません。現在の ChatGPT にはハードウェアだけで 10 億米ドル近くかかる可能性があり、これには電気代は含まれていないため、コストと支出は非常に膨大です。それで、冗談を終えて、ChatGPT の最大の貢献は何かと尋ねると、それは地球温暖化に大きく貢献したと思います。で、何が言いたいかというと、ChatGPTの原理は非常にシンプルですが、これを工学的に実現するのは実はかなり難しいということです。
Q4:
コンピューターはどのような質問に答えるのが得意ですか?
2010年頃、つまり13年前、言語モデルはどこまで達成できたのでしょうか？ 2 つの例を示しましょう。これらの例はどちらも、私が 2014 年に Google を退職する前に行われたものです。当時、私はコンピューターが質問に答えるグーグルの自動質疑応答システムの責任者でした。ただし、この製品は英語版なので、基本的に中華圏ではあまり顔を出すことはありません。
Google が答えた質問を紹介します。「空はなぜ青いのですか?」
答えは次のとおりです。太陽光は大気中を通って地球に到達するときに屈折し、さまざまな色の光がさまざまな場所に散乱します。他の色よりも指数が高いため、空が青く見えます。これは当時のコンピューターが出した答えです。公平を期すために、この回答は私自身の段落の回答よりも優れています。なぜなら、この現象を説明するには多くの物理学の知識が必要であり、その文は非常に合理的であるように見えるからです。現在 ChatGPT を使用している人の目的の 1 つは、ChatGPT に質問に答えてもらうことです。
ここでは、それを詳しく説明します。
実際、私たちがコンピュータに尋ねる質問は 2 つのカテゴリに分類できます。1 つ目のカテゴリは単純な質問と呼ばれ、2 つ目のカテゴリは複雑な質問と呼ばれます。簡単な質問は、あるスターがどこの出身か、何年に生まれたかなどの事実に関するものです。これらはすべて簡単な質問です。それは事実であり、明確な答えがあるからです。
2 番目のカテゴリは複雑な問題です。これが、ChatGPT が非常に素晴らしいと誰もが考える理由です。それは情報を統合し、あたかも独自のロジックを持っているかのように、空が青い理由を答えることができます。もう一つの質問は、例えばケーキを焼く手順について、段階的に書いてもらえますか？今日、私たちは ChatGPT に卵を高く焼く方法を尋ねました。それは、水のカップ数、卵の数、小麦粉の量などを詳細に教えてくれます。提供される答えに基づいて、実際にケーキを焼くことができます。それはかなり美味しいかもしれません。これは誰もがすごいと思うことです。
しかし、2014 年にコンピューターが実際にこれを実行し、非常にうまくやっていたということを知っておく必要があります。したがって、テクノロジー自体についてはそれほど謎はありません。
質問5:
コンピューターと人間、どちらが文章を書くのが上手ですか?
今、ChatGPT についてみんなが熱く語っていますが、もう 1 つの理由は、ChatGPT は書き込みができると考えられているからです。たとえば、今日アメリカ人が最も ChatGPT を使用しているのは、仕事のプレゼンテーションを作成することです。今週私は 1,234,567 件のことを行いました。この 7 つのこと、ねえ?ご存知のとおり、自分で作成する必要はありません。ChatGPT に生成させてから編集します。
しかし、実際にコンピュータで文章を書くことは難しいか、あるいは簡単か、例を挙げてみましょう。
2014 年に Google を辞めてからは、その時はあまりプログラミングをしていませんでしたが、当時はまだコンピューティング リソースがあったので、暇なときにプログラムを書いて遊んだりしていました。そのとき、私はコンピューターに 2 つの詩を書くように頼みました。この 2 つの詩を読むことができます。
最初の詩は、私の言葉で言えば、李白風の詩です。この詩はコンピューター自体によって書かれました。実際に読んでみると、この詩には李白の特徴がいくつかあることがわかります。
2番目の詩については、下に写真も載せておきますので、ご覧ください。
まず第一に、古代の詩はすべて同じ意味のピンとレイを持っていますが、現在の発音は当時の発音とは異なるため、このピンとレイが古代と一致しているかどうかは気にしませんが、私たちは内容と芸術的概念だけを見て読むと、とてもスムーズに感じるでしょう。
さて、話を戻します。
最初の詩はどうやって作ったのですか？実際、李白の詩をコンピューターに入力するだけなので、これ以上簡単なことはありません。李白の詩は 1,000 以上ありますが、文数はわずか 10,000 です。これはコンピュータにとっては単純すぎます。文章を書くときは、例えば「公朝」は 1 つのグループ、「回想長安」は 3 つの文字のグループに分けます。次に、先ほど話した言語モデルをまとめて、どれが最も確率が高いかを計算します。それを解体した後、「長安を偲ぶ詩を書きたい」とお願いして、それをアレンジして組み合わせたのが『長安を偲ぶ』という作品でした。 2番目の詩はもう少し複雑です。
しかし、これら 2 つのプログラムを書くのにどれくらいの時間がかかったか知っていますか?二日。これは何を示しているのでしょうか?それは、コンピュータにまともな文章を書くことはそれほど難しくない、ということです。あるいは、コンピュータで書くこと自体は、あなたが思っているほど神秘的ではありません。
では、なぜこの 2 つの詩がとても良いと思われるのでしょうか?唐の詩なので、唐の詩の形式は決まっています。同様に、ChatGPT を使用して週次レポートを作成するのが良いのはなぜでしょうか?週報のフォーマットは基本的には一覧表なので、固定フォーマットでもあります。ウォール・ストリート・ジャーナルの中国語版を読んでいるなら、ここにあるコンテンツの90％はコンピュータによって書かれていると言っておきますが、あなたはそれを知りません。書いた後は、当然、テーマを与え、その最初の段落に序文を書き、それから要約とタイトルを付けなければなりません。なぜ金融記事を書く方が良いのでしょうか?多くの事実が含まれており、形式が固定されているため、これが非常にうまく機能します。
ChatGPT の背景について長々と説明してきましたが、実際に言いたいのは、ChatGPT は神秘的なものではなく、その背後にあるそれほど洗練されたマシンではないということです。一方では、ChatGPT は数学モデルに依存しており、この数学モデルは 1972 年から存在していますが、現在ではその計算能力が非常に強力になっており、総当たり計算に依存しています。では、ChatGPT トレーニングはどれくらいの電力を消費するのでしょうか? 3,000 台のテスラ電気自動車が 20 万マイル走行する可能性があり、これほど多くの電力を消費すると、1 回のトレーニングには十分な費用がかかります。
Q6:
ChatGPT は私たちにどのような影響を与えますか?
それでは、ChatGPT が人々にどのような影響を与えるかについて話しましょう。
歴史に戻りましょう。あらゆるテクノロジー革命は実際に人々に何らかの影響を与えます。ただし、ChatGPT は新しい技術革命ではありません。なぜなら、先ほど述べたように、このプロセスは 1970 年代から 1990 年代にかけて非常に長いものであり、1990 年代から現在まで、多くの人が多くのことを行ってきました。もの。ここでの最大の進歩は実際には言語モデル自体ではなく、実際には 2000 年頃に登場した深層学習であり、これにより言語モデルのトレーニングが以前よりも正確になったというだけではありません。
現在、言語モデルのトレーニングは単なる統計ではなくなりました。これが、ChatGP T がより良い結果を生み出すことができる理由の 1 つです。 ChatGPT は人々にどのような影響を与えるのでしょうか?
あなたの質問に直接答えるつもりはありませんが、最初にこの 2 つの唐の詩を紹介しましたが、何か特徴があることに気づきましたか。ところで、この二首の詩はよく書かれていますが、この二首のせいで唐代に対する本来の理解が更新されることはありません。 ChatGPT はある意味オウムに似ているため、最初に何かを言う必要があり、その後に続くことができます。聞こえは良いかもしれませんが、それ以上の情報は得られません。今日のインターネット上のコンテンツの 90% はこのカテゴリに分類されます。これ以上の新しい情報は提供されず、オリジナルのコンテンツでも、私自身の洞察でもありません。コピーしてつなぎ合わせたものにすぎません。現時点では、Douyin や Kuaishou などの短いビデオのコンテンツの 99% はこれに該当し、読んで面白いと感じるかもしれませんが、実際にはどれだけ読んでも栄養価が高くありません。実際には何の役にも立ちません。 ChatGPT が本当に誰かを脅かすのであれば、このタイプの人々、つまり、Douyin で短いビデオを作成したり、何らかのコンテンツを公開したりする人々の仕事が脅かされることになると思います。考えてみてください。毎日 300 首の唐の詩を何度も読み返し、いくつかの詩を作ることができる人々がいるとします。その場合、ChatGPT は間違いなく人間よりもはるかに速く詩を作ることができるでしょう。したがって、このテクノロジーはこのグループの人々に影響を与えるでしょう。
では、誰が影響を受けないのでしょうか？コンテンツを作成した人には影響はありません。
なぜこんなことを言うのでしょうか？先ほど言った「空はなぜ青いのですか?」という質問を思い出してください。なぜ Google はこの質問に答えることができるのでしょうか?
というのは、Google が答えたとき、おそらく当時のまともな英語の文章、つまり約 1,000 億の英語の文章をほぼすべて分析していたからです。実際、いくつかの大学の Web サイトや NASA の Web サイトにこの答えがあることがわかりますが、私たちはそれをつなぎ合わせ、削除し、削除して、それを選び出しました。しかし、初期の物理学者はこの研究を行ってこの真実を解明しました。この研究は意味があり、ChatCPT で置き換えることはできません。では、Chat GPT の仕事はどのようなものでしょうか?たとえば、プトレマイオスがこのモデルを作成した後、ヨーロッパでは時々、数十年間のカレンダーを作成し、日食が起こる日やその日に惑星がどのように動くかなどをそのカレンダーに記入しました。 。そして、これらのルールに従って、この ChatGPT は何冊もの本に相当します。後で見てみると、ああ、特定の年、特定の月に月食が起こると言うでしょう。その答えは非常に明らかです。しかし、その背後にある本当に意味のある仕事は、この本を印刷することではなく、プトレマイオスに関する研究を行うことです。したがって、歴史的に言えば、ChatGPT は実際には技術革命ではなく、頭を使って新しいものを生み出すのが面倒な怠け者だけに影響を与えるのだと思います。人類の知識の謎を真に探求する人は、決して取って代わられることはありません。
Q7:
ChatGPT はどのような新たな機会をもたらすのでしょうか?
ChatGPT にはどのような新しい機会があるのかと多くの人が尋ねます。率直に言って、あまりにも多くのリソースを消費し、余裕がないのでチャンスはありません。それで、誰が利益を得られるのでしょうか？資源を売っている人たちです。
たとえて言えば、カリフォルニアのゴールドラッシュのとき、多くの人が金を掘ろうと群がりましたが、誰が実際に金を稼いだのかは今でもわかっておらず、彼の名前を残している人は誰もいません。 。しかし、最終的にお金を稼ぐのは誰でしょうか？それは水売りとジーンズ売りです。 ChatGPT についても同様です。全員が一緒に金を掘りに行っても、実際にはお金を稼ぐことはできませんが、その過程で水と着るジーンズを買わなければなりませんが、最終的にお金を稼ぐのはこの 2 つのグループです。リーバイスはその時に誕生したジーンズを作る会社でした。
そうなると、最終的には複数の大手クラウドコンピューティング会社にお金を支払うことになるかもしれません。さて、ChatGPT の歴史についての説明は終わりましたので、簡単にまとめておきます。
まず、恐れないでください。
コロンブスが遭遇したジャマイカの先住民が月食を恐れていたように、今日では多くの人が ChatGPT を恐れています。
第二に、いわゆる機会を無理に見つけようとしないでください。
何人かの学生が私になぜ Apple が ChatGPT をやらないのかと尋ねたのを見たので、私はその通りだと答えました。これが、Apple が世界で最も裕福な企業であり、最も高い利益と最大の時価総額を誇る理由です。現在、この種の人工知能を行ういわゆる企業の多くは依然として赤字を出しています。そのため、時々突飛すぎる質問をする学生も多いので、私は冗談めかして「住宅ローンは完済しましたか？」と尋ねます。まだ返済していないのであれば、仕事に戻って仕事をしっかりとこなすことが、誰にとっても最も意味のあることであり、これは歴史的にも当てはまります。
第三に、いわゆる陰謀者やあなたを切り離そうとする人々のトリックを見破らなければなりません。
つまり、もし他の人がコロンブスのふりをして、自分は神の代表者であり、神に祈って月を出してもらうことができると言ったとしても、それを信じてはいけません。したがって、ChatGPT の背後にある科学の一部を理解する必要があります。今日私が話しているような、最も単純な原則のいくつかを理解する必要があります。