Twitter (X) は過去 2 年間、激動の日々を送ってきました。昨年、イーロン・マスク氏はこのプラットフォームを440億ドルで購入し、同社の人員配置、コンテンツモデレーション、ビジネスモデル、Webサイト文化を徹底的に見直した。これらの変化は、特定の政策決定というよりは、イーロン・マスク氏のソフトパワーと関係があるのかもしれない。しかし、こうした物議を醸す行動のさなか、Twitter の新機能はすぐに重要になり、政治的立場を超えて人々に愛されているようです、コミュニティ ノートです。
コミュニティ ノートは、事実確認および偽情報対策ツールとして、上記のイーロン マスク氏のツイートのように、ツイートに文脈上のメモを追加することがある事実確認ツールです。当初は Birdwatch と呼ばれ、2021 年 1 月にパイロット プロジェクトとして最初に開始されました。それ以来徐々に拡大しており、最も急速に拡大したのは昨年イーロン・マスク氏がツイッターを買収した時と一致した。コミュニティ ノートは、物議を醸す政治的トピックを扱うツイートなど、最近 Twitter で広く注目を集めているツイートの中に定期的に表示されます。私の意見、そして政治的スペクトルを超えた多くの人々と話した私の結論では、これらのメモは、見た目どおり有益で価値があります。
しかし、私が最も興味を持っているのはコミュニティ ノートです。これは「暗号プロジェクト」ではありませんが、おそらく主流の世界で見た「暗号の価値」に最も近い例です。コミュニティ ノートは、中央で選ばれた一部の専門家によって作成または管理されるのではなく、誰でも作成および投票でき、どのノートが表示されるか表示されないかは、オープンソース アルゴリズムによって完全に決定されます。 Twitter Web サイトには、アルゴリズムがどのように機能するかを説明する詳細かつ包括的なガイドがあり、公開されたメモや投票を含むデータをダウンロードし、アルゴリズムをローカルで実行し、出力が Twitter Web サイトに表示される内容と一致することを確認できます。完璧ではありませんが、非常に物議を醸す状況において信頼できる中立性という理想に驚くほど近づき、同時に非常に役立ちます。
コミュニティ ノートのアルゴリズムはどのように機能しますか?
特定の基準 (基本的に: 6 か月以上アクティブ、ポリシー違反がない、確認済みの携帯電話番号) を満たす Twitter アカウントを持つ人は誰でも、サインアップしてコミュニティ ノートに参加できます。現在、参加者はゆっくりとランダムに受け入れられていますが、最終的には資格のある人なら誰でも参加できるようにする予定です。承認されると、まず既存のノートの評価に参加でき、評価が十分に高くなったら (どの評価がそのノートの最終結果と一致するかを確認することで測定されます)、独自のノートを作成することもできます。
ノートを作成すると、そのノートは他のコミュニティ ノート メンバーによるレビューに基づいてスコアを受け取ります。これらのレビューは、「役に立った」、「やや役に立った」、「役に立たなかった」の 3 つのレベルに沿った投票と考えることができますが、レビューにはアルゴリズムで役割を果たす他のラベルも含まれる場合があります。これらのレビューに基づいて、Notes にはスコアが割り当てられます。ノートのスコアが 0.40 を超える場合、そのノートは表示されますが、それ以外の場合、ノートは表示されません。
このアルゴリズムのユニークな点は、スコアの計算方法です。ユーザー評価の何らかの合計または平均を計算し、それを最終結果として使用するように設計された単純なアルゴリズムとは異なり、コミュニティ ノートの評価アルゴリズムは、ノートの異なる視点を持つ人々から肯定的なレビューを受けたユーザーを明示的に優先しようとします。つまり、通常は評価に同意しない人々が特定のノートに同意した場合、そのノートは高く評価されることになります。
仕組みを詳しく見てみましょう。ユーザーのセットとノートのセットがあり、セル Mij が i 番目のユーザーが j 番目のノートをどのように評価したかを表す行列 M を作成できます。
どのノートについても、ほとんどのユーザーはそのノートを評価していないため、マトリックスのほとんどのエントリはゼロになりますが、それは問題ありません。このアルゴリズムの目標は、ユーザーとメモの 4 列モデルを作成し、各ユーザーに「親しみやすさ」と「極性」と呼ぶ 2 つの統計を割り当て、各メモに「有用性」と呼ぶ 2 つの統計を割り当てることです。 」と「極性」。モデルは、次の式を使用して、これらの値の関数として行列を予測しようとします。
ここでは、バードウォッチの論文で使用されている用語と、数学的概念を介さずに変数の意味をより直観的に理解できるようにするために私自身の用語を提示していることに注意してください。
μ は、ユーザーによって一般的にどの程度高い評価が与えられているかを測定する「国民感情」パラメーターです。
iu はユーザーの「親しみやすさ」、つまりユーザーがどの程度高い評価を与える傾向があるかを表します。
in はノートの「有用性」、つまりノートがどの程度高く評価される可能性があるかを表します。これが私たちが注目する変数です。
fu または fn は、ユーザーまたは Notes の「極性」、つまり、政治的両極端の支配的な軸におけるユーザーの位置です。実際には、負の極性は大まかに「左傾」を意味し、正の極性は「右傾」を意味しますが、極値の軸はユーザーと Notes データの分析によって導き出され、左と右の概念はハードコードされていないことに注意してください。
このアルゴリズムは、かなり基本的な機械学習モデル (標準勾配降下法) を使用して、行列値を予測するための最適な変数値を見つけます。特定のノートに割り当てられた有用性が、そのノートの最終スコアとなります。有用度が +0.4 以上の場合にメモが表示されます。
ここでの賢さの核心は、「極性」はノートの一部のユーザーに好まれ、他のユーザーに嫌われる原因となるノートの特性を吸収するのに対し、「有用性」はノートの特性のみを測定することであり、これらの特性によりノートがすべての人に好かれるようになります。ユーザー。したがって、有用性を選択すると、部族を超えて支持されているノートが特定され、ある部族では応援されているが別の部族では憤慨しているノートが除外されます。
上記はアルゴリズムのコア部分のみを説明しています。実際、それに加えて多くの追加メカニズムが追加されています。幸いなことに、それらは公開ドキュメントに記載されています。これらのメカニズムには次のものが含まれます。
このアルゴリズムは複数回実行され、そのたびにランダムに生成された極端な「偽投票」が投票に追加されます。これは、各ノートのアルゴリズムの実際の出力は値の範囲であり、最終結果はその範囲から取得され、しきい値 0.32 と比較された「より低い信頼度」に依存することを意味します。
多くのユーザー (特に Notes の極性を持つユーザー) がメモを「役に立たない」と評価し、同じ「タグ」 (「議論的または偏った言葉遣い」、「異常なソース」など) を割り当てた場合、「サポート ノート」)評価の理由が判明すると、ノートの公開に必要な有用性のしきい値が 0.4 から 0.5 に増加します (これは小さいように思えるかもしれませんが、実際には非常に重要です)。
メモが受け入れられた場合、その有用性は、メモを受け入れるために必要なしきい値を下回る 0.01 ポイントまで減らされる必要があります。
このアルゴリズムは複数のモデルを使用してより多くの実行を実行し、場合によっては 0.3 から 0.4 の間の生の有用性スコアで Notes を向上させます。
全体として、22 のファイルにまたがる合計 6,282 行のかなり複雑な Python コードが得られます。しかし、それはすべてオープンであり、Notes と採点データをダウンロードして自分で実行して、出力が Twitter で実際に起こっていることと一致するかどうかを確認することができます。
では、これは実際にはどのように見えるのでしょうか?
おそらく、このアルゴリズムと単に人々の投票から平均スコアを取得することとの最大の違いは、私が「極性」値と呼ぶものの概念です。アルゴリズムのドキュメントでは、これら 2 つの項が互いに乗算されるため、f を因数として使用して、これらを fu および fn と呼んでいます。より一般的な用語は、部分的には、fu および fn を多次元にしたいという最終的な要望によるものです。
極性はユーザーとメモに割り当てられます。ユーザー ID と基礎となる Twitter アカウント間のリンクは意図的に秘密にされていますが、Notes は公開されています。実際、少なくとも英語のデータセットでは、アルゴリズムによって生成された極性は左右に非常に密接に相関しています。
以下に、極性が -0.8 付近の Notes の例をいくつか示します。
ここで厳選しているわけではないことに注意してください。これらは実際には、アルゴリズムをローカルで実行するときに生成したscoreed_notes.tsv スプレッドシートの最初の 3 行であり、その極性スコア (スプレッドシートでは coreNoteFactor1 と呼ばれます) は - 0.8 未満です。
さて、ここに約 +0.8 の極性を持つノートがいくつかあります。それらの多くは、ポルトガル語でブラジルの政治について話している人々か、テスラに対する批判に怒って反論しているテスラファンであることが判明したので、少しだけ抜粋して、どちらのカテゴリーにも当てはまらないメモをいくつか見つけてみましょう。
繰り返しますが、「左と右の分割」はアルゴリズムにハードコーディングされているわけではなく、計算によって検出されます。これは、このアルゴリズムを他の文化的文脈に適用すると、主要な政治的分断を自動的に検出し、それらの分断の間に橋を架けることができることを示唆しています。
一方、最大限の利便性を実現するためのメモは次のようになります。今回は、メモが実際に Twitter に表示されているので、スクリーンショットを撮るだけです。
もう一つあります:
2 番目のノートでは、党派性の高い政治的トピックをより直接的に扱っていますが、明確で質が高く、有益なノートであるため、高い評価を得ています。全体として、アルゴリズムは機能しているようで、コードを実行してアルゴリズムの出力を検証することも可能だと思われます。
このアルゴリズムについてどう思いますか?
このアルゴリズムを分析したときに最も印象に残ったのは、その複雑さです。勾配降下法を使用して 5 項のベクトルおよび行列方程式の最適な適合を見つける「学術論文バージョン」があり、次に実際のバージョンがあります。これは、多くの異なる実行と多くの恣意性を伴うアルゴリズムの複雑な一連の実行です。方法の係数です。
学術論文版でも、根底にある複雑さは隠されています。最適化される方程式は負の 4 次です (予測式には 2 次の fu*fn 項があり、コスト関数は誤差の 2 乗を測定するため)。任意の数の変数で 2 次方程式を最適化すると、ほとんどの場合、かなり基本的な線形代数で理解できる一意の解が得られますが、多くの変数で 4 次方程式を最適化すると、通常は多くの解が存在するため、複数回の勾配降下法アルゴリズムが必要になります。答えにたどり着くかもしれない。入力がわずかに変化すると、ディップが 1 つの極小値から別の極小値に反転し、出力結果が大きく変化する可能性があります。
これと、二次融資など、私が開発に協力したアルゴリズムとの違いは、私にとっては、経済学者のアルゴリズムとエンジニアのアルゴリズムの違いのようなものです。経済学者のアルゴリズムは、最良の場合、単純さに焦点を当てており、分析が比較的容易で、明確な数学的特性を備えており、それがタスクを解決するのに最適である (または最も悪くない) ことを示し、理想的にはそれを証明することもできます。誰かがそれを悪用しようとすると、どれだけの損害を与える可能性があるか。一方、エンジニアのアルゴリズムは、エンジニアの動作環境で何が機能し、何が機能しないかを確認するための試行錯誤の反復プロセスを通じて導き出されます。エンジニアのアルゴリズムは実用的で仕事をやり遂げますが、経済学者のアルゴリズムは予期せぬ状況に直面しても制御を完全に失うことはありません。
または、尊敬されるインターネット哲学者 roon (別名 tszzl) が関連スレッドで次のように述べています。
もちろん、仮想通貨の「理論的な美学」の側面は、真にトラストレスなプロトコルと、表面的には良く見えてうまく機能するが、実際には中央集権的なアクターへの信頼を必要とするプロトコルとを正確に区別できるようにするために必要である、と私は言います。さらに悪いことに、完全な詐欺である可能性もあります。
ディープラーニングは通常の状況では効果的ですが、さまざまな敵対的な機械学習攻撃に対して避けられない弱点があります。技術的なトラップと高レベルの抽象化ラダーがうまく機能すれば、これらの攻撃に対抗できます。そこで質問があります。コミュニティ ノート自体を経済アルゴリズムに似たものに変えることはできますか?
これが実際に何を意味するのかを確認するために、私が数年前に同様の目的で設計したアルゴリズムであるペアワイズ有界二次ファンディングを検討してみましょう。
ペアごとに制限された二次資金調達の目的は、「通常の」二次資金調達の抜け穴を埋めることです。これにより、2 人の参加者が互いに共謀した場合でも、偽のプロジェクトに非常に多額の資金を寄付し、資金を返し、多額の資金を受け取ることができます。資本プール全体を使い果たす補助金。ペアごとに制限された二次関数の資金調達では、限られた予算 M をアクターの各ペアに割り当てます。アルゴリズムは、考えられるアクターのすべてのペアを反復処理します。アクター A とアクター B の両方がサポートしているため、アルゴリズムが特定のプロジェクト P に補助金を追加することを決定した場合、この補助金はペア (A、B) に割り当てられた予算から差し引かれます。 ）。したがって、たとえ k 人の参加者が共謀したとしても、メカニズムから盗める量は最大でも k (k-1) M です。
この形式のアルゴリズムは、各ユーザーが少数の投票しか投じないため、コミュニティ ノートのコンテキストではうまく機能しません。平均すると、2 人のユーザーに共通する投票数は 0 であるため、単純に各ペアを個別に調べるだけでは、ユーザー、アルゴリズムはユーザーの極性を理解できません。機械学習モデルの目標は、正確には、この方法では直接分析できない非常にまばらなソース データから行列を「取り込む」ことを試みることです。しかし、このアプローチの課題は、少数の悪い投票に直面して非常に不安定な結果を避けるために余分な努力が必要なことです。
果たしてコミュニティノートは左右に対抗できるのか？
コミュニティ ノート アルゴリズムが実際に極端な状況に耐えられるかどうか、つまり、単純な投票アルゴリズムよりも優れたパフォーマンスを発揮するかどうかを分析できます。この投票アルゴリズムはすでに極端な状況にある程度耐えることができます。いいね 200 件と嫌い 100 件の投稿は、いいね 200 件のみの投稿よりもパフォーマンスが悪くなります。しかし、コミュニティ ノートはさらに優れた機能を備えているでしょうか?
抽象的なアルゴリズムの観点からは、何とも言えません。なぜ、平均評価が高い二極化した投稿は、強い二極性と高い有用性を持たないのでしょうか?これらの票が矛盾している場合、その投稿が多くの票を獲得する原因となった機能を極性が「吸収」するという考え方ですが、実際にそうなるのでしょうか?
これを確認するために、独自の簡略化した実装を 100 ラウンド実行しました。平均的な結果は次のとおりです。
このテストでは、「良い」ノートは同じ政治的所属のユーザーの間で +2 の評価を受け、反対の政治的所属のユーザーの間では +0 の評価を受け、「良いがより極端な」ノートは、同じ政治的所属のユーザーの間で +0 の評価を受けました。反対の派閥のユーザーの間では +4 の評価を受け、反対の派閥のユーザーの間では -2 の評価を受けました。平均点は同じですが、極性が異なります。そして実際、「良い」メモの平均的な有用性は、「良いがより極端な傾向がある」メモよりも高いようです。
「経済学者のアルゴリズム」に近いアルゴリズムを使用すると、アルゴリズムが極端な場合にどのようにペナルティを与えるかについてより明確なストーリーが得られます。
一か八かの状況において、これらすべてがどれほど役立つでしょうか?
特定の状況を見ることで、このことの一部を学ぶことができます。約1か月前、イアン・ブレマー氏は、中国政府関係者に関するツイートに非常に批判的なコミュニティノートが追加されたが、その後ノートは削除されたと苦情を述べた。
これは難しい作業です。最大の不満は、Twitter の極端なインフルエンサーに 20,000 ドルが支払われることかもしれないイーサリアム コミュニティ環境でメカニズムの設計を行うことは別のことです。何百万もの人々に影響を与える政治的および地政学的な問題となると、状況はまったく異なります。そこでは誰もが合理的に最悪の動機を想定することがよくあります。ただし、メカニック デザイナーが世界に大きな影響を与えたい場合は、こうした一か八かの環境と対話することが不可欠です。
Twitterの場合、メモが削除された理由として集中操作を疑う明白な理由があります。イーロン・マスクは中国で多くのビジネス上の利益を持っているため、イーロン・マスクがコミュニティ・メモ・チームにアルゴリズムの出力への干渉を強制した可能性があります。この特定のメモを削除します。
幸いなことに、このアルゴリズムはオープンソースで検証可能であるため、実際に詳しく調べることができます。これをやろう。元ツイートのURLはhttps://twitter.com/MFA_China/status/1676157337109946369です。最後の1676157337109946369という数字がツイートのIDです。ダウンロード可能なデータ内でこの ID を検索し、上記の注記が含まれるスプレッドシート内の特定の行を特定できます。
ここでは、Notes 自体の ID 1676391378815709184 を取得します。次に、アルゴリズムの実行によって生成されたscoreed_notes.tsvファイルとnote_status_history.tsvファイル内でそのIDを検索します。次のような結果が得られました。
最初の出力の 2 列目は、その Notes の電流定格です。 2 番目の出力は、この Notes の履歴を示します。現在のステータスは 7 列目 (NEEDS_MORE_RATINGS) にあり、以前に受け取った NEEDS_MORE_RATINGS ではない最初のステータスは 5 列目 (CURRENTLY_RATED_HELPFUL) にあります。したがって、アルゴリズム自体が最初にメモを表示し、評価がわずかに下がった後に削除したことがわかります。中央の介入は関与していないようです。
投票そのものを見ることで、この問題を別の見方で見ることもできます。 ratings-00000.tsv ファイルをスキャンして、その Notes のすべての評価を分離し、HELPFUL および NOT_HELPFUL と評価されたものがいくつあるかを確認できます。
ただし、タイムスタンプで並べ替えて最初の 50 票を見ると、HELPFUL 票が 40 票、NOT_HELPFUL 票が 9 票あることがわかります。したがって、私たちは同じ結論に達します: Notes の最初の視聴者は Notes をより肯定的に評価しましたが、その後の Notes の視聴者はあまり好意的ではなかったので、その評価は最初は高く、時間の経過とともに低下しました。
残念ながら、Notes のステータスがどのように変更されるかを正確に説明するのは困難です。「以前は 0.40 を超えていたが、現在は 0.40 を下回っているため、削除された」という単純な問題ではありません。代わりに、大量の NOT_HELPFUL 応答によって例外条件の 1 つがトリガーされ、Notes がしきい値を超え続けるために必要な有用性スコアが増加します。
これは、私たちに教訓を与えるもう 1 つの素晴らしい学習機会です。信頼できる中立的なアルゴリズムを真に信頼できるものにするためには、アルゴリズムをシンプルに保つ必要があります。ノートが受け入れられた状態から受け入れられない状態になった場合、その理由を説明する単純かつ明確なストーリーが必要です。
もちろん、この投票を操作するまったく別の方法があります。それは「団結」です。自分が承認しない Notes を見た人は、熱心なコミュニティ (さらに悪いことに、大量の偽アカウント) に NOT_HELPFUL の評価を求めることができます。そうすれば、Notes を「役に立つ」から「非常に」に移行するのにそれほど多くの投票は必要ないかもしれません。このような組織的な攻撃に対するアルゴリズムの脆弱性を適切に軽減するには、さらなる分析と作業が必要です。考えられる改善策としては、ユーザーがどのノートにも投票できないようにする代わりに、「For You」アルゴリズムが推奨する方法でノートを評価者にランダムに割り当て、評価者は割り当てられたノートのみを評価できるようにすることです。
コミュニティノートは「勇気」が足りないのでしょうか?
コミュニティ ノートについて私が目にする主な批判は、基本的には十分な効果が得られないということです。これについて言及している最近の記事を 2 つ見かけました。記事の 1 つを引用すると、次のようになります。
このプログラムには重大な制限があります。それは、コミュニティ ノートを公開するには、政治的スペクトルを超えた人々のコンセンサスによって広く受け入れられる必要があるということです。
「イデオロギー上のコンセンサスが必要だ」と彼は語った。 「つまり、左の人も右の人も、ツイートにメモを添付する必要があることに同意する必要があるということです。」
本質的には、「真実についてのイデオロギーを超えた合意」が必要だが、党派性が高まる環境ではそれを達成するのはほぼ不可能だと同氏は述べた。
難しい質問ですが、最終的には、1 つのツイートに不当な注釈が付けられるよりも、10 件の誤った情報が自由に拡散される方が良いと考える傾向があります。私たちは何年にもわたって事実確認を行ってきましたが、これは勇気のあることであり、「実際、私たちは真実を知っており、一方の側がもう一方の側よりも嘘をついていることが多いことを知っている」という観点からのものです。結果はどうなるでしょうか？
正直に言うと、ファクトチェックの概念に対する不信感はかなり広範囲に広がっています。これは次のような戦略です。批判者は無視し、ファクトチェックの専門家は実際にはどの投票システムよりもよく事実を知っていることを覚えておいて、それを使い続けてください。しかし、このアプローチに全面的に取り組むのは危険に思えます。少なくともある程度はすべての人から尊敬される部族間の組織を構築することには価値があります。ウィリアム・ブラックストーンの格言や法廷と同様に、その敬意を維持するには、積極的にではなく省略によって間違いを犯すシステムが必要であると私は感じています。したがって、少なくとも 1 つの主要な組織がこの異なる道を歩み、稀な部族を超えた敬意を貴重な資源として扱うことには価値があるように私には思えます。
コミュニティ ノートが保守的であってもいいと私が考えるもう 1 つの理由は、すべての誤った情報のツイート、さらにはほとんどの誤った情報のツイートが修正通知を受ける必要があるとは考えていないからです。誤った情報のツイートのうち、文脈や修正を提供する注釈が付与されるのは 1% 未満ですが、コミュニティ ノートは依然として教育ツールとして非常に価値のあるサービスを提供します。目標は、すべてを修正することではなく、複数の視点があること、説得力があり、単独で興味をそそるように見える投稿の一部は実際には完全に間違っていること、基本的なインターネット検索は通常はできることを人々に思い出させることです。それが間違っていることを確認するためです。
コミュニティ ノートは公共の認識論におけるすべての問題を解決する万能薬にはなり得ませんし、またそのつもりもありません。それが解決できない問題が何であれ、それが予測市場のような新しいガジェットであれ、ギャップを埋めることができる分野の専門知識を持つフルタイムの従業員を雇用する確立された組織であれ、他のメカニズムでそれを埋める余地はたくさんあります。
結論は
コミュニティ ノートは、魅力的なソーシャル メディアの実験であるだけでなく、魅力的な新たなタイプのメカニズム設計の一例でもあります。このメカニズムは、極端な点を意識的に特定しようとし、分断を永続させるのではなく、境界線の越えを促進する傾向があります。
私が知っているこのカテゴリの他の 2 つの例は、(i) Gitcoin Grants で使用されるペアごとの二次資金調達メカニズム、および (ii) Polis、クラスタリング アルゴリズムを使用して、コミュニティが人々にまたがる一般的な人気の発言を特定するのに役立つディスカッション ツールです。しばしば異なる意見を持っている人。機構設計のこの分野は貴重であり、この分野での学術研究がさらに増えることを願っています。
コミュニティ ノートによって提供されるアルゴリズムの透明性は、完全に分散型のソーシャル メディアとまったく同じではありません。コミュニティ ノートの仕組みに同意しない場合、別のアルゴリズムで同じコンテンツを表示する方法はありません。しかし、これは今後数年間でハイパースケール アプリケーションが実現するものに最も近いものであり、集中的な操作を防止し、そのような操作を行わないプラットフォームが確実に正当な評価を受けられるようにするという点で、すでに多くの価値を提供していることがわかります。 。
今後 10 年間にコミュニティ ノートや同様の精神を持った多くのアルゴリズムが開発され、成長していくのを見るのを楽しみにしています。