Edit check/ja

ウィキメディア財団のプロジェクト群
編集チェック
編集者向けの機能として、編集をしながらウィキペディアの方針に関する実用的なフィードバックを送る。
Category:WMF Projects/ja
グループ: Editing
開始: 2022-10-01
チームのメンバー: David Chan, David Lynch, Esther Akinloose, Marielle Volz, Rummana Yasmeen, Nicolas Ayoub, Benoît Evellin
バックログ: #EditCheck
リーダー: Ed Sanders
管理者: Peter Pelberg （製品部門）, Valerie Puffet-Michel （技術部門）

2024-2025予算年度、当編集機能チームはビジュアル編集の一定の改善作業を進めており、新人ボランティアの皆さんが方針とガイドラインを理解して必ず守り、ウィキメディアのプロジェクト群で建設的な編集に貢献できるように目指しています。

以下の情報ではこのプロジェクトの目標を述べ、それを決めた背景や、ウィキメディア財団の製品部門がこれを優先する根拠をご説明します。

当プロジェクト関連のミーティング予定は 編集機能チーム/コミュニティの会話 をご参照ください。

機能

編集チェックでは複数の機能が使えます。

編集機能チームが取り組む新しいチェック項目：

関連項目：


目的

  1. 編集初学者およびジュニア投稿者で活動地域がアフリカ大陸のサハラ以南地域の人たちは、自分の編集した箇所が経験を積んだボランティアに有益な編集だと認知されたと分かると、（次から）編集に自信が持てるし、変更箇所を安心して保存できるようになります。
  2. ウィキペディアの英語版とフランス語版には新規参加者を見つめるモデレーター（調整役）がいて、その人たちの編集の質が改善したと気づいたとき、編集チェックを使ってウィキペディアの編集方針をどう提示したら良いか、設定するきっかけになっています。

現状

2025 関連の更新情報は下記の一覧のとおりで、当ページに由来します。2025 の更新をご参照ください。 Edit check updates: • •

Paste Check

Diagram outlining the ways people can respond to Paste Check and what will happen as a result.
Proposed Paste Check user experience.

The Team is returning to work on Paste Check. The focus right now is clarifying what actions and instructions Paste Check will present to people.

Seeking feedback: we are particularly interested in learning what adjustments you think would be worthwhile to make to copy within the experience. Please let us know on the talk page.

In March 2025, we began an A/B test that removes the constraint on how many Reference Checks people have the potential to see within a single edit session.

This experiment is now complete and the results from it are now finalized. In short, this change caused statistically significant increases in the proportion of edits that include a reference and are not reverted within 48 hours without causing undesirable changes in edit completion or other forms of disruption (e.g. blocks).

You can review the findings below and see the full analysis report here.

Peacock check becomes Tone Check, model test to start soon

Over time, the scope of the peacock model has grown to the point that the model is now detecting more generic tone issues.

This, combined with how difficult it is likely to be for volunteers to translate "Peacock" into other languages led the Editing and Machine Learning Teams to rename "Peacock Check" to "Tone Check."

We think "Tone Check" will still be specific enough for volunteers to understand its meaning while also being open-ended enough to allow the model to evolve through future trainings.

Tone check will use a model, trained by volunteers. This first test will be conducted for English, Spanish, Portuguese, French and Japanese languages. People are invited to signup at Edit check/Tone Check/model test before May 23rd.

Peacock check model test to start soon

Peacock check will use a model, trained by users. We will soon start reaching at a few communties (listed at T388471) and ask for volunteers to test the model.

We selected the wikis based on several criteria:

  • Technical reasons:
    • Wikis that use the “variants” feature (like Chinese) — because the model has to infer across different language varieties
    • Languages that don’t space-separate words (like Chinese, Japanese) — where the results will be very dependent on the tokenizer
    • Agglutinative languages (like Turkish, Indonesian) — where the model will be very dependent on the tokenizer
    • RTL (like Arabic, Hebrew) — because of potential user experience (UX) issues
  • projects that see relatively high volumes of newcomers, specifically in Sub-Saharan Africa, and
  • projects that have expressed a willingness to experiment with Peacock Check.

A/B Test: Multiple Reference Checks

An analysis of leading indicators for the Multiple Reference Check A/B test is complete and the results are encouraging:

  • New(er) volunteers are encountering Multiple Reference Checks in enough editing sessions to draw statistically significant conclusions from
  • People shown multiple Reference Checks within an edit session are proceeding to publish edits that include ≥1 reference at relatively high rates
  • Showing people multipole Reference Checks within an edit session is not leading to increases in revert rate or blocks

You can review these results in more detail below.

For context, leading indicator analyses of this sort are meant to uncover what – if any – adjustments we will consider prioritizing before evaluating the broader impact of the feature in question.

Peacock Check

Screenshot showing a work in progress design of Peacock Check.
Work in progress design of Peacock Check.

In collaboration with the Machine Learning team, the Editing team has started working on a new check: Peacock check (T368274) This check will detect the usage of puffery terms, and encourage the user to change them.

We are currently gathering on-wiki policies, templates used to tag non-neutral articles, and the terms (jargon) used in edit summaries for 20 wikis.

A/B Test: Multiple Reference Checks

Yesterday (25 March), an A/B test began at 12 Wikipedias that removes the constraint on how many Reference Checks people have the potential to see within a single edit.

Note: at present, a maximum of one Reference Check is shown per edit.

This experiment is an effort to learn: What – if any – changes in edit quality and completion do we observe when people have the potential to see multiple Reference Checks within a single edit?

The findings from this A/B test will be relevant for the near-term future where multiple Edit Checks of the same and/or different types (e.g. Peacock Check, Paste Check, etc.) have the potential to become activated within a single edit session.

Line chart showing daily revert rate for new content edits where Reference Check is shown.
Daily revert rate for new content edits where Reference Check is shown.

Curious to learn if and how the new desktop Edit Check experience might have impacted edit quality, we investigated how the number of reverted edits changed before and after the December 2024 release.

We learned:

  1. The revert rate of new content edits where Reference Check was presented decreased by 15.7% (20.4% pre- to 17.2% post-change).
  2. There was a 8% increase in the proportion of new content edits that included a reference following the change (34.8% pre-change to 37.9% post-change).

See full report for more details

In December, we released a new design for the Edit Check desktop experience.

Last week, we finished an analysis that compared how – if at all – several key metrics shifted before and after this change.

The purpose of this analysis: decide whether there were any changes to the user experience we ought to prioritize making before beginning an A/B test that will evaluate the impact of it being possible for multiple Reference Checks to be shown within a single edit.

You can find a summary of the results below and the full report here.


戦略とアプローチ

編集チームはノウハウとツールを用いて、サハラ以南アフリカ地域の新規参加者とジュニア投稿者（Junior Contributors）を対象に、これらの人々が誇りに思い経験豊富なボランティアが有用と考える改版公開に使えるよう、ビジュアルエディター（デスクトップ版とモバイル版）に新機能を導入して人々が保存しようとする改版を確認し、どんな操作を取れば確立したウィキペディアの方針とガイドラインに沿って実現できそうか提示します。

編集機能チームが導入予定の最初の「チェック」とは人々が既存の記事に新しい 内容を加筆するときに対応する出典を付けていない 場合、付けるように注意喚起します。 その機能性を補完する一連の機能は、これらを使う仲裁者（モデレーター）は新規参入者とジュニア投稿者のUX（ユーザーエクスペリエンス）を構成して、ソフトウェアがこれらの人々をきちんと導いてプロジェクトの方針と慣習に沿った操作をさせているかどうか確認します。

問題点

ウィキペディア編集に不慣れな人々の間でビジュアル編集機能の人気が高まっていることから[1]、経験の浅いボランティアの皆さんがウィキペディアの改版（変更公開）に必須の技能 習得には、編集経験がかなり成功していると考察されます。

問題はビジュアル編集機能でもその他の編集用インターフェースでも、誰もが従うべきなのにウィキペディアの方針とガイドラインを明示していない点にあります。

結果として、経験の浅いボランティアが変更を公開すると、従来の最善手法を破ることが多く、ボランティアは経験が浅くても経験豊富でも、またウィキペディアのプロジェクト全体にとっても望ましくない結果につながりがちです。

  1. 経験の浅いボランティア – ウィキに善意で加えた改版が元に戻されたり（つまり差し戻し）削除および／または精査が不公平だったとき、失望し不満を感じます。 ボランティアやコミュニティの参加者になったかもしれない人たちも、その人たちが独自に提供できたはずの知識までも、こうした手際の悪いやり取りが原因で遠ざけてしまいます。[2]
  2. 経験を積んだ編集者／調整役（Experienced volunteers/moderators） – 低質な編集の差し戻しと経験の浅いボランティアの利用者ページにメッセージを書く作業をもっと重ね、当該の人が無意識で破ったかもしれない方針および／もしくはガイドラインを知らせるべき 経験豊富なボランティアは経験の浅いボランティアを継続して教え導いたり、その人たちの改版を元に戻さなければならないニーズが重なると、経験の浅いボランティアを疑って、イライラしがちになるかもしれません。
  3. ウィキペディアの各プロジェクト – ボランティア人口を増やし多様化させ、ウィキメディアのウィキ内に存在する 知識の格差縮小に苦労しています。

上記の課題について、当プロジェクトは以下のように提示します：

  1. 経験の浅いボランティアの皆さんがビジュアル編集機能を使って、まさに編集中という貴重な瞬間に、ウィキペディアの方針からその人たちに関連性が高くすぐに実行できるフィードバックを提供すること。
  2. 経験の浅いボランティアが編集中に閲覧するフィードバックは仲裁者が指定できるようにすること

変化の理論

当プロジェクトは、経験の短いボランティアの皆さんがウィキペディアに変化をもたらす貴重な瞬間に、関連性のあるガイダンスを示したら実現できるだろうことを信じること（英語版）に根ざしており、ガイダンスどおりに実行するノウハウをその人たちが身につけてくれたなら変革が実現して、その人たちの自信になり、経験を積んだボランティアにも価値を認めてもらえる、そういう信念に基づいています。

より長期には、 編集機能チームは新規参加者は自分が試みようとする変更がウィキペディアの既存の方針やガイドラインおよび/または文化的慣習と一致しているかどうか正確に予測できるなら、特に歴史上、既存の権力構造から除外され害を受けた人たちは安心だと感じてウィキペディアの改版に意欲を持ってもらえるはずと考えます。

より広義には、未来に向かう進化において、これらプロジェクトが奉仕の対象と意図した人々の多様な経験値をウィキの方針と文化的規範に – 究極にはコンテンツに – 反映するには、編集機能チームはまず第一に、現行の規範と基準を編集作業中の人々に読みやすく実行に結びつくようにすることだと考察します。[3] この方法なら、これら規範や基準が意図した効果を発揮していない事例をボランティア同士が共通の認識を育み、それに応じてどのような変更を加える価値があるか - ないか - 決定できます。

第一の観衆

編集機能チームではこの作業の主な対象として、以下の人々のニーズに着目します。

  1. 体験： ウィキペディア投稿入門編を学ぶ
    • 当プロジェクトの範囲では、「入門段階の人」を、言語版1件もしくは複数言語版のウィキペディアで編集回数の累計が100回未満の人と考えています。 これには、生まれて初めてウィキペディアの編集をしてみた人も含まれます。
  2. 場所： 生活の場はアフリカ・サハラ以南
  3. プロジェクト： 投稿先は英語とフランス語ウィキペディア
  4. 動機： ウィキペディアにある落差を埋めたいから

上記の重点基準4件は、次の作業に立脚しました。

  • 新規参加者の半数は、アフリカもしくはアジア在住の可能性が大です。[4]
  • ウィキメディア運動ではヨーロッパや北アメリカの圏外で暮らす編集者集めに苦心[4]
  • サハラ以南アフリカ在住の人々は、ウィキメディア運動できちんと代表されていません。サハラ以南の人々は世界人口の15%、インターネット世界人口の7%を占めているのに、ウィキメディアの個別編集者全体の1%に過ぎないのです。[5]
  • サハラ以南アフリカのアカウント登録済み編集者は、80%がウィキペディアの英語版またはフランス語版に投稿しています。[6]
関連項目: コミュニティとの対話

設計

出典の検出

まず最初に、編集チェック機能の取り組みにおいて編集チームが目指すところとは、偽陽性の疑いを低減すること、プロジェクト単位で[7]に沿って実施することでボランティアを支援、やがては進化によって自己改革[8] をより強固にしていこうとしています。

この戦略を進めると、編集チェックを有効にするタイミングと前提は、以下の条件全てを満たかどうかになります。

  1. 誰かが編集中の記事に、新たに追加された段落が1件以上ある場合
  2. 「新たに追加された段落」には、脚注は含みません
  3. 条件「1.」と「2.」の変更は記事名前空間（メイン空間）のページで実施した場合 (NS:0)

上記の条件は実施と管理を書いたコードはこちら：editcheck/init.js。

当編集機能チームが達した結論とは、手始めに点数を絞り込み複雑ではないルールの組み合わせで開始 してみることにして、次の目的を目指しました。

  1. 編集初学者とジュニア投稿者が編集チェックを使ってガイダンスに気づくこと、編集という体験をもっと広い目で見ることができるようになること、編集ヘックが直感的でわかりやすく、もう一度、編集しようと戻ってくるように導くこと。
  2. 編集チェックが原因で、経験を積んだボランティアの作業を増やしてしまわないように、無用な箇所なのに編集初学者やジュニア投稿者に出典を追加するように促さないこと。

上記の考え方の基礎となった仮定の詳細は、phab:T329988#8654867 をご参照ください。

その他の応用編

関連項目: Edit check/Ideas

設定が可能なこと

当編集機能チームでは調整役の皆さんに設定権限を預かってもらい、編集チェック機能を有効にするタイミングと対象を決めてもらうことを重視しています。この方法でなら、このソフトウェアが調整役の皆さんから見て、生産的と認める動作を促していると確信してもらい、そうでなかった場合にはソフトウェアを改変できます。

上述との整合性を保ち、また編集フィルタ機能やGrowthチームとコミュニティによる設定作業ではボランティアの皆さんがどのようにしてウィキ上でそれぞれの機能の動作確認と構成変更ができたか発想を借りており、編集チェックの場合は、システム導入によりボランティアはプロジェクト単位で、次のことが可能になります。

  • 編集チェックがいつ発動するか決定するロジックを監査および編集し、
  • 編集チェックが表示されている利用者がどんな内容の編集をしているか評価する

これらを実施するため、作業をphab:T327959で進めています。

利用者の体験（UX）

モバイル版

編集チェック機能の初版では、モバイル版 のビジュアル編集機能の公開ワークフローに新しい手順を導入、新しいコンテンツを加筆して出典を添付しなかった場合 に発動させます。

デスクトップ版

デスクトップ版の利用者体験の設計はまだ進行中です。 T329579 を参照してください。

実験

複数チェック（出典）のA/Bテスト

新しいコンテンツ編集は参照を含めてから公開するように、複数チェックは新規利用者に促しながら、ウィキペディア12件でA/B テストを実施し、それら編集の差し戻し率は複数チェックによって低くなったかどうか調べました。

Below you can read more about what this experiment demonstrated, what the Editing Team is planning in response, and more details about the test's design.

結論と次の段階

この棒グラフは参照チェックの表示数と、誰かが出典を追加する可能性を比較
Reference likelihood based on number of Reference Checks shown

Multi-Check caused statistically significant increases in the proportion of edits that include a reference and are not reverted within 48 hours without causing undesirable changes in edit completion or other forms of disruption (e.g. blocks).

対応策として複数チェックは出典チェックが現状で利用できるウィキ全てに2025年6月25日付で展開済みです。

A/B テストで分かったこと

  • Proportion of new content edits with a reference
    • Users are more likely to include at least one reference with their new content edits when multi-check (references) is available.
      • Edits that were shown multiple Reference Checks in a session are 1.3 times more likely to include at least one new reference in the final published edit compared to sessions shown a single Reference Check.
  • 差し戻し率
    • Overall, we did not identify any significant changes in new content edit revert rate between the control and test group.
    • However, there was a -34.7% decrease in revert rate when directly comparing edits presented multiple checks compared to edits presented a single reference check
  • 参照付きの新しいコンテンツ編集を少なくとも1つ公開した利用者の割合
    • 全体として複数チェックが利用可能だったときに参照付きの新しいコンテンツ編集を公開した個別の利用者の割合は 5.5% 増加 しました。
  • ガードレール'
    • 1回の編集に（複数回のチェック編集の大部分を占める）上限5件の編集チェックを提示しても編集完了率には 何らの減少u>も見られませんでした。
    • We also did not identify any increases in revert rate at any number of reference checks presented.

先導指標（T388731）

  • 多重チェックに出会うのは（より活動歴が）短いボランティア
    • 試験グループでは出典の多重チェックが単一の編集回に表示されるのは、アカウント未登録で編集回数が累計100回未満の利用者によってビジュアルエディタを使いコンテンツを新規に編集した保存（549件）の19%に達しました。
    • 多重チェックが表示された場合、出典チェックが2から5件指摘されたのは編集の大部分（73%）。
  • 単一回の編集保存で出典の多重チェックが表示された利用者は、比較的高頻度で次の保存をする傾向
    • 1回の編集で多重チェックが表示された場合、出典チェックが1件だけ表示された場合と比べ、その編集を完了する率は76.1% 対 75% であり、多重チェックは必ずしも編集過程を顕著に阻害しない、もしくは編集者を混乱させないと示唆。
  • 出典を加筆する傾向
    • 1回の編集で多重チェックが表示された場合、最終的に保存した版を調べると出展チェックが1回だけ表示された場合と比べて新しい出典を1点以上、加筆してある傾向が見られる。
    • 試験グループについて、公開済みの全改版のうち出典チェックを1回だけ表示した 39.7% と比べると、出典チェックの表示が複数回で1件以上の新しい出典を示したものは 52.5%。
  • Disruption (revert and block rates)
    • 試験グループについて、コンテンツの新規編集に出典チェックを1回だけ表示したときの差し戻し率（'26%）と比べると、現状、出典チェックの表示が複数回の場合（17%）は下回ります。
    • 出典チェックの表示が1回の場合に対して複数回だった場合、ブロックされた利用者の割合は特に変化なし


複数チェック第1フェーズの影響分析

複数チェック（第1フェーズ）

2024年12月時点でデスクトップ版に対応した編集チェック（Edit Check）の新しい設計を展開しました。 この変更により、編集チェック（Edit Checks）の表示は記事「内部」から「横」に表示するようになって、これを新規に「サイドレール」（siderail）と名付けました。

この変更がボランティアの混乱と編集品質にどのような影響を与えたか – もし影響したとしたら – 判断するため、私たちは変更の前後で複数の主要な指標を比較し変化したかどうか分析しました。

発見

  • 出典チェックを有効にした場所ではコンテンツの新規編集差し戻し率は15.7%減少。
    • 20.4% (事前) →  17.2% (投稿).
  • The proportion of new content edits that included a reference

変更後に出典があるコンテンツ編集の率は 8% 増。

    • 34.8% (事前) → 37.9% (投稿)
  • 差し戻し済みの編集は対象から外すと、編集の保存完了率の増分は3.2% [2パーセントポイント]。
    • 参照チェックを提示した編集の 68% は正常に保存され、編集チェック UX の変更後も率は元に戻りませんでした。
  • 編集チェックに出典の追加を促されたとき、「拒否」した人の割合は 4.7% 減。

結論

上記の調査結果によると、この設計変更はまさに正解だったと示唆されます。 その成果はこの新しい設計パラダイムに今後とも依拠して編集チェックの新タイプの導入を進め、それらが利用可能になると編集ワークフローに新しい瞬間が増えていくと見込んでいます。

出典チェックの A/B テスト

出典編集チェック（Reference Edit Check）は新規参加者の編集が意図した通りであり、なおかつ熟練編集者に肯定されるものになるように役立つかどうか、それが知りたくてウィキペディア15言語版で A/B テストを実施。

以下を参照すると、この実験が試行してみせたことの詳細や、それに関して編集機能チームが計画している対応、テスト設計の詳細も示してあります。

結論と次の段階

参照チェックにより、新規利用者が公開する編集の品質は向上し、重大な混乱発生の原因になりませんでした。

この組み合わせは、有効な出典チェックを既定で提供すると、すべてのウィキとそこで貢献する人々に純粋なプラスの影響を与えるとEditing team に自信を与えました。

A/B テストの報告全文はこちら をご参照ください。

発見したこと

新規利用者もジュニア寄稿者も未登録利用者も出典を足したコンテンツの新規編集の割合は、対象となる編集に参照チェックが表示された場合、 2 倍 増。

新しい内容の編集で典拠が *ある* もの

People shown the Reference Check are 参照チェックを見せられた人は、出典を含めた建設的な（48時間以内に差し戻しを受けない）新しい内容の編集を公開する可能性が 2.2 倍 高くなります。

  • 評価した利用者の全タイプ、ウィキおよびプラットフォーム全体で増加が見られました。
  • 最大の増加が見られたのはモバイル版で、対象となる編集に参照チェックが表示された場合、投稿者が出典付きの建設的な新しい内容を投稿する可能性は 4.2 倍 高くなりました。

差し戻し率

  • 新しい内容編集の差し戻し率は参照チェックが利用できると8.6%増。
    • サハラ以南アフリカの寄稿者による新しい内容編集は、対象となる編集に参照チェックが表示されると、差し戻し率が53% 減ります。
デスクトップ版もモバイル版の両方でしばしば増加が見られました。モバイル版では対象となる編集に参照チェックが表示されると、利用者が新しい内容に出典を追加する可能性が 4.2 倍に増加。

この機能により、出典を含む新しい内容の非建設的な編集が複数、持ち込まれましたが（5 パーセントポイント増）、出典を追加した建設的な新しい内容編集の割合は高くなりました（23.4 パーセントポイント増）。 成果として、新しい内容の編集は全体に増えたと観察しました。

There was a -8.6% decrease in the revert rate of all new content edits 試験グループで参照チェックが表示された編集と、対照グループの対象ではあっても参照チェックが表示されなかった編集を比較すると、新しい内容編集全件の差し戻し率は -8.6% の減少でした。

建設的な保持率

  • Contributors that are shown Reference Check and successfully save a non-reverted edit are

参照チェックが表示され、編集を差し戻されず正常に保存した投稿者は、2ヵ月目（31-60日後）に再度、差し戻しを受けない編集を行う可能性が 16% 増です。

    • この増加の確認は主にデスクトップ編集でした。 モバイル版では統計的に有意な差は観察できませんでした。

ガードレール

編集完了率

  • 保存する意図（参照チェックが表示された場合）から全体またはウィキ別の保存成功までの編集完了率に 劇的な低下は見られなかったと確認しました。
  • 総体として、参照チェックが表示された編集では編集完了率が 10% 減になりました。
    • 編集完了率はデスクトップ版と比べるとモバイル版で大きく減少。デスクトップ版 3.1% 減に対してモバイル版は 24.3% 減。

ブロック率

  • コントロール・グループの利用者と比較すると、参照チェックを見た後で編集を公開してブロックされた利用者の率は 減少もしくは不変 。

偽陰性の割り合い

  • 偽陰性は低率で見られました。テストグループでは公開済みの内容改訂全件のうち、ほんの 1.8% は編集チェックが起動せず新規の典拠追加がありませんでした。

偽陽性

  • 投稿者の 6.6% で引用の追加は却下されており、追加する新しい内容には参照が不要と示されたためです。 これは拒否の選択肢のうち総体的に最も選ばれなかったものです。

設計のテスト

テストに参加したウィキペディア類11件。 いずれのウィキでも、利用者の50%は無作為に test グループに、50%は無作為に control グループに、それぞれ振り分けます。

test グループの利用者は、「参照チェック通知」を見て追加した新しいコンテンツに出典が必要かどうか決めました（もしその利用者が自ら追加していなかた場合）。

controlグループの利用者には新しいコンテンツに出典を追加していなくても、既定の編集体験が表示されます。

時期

この分析は2024年4月16日付で完了、2024年2月18日から同年4月4日の期間に参加ウィ11件の関与データ（エンゲージメント）を対象としました。

影響範囲

編集チェック・プロジェクトの一環として導入した機能の実行可能性は、それがどんな影響を引き起こし回避するかによって異なります。[9]

この節では次の各点を説明します：

  1. 影響の対象は編集チェックが引き起こしたり回避する機能の一部として導入されたもの
  2. データとは[10]を補佐して、固有の機能が特定の影響をどの程度、引き起こした／引き起こしていないか決定するため使うもの
  3. 評価法を採用し必要なデータを収集して特定の機能の波及効果を判断すること
望ましい成果[11]
ID 成果 データ 評価法
1. サハラ以南アフリカにいて編集する新規参入者とジュニア投稿者がメイン名前空間に公開する編集の質を高めること 減少 が見られたのは 新しい内容を加筆した編集と差し戻しのうち投稿後48時間以内もしくは改版リスク値が高い ものの比率

経験を積んだ編集者から寄せられたコメント／報告で編集チェックが活性化する編集の品質に関するもの[12]

 A/B テスト[13]、定性指標によるフィードバック（例＝トークバックの協議、偽陽性の通報）
2. サハラ以南アフリカ（SSA）地域出身の新人編集者やジュニア寄稿者が、新しいコンテンツを追加するときに参考文献を添える可能性を高めること 新しいコンテンツを追加し、しかも 出典を含む編集を公開した割合が増加

SSA の新規参加者またはジュニア貢献者のうち、出典を含む新コンテンツ編集を最低1件以上、公開した人の割合が増えました。

次に誰かが新しいコンテンツを投稿するとき、出典を含める可能性が高まります。

 A/B test[13]
3. サハラ以南アフリカ地域の地域にいて編集する新規参加者とジュニア投稿者の報告によると、ウィキペディアの改版に自信が持てるし安心感がある 新規参加者とジュニア投稿者の立場では、編集チェックが示す対応指示とフィードバックは次のことを伝えるためだと受け止めます：
  1. 役にたつ
  2. 支えになる
  3. やる気が出る
 定性評価の受け皿となるチャンネル：コミュニティの会議、トークページ、イベント主催者その他。
4. 経験を積んだボランティアの皆さんは個別に、編集チェック既定の設定を繰り返し査読して、編集チェックのおかげで編集初心者やジュニア投稿者が生産的な編集を実行できるように見守ります。
5. コンテンツを新しく加筆するなら出典を付ける必要があり、典拠をつけないままだとビジュアル編集機能から加筆を促されるため、新規参加者とジュニア投稿者の間で以前よりもそれらの理解が進みます。 SSA 地域の新規参加者やジュニア投稿者で出典を含む新規記事を1件以上、公開した人の割合を増やします。 A/B test[13]
リスク（望ましくない結果）[14]
ID 成果 データ類 評価法
1. 編集の質は低下 新しい内容を加筆した編集であり48時間以内に差し戻された率の増加、あるいは 改版リスク率（revision risk score）が高率

経験豊富なボランティアから寄せられた編集チェックの質に関するコメント/レポート類[12]

 A/B テスト[13]と、定性評価およびフィードバック
2. 信頼性の低い典拠の識別は難しいため編集の巡回は困難になった コンテンツに出典を加えた新しい編集では新規参加者および腕を上げようとするボランティアの割合が大幅増

編集チェックが起動した編集の質について、経験を積んだボランティアけら寄せられたコメント／レポート類[12]

 A/B テスト[13]と、定性評価およびフィードバック
3. 編集完了率は激減 編集を始めて（event.action = init）きちんと公開した率（event.action = saveSuccess） 。 A/B test[13]
4. 編集の中断率は大幅増 編集チェックのフィードバックを見て編集を中断した投稿者の割合（表示はevent.action = abortとevent.abort_type = abandon） A/B test[13]
5. ブロックの増加 編集チェックを表示されていたのに編集を公開したらブロックされた投稿者の割合は、編集チェックが「表示されなかった」編集よりも大幅に高い A/B test[13]
6. 偽陽性もしくは偽陰性が高率 内容の新しい編集だが出典をつけずに公開したもので、編集チェックが非表示だった率（偽陰性の指標）

出典追加をやめた投稿者であり理由として変更点には引用無用だと示す「I didn't add new information」（情報の追加をしない）その他の指標を選んだ率

 A/B テスト[13]は編集チェック機能の現状の設定をめぐり、ボランティアの皆さんから利便性と正確性について受けた質的なフィードバック[15]
7. 編集チェックは情報源密着型のため分析に向かない 時間が経っても効率性は 高まるものではなく、 新しく編集チェックに取り組むたび、一番最初に済ませたときと「価値」は同じ 編集機能チームによる定性分析

展開の手順

実装の状況#実装の手順をご参照ください。

背景

ウィキメディア運動の各所で活動するボランティアの皆さんは、長い間、次の作業に骨を折ってこられました。

  • 積極的に編集初学者を教え、ウィキペディアを改善する変更を指導し、本人にとってやりがいのある変更になるようにすること
  • 予防として利用者が破壊的な変更を後悔しないようにすること、それに加えて
  • 対応および仲裁としてウィキペディアの記事の変更点に介入すること。

いくつかの先行例から当編集機能チームならびにこのプロジェクトはインスピレーションを得ており、その一部を以下に述べます。 まだ当チームが知らないプロジェクトもしくは情報源がありましたら、 ここに追加してください。

イニシアティブ 説明 導入の要素
Wikimedia-l: Mopping with the tap open A discussion wherein Romaine describes a pattern of people who are new adding information to Wikipedia without citing source(s). nl:Gebruiker:Romaine
モデル名： meta:Eno-Prompt オープンソース LLM（大規模言語モデル）を微調整してトレーニングし、言語分析を基盤に偽情報を検出するプロジェクト。
論文名： 誤情報対策のダイナミクス：2024年アメリカ合衆国大統領選挙中の、ウィキペディア編集コミュニティの実情 ウィキペディアはもっと誤情報を寄せ付けない媒体にしてほしい。 編集チェック機能に関連のある推奨事項も対象。
要望：編集通知をポップアップ表示させたい ボランティアが（英語版ウィキペディアのインド＝パキスタン情勢関連で） 論争の的となっているトピックを扱った記事を変更しそうな場合に、リスクがあると知らせたい。 User:Theleekycauldron
Corrector ortográfico, Helferlein/Rechtschreibprüfung, ויקיפדיה:סקריפטים/בודק איות, Revisor_ortográfico 一般によくある綴りの間違いをリスト化したツールで、ブラウザに記事を読み込んだ時に照合してほしい。 Poco_a_poco, Benutzer:APPER, :משתמש:ערן, Elisardojm
Error Finder ペルシャ語の文章でよくあるエラーを検出するツール Reza1615
要望：大量のコンテンツがコピペされた場合に、警告する機能 要望リストに提出された案件の一つでは、ウィキペディアに文章をコピペする人々に警告する機能がほしい、またコピペが発生した編集には巡回担当者に知らせるために注釈を付けて、査読対象の記事探しでヒットさせたり、実際に査読をするときにコピペ検出に考慮してもらいたいという。 Matěj_Suchánek
fr:Projet:Articles sans sources (その他のウィキプロジェクト3件とともに) 出典の追加が求められた記事に、それらを補うウィキプロジェクト
CopyPatrol ウィキペディアの最近の編集から著作権違反のフラグが立った編集を表示するツール コミュニティ技術チーム
論文：テキストの主観的バイアスを自動的に中和するには 偏った視点で書かれた不適切な文章を自動処理して中立的な表現に変える方法（偏向した文を「中立化」） Reid Pryzant, Richard Diehl Martinez, Nathan Dass, Sadao Kurohashi, Dan Jurafsky, Diyi Yang
Wikipedia:Citation watchlist このユーザスクリプトは、信頼性の低い出典が最近の編集とウォッチリストの項目に追加されると、視覚的な目印を追加。 Harej, Ocaasi
インターネット・アーカイブ（Internet Archive）が提供する出典検索機能 ウィキペディアの記事に含まれる出典をさまざまな基準で探る
WikiScore 編集の検証と、ウィキコンテスト参加者のスコアを計数するため作成したツール。
Earwig's Copyvio Detector このツールは記事にある著作権侵害の検出を試みます。 The Earwig
CiteUnseen このユーザスクリプトはウィキペディアの出典にカテゴリアイコンを付け、読者にも編集者にもサッと典拠の評価できるようにします。 SuperHamster
Credibility bot ウィキペディアの記事をモニターして典拠の使い方のデータを収集 Harej
Salebot (ウィキペディアフランス語版) 荒らし行為対策ボットは regex を使って問題点を識別。
Edit intros (ウィキペディア英語版) 対象ページがCategory:存命人物もしくはCategory:Possibly living people（存命中と思われる人物）に分類されている場合は、編集中に自動でメッセージを表示します。
ビジュアルエディタ機能で編集の通知をもっと目立つように表示 編集作業中の人を対象に現状では 編集の通知機能でお知らせしている内容を表示し、その情報を「自分のものにする」ように働きかけるには？（内省化） User:Stjn
インターネット・アーカイブが提供する出典検索機能 情報源の品質を自動検出 Ocaasi
要望：新規記事の作成時に、出典の提示を要件とすること 脚注がない新規の記事が必要 User:Mega809
編集の通知 編集画面の上部に、ボランティア個人ごと、プロジェクトごとに特性の通知を表示でき、ページや名前空間その他の状況ごとに調整可能。
ページ通知
メンテナンス用テンプレート
Extension:AbuseFilter 権限を預かる利用者は、引き金となる他の利用者による操作、例えば編集などの条件に一致すると、特定の対処操作を設定できるようにします。
Extension:Disambiguator 曖昧さ回避ページへのリンクを追加した利用者が2006年版/2010年版のウィキ文 編集機能を使っていたら、画面に通知を表示。 Community Tech
ORES Halfak (WMF)
おすすめ編集機能
CiteHighlighter 情報源 1800 件をそれぞれの信頼性の評価にしたがい、緑色、黄色、オレンジ色、赤のどれかで強調表示。 Novem Linguae
Checkwiki ウィキペディアのソースコードに照らし、構文その他のエラーのクリーンアップを補佐 Stefan Kühn, Bgwhite
編集の差分をタグ付け ウィキペディアの該当する編集の差分を対象に、自動的に評価できるさまざまなタグを並べる （通常は基本的なヒューリスティクスを援用） Isaac (WMF)
CivilityCheck ウィキコミュニティ内の虐待問題の対処と編集者の減少防止を目指すプロジェクトとして、ウィキペディアの議論ページのコメントを対象に礼儀の良・不良を評価。 Deus Nsenga, Baelul Haile, David Ihim, and Elan Houticolo-Retzler
BOTutor botを運用して投稿しようとする人にメッセージを発信、その編集は既存のルール類に違反すると知らせる ValeJappo
Gadget-autocomplete.js ערן
Text reactions ひとつの提案 として、 利用者が編集欄に記入した内容に編集インタフェースが対応 できるようにすること SD0001
Editwizard 編集初学者がウィキペディアの記事に加筆しようとするとき、加筆の内容に出典を書く手順をステップ単位で指導 Ankit18gupta, Enterprisey, Firefly, and SD0001
Headbomb/unreliable "スクリプトはリンクの信頼性の〈深刻度〉に応じて、さまざまな情報源ごとに分類。 一般論としてはこのスクリプトをWP:RSPSOURCESに適合させ、多少の誤差はあるにせよ{{Predatory open access source list}}やWP:NPPSG、WP:SPSLIST（全面運用は準備中）や WP:CITEWATCHどの整合性を図ります。" Headbomb, SD0001
The Wikipedia Adventure Extension:GuidedTour 技術に基づくゲームでは、信頼できる典拠や中立的な視点のルールと、ウィキ文編集のマークアップの基本操作を教習。 効果的であることの調査はm:Research:Impact of The Wikipedia Adventure on new editor retention（新人編集者の定着率とウィキペディア探検の影響）で説明しています。 Ocaasi
w:Help:Introduction 英語版ウィキペディアの場合、編集初学者対象のチュートリアルとは方針を覚えること、ビジュアルエディタとウィキ文の両方で技術的な研修が占めています。 直近の改訂は2020年後半で、管理はTWA（Trusted Web Activities）の方が実際に進んでいます。 Sdkb, Evolution and evolvability, and others
User:Phlsph7/
HighlightUnreferencedPassages		 この利用者スクリプトは出典がない文に赤帯を敷いて、強調表示します。 主眼は記事名前空間と下書き空間を対象に、文中で出典のない文や文章、節が簡単に見つかること Phlsph7
Wish: Add notice to the visual editor that unsourced edits may be reverted ビジュアルエディタの利用者に「変更を保存」のダイアログで出典のない編集は削除されると知らせる User:Lectrician1
Wish: Warn when adding a url reference that matches the SpamBlacklist 典拠としてURLを加筆したとき、それがブラックリスト SpamBlacklist に登録済みの場合に警告（して除去？）、ページ保存の時に同じ警告が表示されないようにする。 User:DSan
Edit FIler #686 この編集フィルタが発動するタイミングとは、編集初学者が存命の人物の伝記ページ（BLP）に出典のない記述を加えたとき。 User:Rich Farmbrough
WikiLearn 研修用のプラットフォーム
DannyS712/copyvio-check.js 新規立項したページのバックグラウンドで著作権違反の割合を検証してレポートを作成、その情報を同レポートへのリンク付きで、ページ検証ツールバーの「情報」パネルに表示する。 DannyS712
XLinkBot ボットの作業として、外部リンクを追加した編集に、そのサイトはこれこれの理由で適切ではないと警告する。 Versageek, Beetstra

関連項目

脚注

  1. ↑ Superset: Wikipedia edits by interface and experience level
  2. ↑ Growth Team: IP editing Research Report
  3. ↑ The Tyranny of Structurelessness
  4. 1 2 コミュニティの洞察2021年報告書
  5. ↑ 四半期単位の地域学習セッション（2022年6月、Google文書形式）
  6. ↑ Superset
  7. ↑ T327959
  8. ↑ T324730
  9. ↑ この文脈における「実行可能性」とは、あらゆるプロジェクトへの拡張に適した機能のうち、ウィキとそれらを構築および維持するボランティアにどの程度のプラスの影響を与えるか証明済みのものです。
  10. ↑ 「ヘルプ」の強調とは、すべての決定がさまざまなデータにどのように依拠するか示し、情報に基づいた決定を下すにはそれらのすべてに重み付けして考慮する必要があると伝えること。
  11. ↑ T325838 - 編集チェックの計測案を完成
  12. 1 2 3 どのプロジェクトでも編集チェックが利用可能なら、編集を公開する過程で利用者に参照チェックを表示した編集かどうか、ボランティアの皆さんは editcheck-reference-activated タグを使って評価できます。 編集チェックのタグの詳細はこちら。
  13. 1 2 3 4 5 6 7 8 9 $1
  14. ↑ T325851 - 編集チェックの終了前評価を実施（pre-mortem）
  15. ↑ 従来のフィードバック用チャンネル（Phabricator、トークページ他）に加えて、編集チェックに対するフィードバック共有の方法を次のように最低2件、追加します。 A）編集チェックをそこに表示するべきでない と考える編集の報告、 B）編集をしていたら編集チェックが不要な時に表示され、脚注の追加を中断した事例の指摘。
Category:WMF Projects/ja