型を与えたら、AI活用の質が下がった｜388名の実験が示す2つの介入の違い

型を与えたら、AI活用の質が下がった｜388名の実験が示す2つの介入の違い

AI活用の研修やガイドラインを設計するとき、多くの組織が自然に選ぶ方針があります。「使い方を手順として定め、全員に同じ手順を守らせる」というやり方です。手順を揃えれば品質もばらつかず、誰が使っても一定の成果が出るはずだ——この発想は、製造業の標準作業手順のように、多くの業務改善の場面で有効に機能してきました。しかし、Fortune 500の小売企業で行われたある実験は、AI活用に関してはこの発想が裏目に出る場合があることを示しています。

30秒で要点

• Fortune 500の小売企業の従業員388名を対象にしたフィールド実験（arXiv:2604.08678、査読前ワーキングペーパー）は、全員が同じAIツールにアクセスできる状態で、AI利用を取り巻く「構造」だけを変えて2種類の介入を比較した
• ペアでの共同AI利用を義務づける構造化プロトコル（行動的スキャフォールディング）は、構造なしの利用に比べて文書品質が低く、産出量も大幅に少なかった
• AIを「思考のパートナー」と捉え直させる研修（認知的スキャフォールディング）は、分布の上位において個人の文書品質を高めた
• 効果量の具体的な数値はAbstractに記載されておらず、この論文は45ページの査読前ワーキングペーパーである

前提整理——この実験は何を比較しているのか

この実験の設計で押さえておくべき前提は、「AIツールそのもの」は条件間で変えていないという点です。著者らは"All participants had access to the same AI tool; we varied only the structure surrounding its use"（全参加者が同一のAIツールにアクセスでき、変えたのは利用を取り巻く構造だけである）と明記しています。つまりこの実験が測っているのは、AIの性能差ではなく、AIの「使わせ方」の設計差が生む結果の違いです。

比較された2つの介入は、性質がまったく異なります。1つ目は行動的スキャフォールディングと呼ばれる、ペア内での共同AI利用を義務づける構造化プロトコルです。これは「何を・どういう手順でやるか」という行動レベルの型を課す介入です。2つ目は認知的スキャフォールディングと呼ばれる、AIを「思考のパートナー」として捉え直させるパートナーシップ研修です。こちらは行動の手順ではなく、AIとの関係そのものの捉え方を変える介入だという違いがあります。

なお、この実験で測定された「文書品質」はLLM（大規模言語モデル）による採点に基づいています。著者ら自身、この採点方法が文書の長さに敏感であるという限界を認めており、品質という指標自体、測定方法に依存する性質を持つ点は押さえておく必要があります。

手順を強制した介入は、なぜ品質を下げたのか

行動的スキャフォールディング条件——ペアでの共同AI利用を義務づける構造化プロトコル——の結果は、直感に反するものでした。論文は"was associated with lower document quality relative to unstructured use and substantially lower document production"（構造なしの利用に比べて文書品質が低く、産出量も大幅に少なかった）と報告しています。「手順を揃えれば品質が安定するはず」という前提のもとで設計されたはずの介入が、品質・産出量の両方を落とすという結果になったわけです。

なぜこうなったのか、その心理的なメカニズムそのものは、この論文のAbstractからは読み取れません。ここから先は、この記事が提示する一つの見方です。手順を義務づけるという設計は、参加者に「その手順を守ること」自体を目的化させてしまう可能性があります。本来AIを使う目的は良い文書を作ることのはずですが、ペアでの共同作業という手順が前面に出ると、意識の一部がその手順の遂行そのものに割かれ、文書の質という本来の目的から注意がそれてしまう——という可能性です。ただしこれは論文が検証した内容ではなく、あくまで結果を眺めたうえでの一つの解釈であることを明記しておきます。

関係を再定義した介入は、なぜ一部で品質を上げたのか

対照的に、認知的スキャフォールディング——AIを「思考のパートナー」として捉え直させる研修——は、"was associated with higher individual document quality at the top of the distribution"（分布の上位において個人の文書品質を高めた）という結果でした。ここで見落としてはならないのが、「分布の上位において」という限定です。参加者全体の品質が一様に底上げされたのではなく、もともと高い成果を出せる層で、さらに品質が伸びたという結果です。

この2つの介入を並べると、浮かび上がる対比があります。行動を縛る手順の強制は品質を下げ、関係の捉え方を変える研修は（一部の層で）品質を上げる。同じ「AIの使い方に介入する」という取り組みでも、何に介入するか——行動そのものか、AIとの関係の捉え方か——によって、結果の向きが変わりうるということです。

もう一つ、この論文が報告している興味深いデータがあります。介入群はセッションを通じて信念のポジティブな変化が大きかったものの、感度分析によれば、これは訓練による真の変化ではなく持ち越し効果（前のセッションの影響が後のセッションに残ること）からの回復を反映している可能性が高いと著者ら自身が述べています。「研修を受けたらAIへの見方が良くなった」という一見ポジティブな結果でさえ、その解釈には慎重さが求められるということです。

なぜ「手順を揃える」が第一の選択肢になりやすいのか

AI活用のガイドラインを設計する立場に立つと、「手順を明文化する」というアプローチは非常に選びやすい選択肢に見えます。手順であれば文書化でき、研修資料に落とし込め、遵守状況もチェックリストで確認できます。一方、「AIとの関係の捉え方を変える」というアプローチは、何をもって達成とするかが曖昧で、設計にも評価にも手間がかかります。実施のしやすさという基準だけで比較すると、手順の強制のほうが圧倒的に選ばれやすいのです。

しかし今回のデータが示しているのは、実施しやすい施策が、必ずしも効果のある施策とは限らないという事実です。むしろこの実験では、実施のハードルが高い「関係の再定義」のほうが、少なくとも一部の層では良い結果につながっています。ガイドライン設計の場面で「とりあえず手順を作る」という選択をする前に、その手順が本当に狙った効果を生むのかを、この実験のような形で確かめる視点を持つ価値があります。

この見極めを飛ばして手順の明文化だけを進めた場合に起こりやすいのが、次のような状態です。ガイドラインは整備され、研修も実施済みという体裁は整っているのに、現場のアウトプットの質は導入前と変わらない、あるいはむしろ落ちている。それにもかかわらず「手順は守られているはずだ」という前提があるため、原因が施策そのものの設計にあるとは疑われず、担当者個人の運用の甘さに原因が求められてしまう——という展開です。今回の実験結果に照らせば、疑うべきは運用の甘さより先に、施策が「行動の強制」と「関係の再定義」のどちらを狙ったものだったか、という設計そのものかもしれません。

確かなことと、まだ確かではないこと

確かなこと: Fortune 500の小売企業の従業員388名を対象にしたフィールド実験（arXiv:2604.08678）で、行動的スキャフォールディング（ペアでの共同AI利用を義務づける構造化プロトコル）は文書品質・産出量の両方を構造なし利用より低下させたこと。認知的スキャフォールディング（AIを思考のパートナーと捉え直させる研修）は、分布の上位に限って個人の文書品質を高めたこと。介入群の信念変化は、感度分析上は持ち越し効果からの回復を反映している可能性が高いと著者ら自身が述べていること。

まだ確かではないこと: それぞれの効果量を示す具体的な数値（%やポイント差）はAbstractに記載がなく、本文PDFは未確認です。なぜ手順の強制が品質を下げ、関係の再定義が品質を上げたのか、その心理的なメカニズムは論文の要旨からは検証されていません。この論文は査読前のワーキングペーパーであり、著者ら自身が午前/午後セッションの交絡、脱落率の差、LLM採点の文書長への感度という3つの限界を明記しています。1社・1業種・388名という対象の範囲を超えた一般化はできません。

自分たちの前提でも試せる、最小の検証

自社のAI活用ガイドラインや研修資料を1つ手に取り、「これは行動の手順を定めたものか、それともAIとの関係の捉え方を変えようとしたものか」を分類してみてください。もしほとんどが前者（行動の手順）に偏っているなら、それは今回の実験でいう行動的スキャフォールディングに近い設計であり、意図せず品質を下げる方向に作用している可能性があります。その場合、手順を増やす前に、AIとの向き合い方そのものを扱う内容が研修に含まれているかを確認する価値があります。

判断に迷ったときに立ち返る問い

AI活用の研修・ガイドラインを設計するとき、「何をさせるか（行動）」だけでなく「どう捉えさせるか（関係）」を区別して設計しているか。 今回の実験が示しているのは、手順を強制する介入と、関係の捉え方を変える介入とが、正反対の結果を生みうるという可能性です。これは1つの査読前研究が示した限定的な知見ですが、「型を与えれば質が上がる」という直感を無条件に信じてよいわけではないことを示す、具体的な反例として押さえておく価値があります。

同じくAI活用の実感と実際の効果のずれを扱った視点は速くなった気がする、を疑うで、AI活用が特定の業務に偏る理由を検証コストから考える視点は生成AI活用が「議事録・メール」に偏るのはなぜかで扱っています。なおFortune 500企業を対象にした別の研究として、チャット型カスタマーサポート従業員5,172人を対象にした生産性データを扱った記事もありますが、これは本記事が扱う小売企業388名のフィールド実験とは対象・出典が異なる、別の研究です。

この記事で扱ったような判断を、自社の状況に照らして整理したい場合は、無料診断ツールで状況を言語化するところから始めることができます。