AI導入の効果測定

AIが数秒で文章を出しても、そのまま業務が数秒で終わるわけではありません。
材料を整え、出力を確かめ、誤りを直して使える状態にするまでが仕事です。

AI導入の効果測定では、同じ種類の作業について、完成までに人が使った時間と成果物の品質を前後で比べます。
さらに、時間が空いたことと、支払う費用が実際に減ったことを分けて報告します。

この記事では、社内向けの案内文を作る仕事を例に、測定条件・工程別の記録・集計・継続判断までをつなぎます。
表の数値は説明用の架空例です。アセントウェブや顧客の実績、AIの平均的な効果を示すものではありません。

測る仕事と完成条件をそろえる

作業の開始と終了を決める

「事務作業を効率化する」では、比較する範囲が広すぎます。
今回は「確定した案内事項を受け取り、社内向けの案内文を作り、責任者が配信可能と判断するまで」を対象とします。
配信後の問い合わせ対応まで測るなら、その工程も前後の両方に含めます。

開始点は必要な資料が届いた時、終了点は最終確認が終わった時とします。
その間に人が作業した分数と、承認待ちなどを含む経過時間は別々に記録します。二人がそれぞれ10分作業した場合、作業量は合計20人・分です（人数と分数の積）。

対象の選び方から検討する場合は、小規模事業者のAI活用・導入前の5ステップも参考にしてください。
ここでは対象を広げず、一つの仕事の記録に集中します。

合格の基準を先に書く

品質の判定を「読みやすいと思った」だけにすると、担当者によって結果が変わります。
案内文なら、日付、時間、会場、対象者、申込先、問い合わせ先を元資料と照合し、書かれていない内容を補っていないか確かめます。

「日時の誤りは重大な不備」「語尾の調整は軽微な修正」のように、種類も分けます。
修正回数が一回でも、日時の取り違えと句読点の調整を同じ重さで扱わないためです。

NISTのAI RMF Playbook「Measure」も、用途に応じた評価方法や許容する性能範囲を定め、運用前後の性能を記録する考え方を示しています。
以下の記録表は、その公式様式ではなく、案内文の業務に合わせて本記事で作成した例です。

導入前の時間と手戻りを残す

件数と難しさを一緒に記録する

導入前は複雑な案内ばかり、導入後は営業時間の変更だけでは、公平な比較になりません。
元資料の量、条件分岐の有無、確認先の数など、自社で違いを説明できる項目を残しましょう。

件数が少ない場合は、結果を傾向の観察として扱います。
数件を測っただけで「全社員で年間何時間削減できる」と広げず、どの作業・担当・期間に限った数字かを添えます。

記録のために個人情報や文面の全文を一覧へコピーする必要はありません。
記録IDから権限のある保存先を参照する方法にすると、時間と品質の集計に必要な情報へ絞れます。

計測方法を途中で変えない

導入前は担当者の記憶、導入後はタイマー計測という比較では、測り方の差が混ざります。
自己申告で始めるならその前提を記載し、同じ方法で前後を集めます。実測へ変更した場合は、新しい区間として扱います。

過去の記録がないときは「導入前の実測値なし」と残します。
現在の作業をAIなしで試す比較や、条件の近い既存ログの確認はできますが、過去の実測と同じ確かさだとは説明しません。
同じ課題を繰り返すと内容を覚えるため、実施順や練習の影響も記録します。

AI導入後は確認まで測る

生成だけでなく、準備と再作業も含める

AIへの指示を整える時間、入力できない情報を取り除く時間、元資料との照合、作り直しを含めます。
別の担当者に確認が移った場合も、その人の分数を加えてください。

生成中に別の業務へ移れる待ち時間は、人の作業時間と分けます。
一方、画面を見ながら操作や判断を続けていた時間まで、一律に除外するのは適切ではありません。何を作業として数えたかをそろえます。

デジタル庁は、2023年度の生成AI技術検証で、個別の用途を検証した報告書やテストケース例を公開しています。
他組織の結果を自社の削減率として使うのではなく、条件と評価材料を残す際の参考資料として見ると役立ちます。

同じ完成条件で、工程ごとの差を見る

以下は、同じ種類の案内文を前後それぞれ20件処理したと仮定した例です。
すべて人が使った作業時間であり、AIの待機時間や承認待ちの経過時間とは分けています。

作成だけなら180分減っていますが、案件全体では120分の減少です。
一件平均は24分から18分となります。準備・確認・手直しが各20分増えたことも、改善する場所を見つける材料になります。

さらに、この20件を扱った測定期間に、導入後だけ必要になったテンプレート整備・計測作業が30分あったとします。
案件作業360分に30分を加えると390分で、導入前の480分との差は90分です。導入前にも共通作業がある場合は、その時間も同じ範囲で加えて比べます。

運用開始時の研修や初期設定は、一回だけかかる時間として別欄に残しましょう。
それを隠すことも、毎月同じだけ発生する費用として扱うことも避け、今回の集計にどこまで含めたかを書きます。

時間・お金・品質を別々に報告する

空いた時間を、そのまま利益にしない

先ほどの90分を、仮に一時間3,000円という社内の評価単価で換算すると4,500円です。
これは、時間の余力を金額で表現した参考値です。給与や外注費を4,500円支払わずに済んだ、という意味ではありません。

この条件では、実際の残業代や外注費の減少が確認できていなければ、支出削減額は「未確認」と記録します。
ゼロだと確認できた場合と、まだ調べていない場合も分けてください。

社内への報告では、まず「余力90分」「参考換算4,500円」「支出減少は未確認」を横に並べるだけでも、数字の意味が明確になります。
実支出を比較する際は同じ期間・税区分・費用範囲にそろえ、初期費用を含む期間全体の結果と、通常運用の結果を分けます。

品質は件数と不備の内容を添える

架空例で、初回確認で修正が必要だった案件が導入前20件中2件、導入後20件中4件なら、割合は10％と20％です。
最終的に全件が合格しても、最初の出力の手直しは増えています。最終合格だけを報告すると、この負担を見落とします。

ただし、この少数の記録だけで、AIが原因で不備が増えたと断定はできません。
内容の難しさ、担当者の交代、確認基準、依頼の変更を調べ、同じ条件で追加の観察を行います。

重大な不備が一度もなかったことは、今後も起きない証明ではありません。
安全に関する問題は、短縮時間と相殺せず、利用を止めて確認する条件として扱います。

社内報告を一枚にまとめる

報告書には、数字だけでなく次の判断を書きます。
この架空例なら「短縮は見られたが、要修正案件が増えたため、同じ範囲で試行を続ける」とするのが一案です。

利用料等が未記入の段階では、投資を回収できたとは判断しません。
報告書を埋めるために、未確認の実費や成果を推測で補わないことが大切です。

継続・改善・拡大の条件を決める

良い結果だけを取り出さない

AIを使わず処理した例外案件、途中で手作業に戻した案件、失敗してやり直した案件も対象に含めます。
都合の良い成功例だけを集めると、実際の運用負担を説明できません。

一方、全案件のすべての操作を細かく測ると、計測自体に時間がかかります。
測る対象を決めて抽出する場合は、その選び方と漏れる範囲を明記します。最初は工程別の分数・品質・例外理由に絞り、判断に使わない項目は減らしましょう。

変更は一度に増やしすぎない

指示文、元資料、担当者、ツールを同時に変えると、どの変更が効いたか分からなくなります。
今回なら「依頼票に連絡先を必須項目として追加する」など、改善の仮説を一つ決め、同じ完成条件で記録を続けます。

AIの種類や設定、手順を変更した日も残します。
過去の好成績を、新しい仕組みでも同じように再現できる前提にしないためです。

AIの効果測定でよくある質問

短縮した時間は人件費削減になりますか？

必ずしもなりません。
固定給の支払額が同じなら、短縮時間はまず業務に使える余力として考えます。残業代や外注費の支払いが変わった場合は、その記録と理由を確認して別途報告します。

AIの利用回数が増えたら成功ですか？

利用回数だけでは判断できません。
使われているかを調べる手掛かりにはなりますが、完成までの時間、品質、確認者の負担、費用が改善したかと合わせて見ます。

導入前に計測していません。もう評価できませんか？

評価は始められます。
過去の作業ログを確認する、条件をそろえた試行で比較するなどの方法があります。ただし、過去の実測がないことと、記憶・推定を使った範囲を明記します。

何件測れば十分ですか？

一律の件数では決まりません。
作業のばらつき、発生頻度、担当者の数、判断を誤ったときの影響で変わります。この記事の20件は計算のための仮定で、十分な件数を示す基準ではありません。
まず測定範囲を明示し、他の担当や難しい案件へ広げる前に追加で確認します。

まとめ：同じ完成条件で記録をつなぐ

AI導入の効果を説明するには、対象業務と合格基準を決め、準備から確認までの時間をそろえて記録します。
時間が短くなっても、重大な誤りや手戻りが増えていないかを同時に見てください。

報告では、作業の余力、実際の支出、品質を分けます。
架空例のように「今回は90分の余力ができたが、費用削減は未確認」と書けば、次に調べることまで明確になります。

アセントウェブのAI顧問サービスでは、業務の整理やAIの運用を相談できます。
対象作業、今の所要時間、確認する人、使っている資料が分かると、測定と改善の進め方を検討しやすくなります。