AIの検査結果は3〜4割外れる｜並列で検査させる理由
ある取引先に出す資料を、送る直前に検査にかけました。
観点を分けて、AIに同時並行で全文を読ませる形です。挙がってきた指摘は61件でした。
そこから1件ずつ、元の資料を開いて確かめていきました。確かめると、24件は誤りではありませんでした。書かれているほうが正しくて、指摘のほうが外していたということです。
残った37件が本物の誤りでした。その中には、そのまま送っていたら事故になっていたものが3件ありました。
数字だけ見れば、この検査は4割外しています。
それでも私は、この形をやめていません。やめない理由と、外すと分かった上でどう工程を組むかを書きます。
4割外すのに、なぜ検査させるのか
理由は単純で、誤検出と見落としでは、後始末の重さが釣り合わないからです。
誤検出があれば、こちらの作業が1件増えます。開いて、読んで、違うと分かって、消す。数分で終わります。手間は増えますが、外には出ません。
見落としは違います。気づかないまま完成し、そのまま封をして、相手の手元で見つかります。こちらは見つかったことすら数日後まで知りません。
同じ「1件」でも、片方は数分、もう片方は取引の信用に触ります。
だから私は、検査を厳しめに振っています。多めに挙げさせて、こちらで落とす。落とす工程さえ持っていれば、多めに出ること自体は損になりません。
観点を分けて同時に読ませると、見落としははっきり減りました。かわりに、誤検出が3〜4割ついてきます。これはセットで来るものだと考えています。片方だけ都合よく減らす方法は、私はまだ見つけていません。
裏取りをしない修正は、正しい箇所を壊す
いちばん危ないのは、挙がった指摘をそのまま反映することです。
指摘の4割が誤検出だということは、一覧をそのまま反映すると、4割は正しい記述に手を入れることになります。
これは「直っていない」より悪いです。何もしなければ正しかった箇所を、こちらから壊しに行くことになります。しかも壊した箇所は、次の検査で「新しい誤り」として挙がってきます。
裏取りしない直し方 ── 指摘の一覧をそのまま渡して、直った状態を受け取る
裏取りする直し方 ── 指摘1件ごとに元の資料の該当箇所を開き、誤りだと確認できたものだけ直す
違いは、直す前に原典を開いているかどうかです。
面倒に見えますが、ほとんどは元の資料を開いて数行読めば決まります。作業を続けられないのは、どこを見ればいいのか書かれていない指摘だけでした。
そして、直すこと自体にも危険があります。これは自分でやってしまったので書いておきます。
本物だと確認できた37件を反映したあと、同じ検査をもう一度かけました。その結果、修正そのものから新しい不整合が十数件生まれていました。日数の書き方が前後で合わなくなったもの、文が途中で壊れたもの、直したついでに「読みやすくしよう」と宣言の文に手を入れて、後ろの表と食い違ったもの。
最後のがいちばんたちが悪いです。表と一致している文を、読みにくいという理由で書き換えると、一致のほうが壊れます。良くしようとして壊した箇所は、悪気がないぶん見つかりません。
だから今は、直したら同じ検査をもう一度かけます。検査は最低2周。修正と再検査で1セットにして、直して終わりにしません。時間を見積もるときも、作る時間と同じだけ、直して検査する時間を取るようにしました。
観点を分けると、重複と穴が減る
同時に検査させるとき、私は「全部チェックして」とは頼まなくなりました。
一括で頼むと、目立つ誤りに全員が集まります。同じ指摘が何度も並び、そのぶん地味な観点は誰も見ていません。件数だけ増えて、抜けは埋まらない。
今は観点を分けて、それぞれに1つずつ渡しています。
検査を分ける4つの観点
① 事実の裏取り ── 元の資料に書いてあることと、今の文章が一致しているか
② 数字の検算 ── 足し算、件数、「◯つあります」と中身の数
③ 表記ゆれ ── 同じものの呼び名、記号、括弧、見出しの深さ
④ 出してはいけない情報 ── 社外に出すとまずい記述が混ざっていないか
分けた瞬間に、同じ指摘の重複が減りました。担当している観点が違うので、同じ場所を見に行かないからです。
もう一つ効いたのは、穴が見えるようになったことです。④の担当が0件を返してきたら、それは「無かった」という報告として扱えます。一括で頼んでいたときは、0件なのか、見ていないだけなのかが区別できませんでした。
②は特に、分けた効果が大きかった観点です。数字は読んでいると自然に飛ばします。書いた本人はなおさら飛ばします。私が出しかけた資料には、内訳の合計が枠を超えているもの、「三つの数が同じです」と宣言しておきながら中身が五つと六つに割れているもの、「一日一回に固定します」と書いた直後に一日に二度動いているものがありました。
読む側は電卓を入れます。宣言と中身は突き合わせるものだと考えたほうがいいです。
判断の要らない検査に、なるべく寄せる
裏取りの手間を減らすには、そもそも外れない検査を増やすのが早い、と気づきました。
検査には2種類あります。
・0か1で決まるもの ── 語があるか無いか、数が合うか合わないか、測った値がいくつか
・判断が要るもの ── 矛盾しているように見える、不自然だ、読みにくい
外れるのは後者だけです。前者は外れません。
だから、機械で決まるものは機械にやらせて、裏取りの対象から外しています。
これを決めたきっかけも失敗でした。ある資料で、自動で流し込むはずの欄が「（記載なし）」という文字のまま印刷されて出ました。抽出する側が見出しの名前の揺れを拾えず、黙って空文字を返していたためです。しかもその欄は、先方が「いちばん見たい」と名指ししていた項目でした。
今は、出す前に決まった語を機械で探して0件を確認します。「（記載なし）」「TODO」「未記載」といった、埋め忘れの跡になる語です。これは判断が入らないので、誤検出も見落としもありません。
同時に、抽出する側の作り方も変えました。見つからなかったときに黙って空を返す作りにしない。候補を全部渡して、1つも拾えなかったらそこで止めて報告させる。静かに空欄が通っていくのがいちばん怖いからです。
自分の結論が、いちばん検査されていない
ここが今回いちばん効いた話です。
納品物を1点ずつ見て、条件を満たしているかを判定する仕事がありました。全部見終わって、指摘する箇所と、これは問題なしとする箇所を仕分けし終わったところで、検証役をもう1つ別に立てて、私の判定そのものを見てもらいました。
私の暫定結論が、3か所ずれていました。
・「この部分は淡い水色だから条件を満たしている」と判定していたが、実際に色を測ると青紫だった
・根拠として挙げた記述が、よく読むと別の対象について書かれたものだった
・「まだ直っていない」と判定した箇所は、直っていないのではなく、前回は正しかった部分まで壊れて戻ってきていた
3つ目は、判定を間違えると次の依頼文まで間違えます。「直っていない」なら「直してください」で足ります。でも実際は後戻りだったので、「作り直しではなく、その部分だけを直してください」まで書かないと、また全部作り直されて、また別のところが壊れます。
私は成果物を検査対象にしていましたが、自分の判定は検査対象に入れていませんでした。検査結果を受け取って、仕分けをして、その仕分けは誰も見ていない。いちばん最後に触る人の判断が、いちばん検査されていない状態でした。
今は、出す直前にもう1つ立てるようにしています。頼み方はこうです。
「私の判定を見てください。判定そのものが正しいか、根拠として挙げている箇所が本当にその根拠になっているかを、原文に当たって確認してください」
成果物ではなく、判断を渡す。これだけで3か所助かりました。
感覚で揉めているものは、たいてい測れる
色の話には続きがあります。
「淡い水色に見える」「いや、もっと紫寄りだ」というやり取りは、言葉で往復しても終わりません。どちらも自分の目には正直だからです。
実際に色を数値で取ったら、5秒で決まりました。色相は225度。水色と呼ばれる範囲から外れて、青紫の領域に入っていました。測る前は「淡い色だから充足」と書きかけていました。
これ以来、感覚で揉めそうなものは、まず測れる形にできないかを考えます。
・色 ── 目で言い合わず、数値を取る
・読みやすさ ── 「見やすく」ではなく、文字の大きさと行間の値で言う
・重さ・長さ ── 「長すぎる」ではなく、文字数とページ数を数える
・速さ ── 「もっさりする」ではなく、秒を測る
測れる形にすれば、AIへの指示もそのまま短くなります。「見やすくして」は解釈が割れますが、「本文の文字を◯以上に」は割れません。感覚の言葉は、検査もできません。
数え方が割れることもあります。同じ書類のページ数を、道具を変えて数えたら別の数字が返ってきたことがありました。65と136です。このときは、どれを正とするかを1つ決めて、それ以外の数字は使わないことにしました。測るなら、測り方も1つに固定する。
検査を頼むときに、私が書いていること
実際の頼み方をそのまま置きます。
「この資料を、次の観点だけで検査してください。他の観点は見なくて構いません。観点は【事実の裏取り】です。指摘は1件ずつ、どこの何行目か、元の資料のどこと食い違っているかを書いてください。判断に迷ったものは、迷ったと書いてください。該当が1件も無い場合は、無いと書いてください。空欄で返さないでください」
入れているのは4つです。
① 観点を1つに絞る ── 混ぜると、目立つものしか見ない
② 場所を書かせる ── 裏取りするとき、探す時間がかかると工程ごと飛ばしたくなる
③ 迷いを迷いのまま出させる ── 断定で返させると、誤検出が本物の顔をして混ざる
④ 0件は0件と言わせる ── 空で返ってくると、見ていないのか無いのかが分からない
③は書き足した効果が大きかったところです。指摘が全部同じ強さで並んでいると、どれから裏取りすべきか分かりません。迷いが書いてあれば、そこから先に開けます。
検査結果は材料であって、判定ではない
まとめると、私が変えたのは考え方ひとつでした。
検査に出して返ってきた一覧は、直す箇所の一覧ではありません。確認する箇所の一覧です。
以前の私は、返ってきた一覧を「答え」として扱っていました。だから全部直そうとして、正しい箇所まで書き換えて、そこから新しい壊れを生んでいました。
今は「疑うべき場所を教えてくれたもの」として扱っています。判定はこちらでします。原典を開いて、読んで、こちらが決める。
この置き方にすると、誤検出が4割あっても困りません。むしろ、多めに挙がってくるほうがありがたい。確認の手間は増えても、確認する場所を教えてもらえているからです。
任せているのは「探すこと」で、「決めること」は渡していません。私の場合、この線を引いてから、検査に出すのが怖くなくなりました。
今日、ひとつだけやるなら
今いちばん外に出すのが不安な資料を1つ選んで、観点を1つだけ決めてAIに読ませてください。今日は「数字の検算」だけで十分です。挙がってきた指摘は、直す前に1件ずつ元の資料を開いて確かめてください。
この記事のような「任せ方の設計」は、公式LINEでも少しずつ配っています。
うまくいった手順と、戻した手順の両方を記録します。
登録した方に、無料の実用PDFをお渡ししています。
この記事を書いた人
AI秘書と仕事を運用しています。
AI秘書のアリアと、製造役のもう1台のAIに、仕事の大半を渡しています。
私がやるのは、最後に決めることと、外に出す言葉を選ぶことです。
目指しているのは、稼ぐことそのものより、日々の面倒な確認や手戻りを減らして、家族と過ごす時間や休む時間を増やすことです。