「できました」を、そのまま受け取らない｜AIの成果物を受け取るときの品質チェック3工程
自分の紹介ページを作り直して、公開しました。
AI秘書からは「直りました」と上がってきていました。根拠は2つ。ページが正しく返ってきていること。
中身の要素が想定どおりの数だけ入っていること。数字はすべて一致。そこで私は、完了と判断しました。
私がそのURLを自分で開いたのは、完了にしたあとでした。何も見えていませんでした。
画面は真っ白。ただ、要素は全部そこにあり、数も合っています。表示される直前の状態で全部止まっていて、
一つも画面に出てきていなかった。受け取った私も、上げてきた側も、一度もそのページを目で見ていませんでした。
同じ週に、ある取引先へ出す資料でも似たことをやりました。
上がってきた原稿は、見出しが揃っていて、分量もあり、日本語もなめらかです。「これは出せる」と思いました。
出す直前に総点検をかけると、確定した誤りが37件。そのうち3件は、出していたら信用に直接傷がつく種類のものでした。
この二つで学んだのは、ひとつだけです。
「できました」は、完成の報告ではなく、品質チェックの開始の合図です。
整っている成果物ほど、そのまま出したくなる
厄介なのは、AIの成果物が「雑に見えない」ことです。
手作業で急いで作ったものなら、書式が乱れていたり、途中で息切れしていたりして、こちらの警戒心が自然に立ちます。
AIが作ったものは、最初から最後まで同じ丁寧さで揃っています。分量もあります。
だから読む前から「ちゃんとしている」と感じてしまい、疑う姿勢が立ち上がらない。
このときの事故も「良さそうだったから」起きています。中身が悪かったからではありません。
悪い成果物は止められます。それらしい成果物が、止められないのです。
危ない受け取り方 ── 「できました」を読んで、良さそうなので出す
安全な受け取り方 ── 「壊れているとしたら、どこが壊れているか」を先に決めてから読む
この差は気合いの差ではなく、順番の差です。読んでから判断すると、成果物の見た目に判断が引っ張られます。読む前に見る場所を決めておくと、引っ張られません。
品質チェックを「工程」にする
私は品質チェックを、その日の気分でやる作業から、決まった順番の工程に変えました。3つです。
受け取った成果物を疑う順番
① 観点を分けて見る ── 事実／数字／表記／出してはいけない情報を、別々に通す
② 指摘を原典で裏取りする ── 挙がった指摘の何割かは、そもそも間違っている
③ 直したら、もう一周かける ── 修正そのものが、新しい破損を生む
上から順にやります。①を飛ばすと見落とし、②を飛ばすと直さなくていいものを直して壊し、③を飛ばすと直した箇所の隣が壊れたまま出ていきます。
工程① 観点を4つに分けて、別々に通す
「全体をよく見る」は、品質チェックの指示になりません。人もAIも、一度に複数の種類の間違いは拾えません。
私は4つに分けて、それぞれ独立に全文を通します。
・事実の裏取り ── 書いてある事実が、元の資料に本当に書いてあるか。相手が言っていないことを、相手の発言として書いていないか
・数字の検算 ── 足したら合うか。冒頭で宣言した数と、中身の実際の数が一致しているか
・表記ゆれ ── 同じものが違う呼び方をされていないか。書式・括弧・見出しの階層が揃っているか
・出してはいけない情報 ── 社外に出せない記述が混ざっていないか。空欄や仮置きが残っていないか
分けると何が起きるか。実例を出します。
事実の裏取りで見つかったもの。 資料の中に「二つの意見が食い違いました」という一文がありました。
相手は、そんな対立を一度も口にしていません。候補を並べただけです。
原因は、複数のAIに分担して書かせたことでした。AI同士の内部の議論が、相手の発言として混ざったのです。
これは読み返しても違和感が出ません。文章として自然だからです。原典を開いて突き合わせる以外に、見つける方法がありませんでした。
数字の検算で見つかったもの。 ページの配分を足したら42になっていました。枠は36から40です。
「一日に一度だけ」と決めた条件が、本文の中では初日に二度破られていました。
「三つの数が同じです」と宣言しておいて、後半では五つと六つになっていました。
受け取る相手は、電卓を入れます。宣言した数と実際の数の突き合わせは、AIがいちばん静かに外すところです。
表記ゆれで見つかったもの。 同じ版を指す言葉が「旧稿／前稿／現行版／前回ご提出した版」など6通りに散らかっていました。
さらに悪いことに、そのうちの何度かは、相手が一度も受け取っていない中間の版を「前回」と呼んでいました。
相手からは、見たことのない資料を前提に説明されている状態になります。
AIは自分たちが作った途中の成果物を、当然のように共有された前提として扱います。ここは指示で潰すしかありません。
渡すときに「相手が持っているのはどの版か」を一行書いておくだけで、ほとんど消えます。
出してはいけない情報で見つかったもの。 自動で抜き出す処理が空を返して、「（記載なし）」という文字が本文にそのまま印刷されていました。
しかもそれは、相手がいちばん見たいと言っていた項目の欄でした。
原因は、見出しの呼び名が資料ごとに揺れていて、抜き出す処理が該当箇所を拾えなかったことです。黙って空を返す作りになっていたのが本体の問題でした。
ここから作った私の運用ルールが二つあります。
ひとつ、抜き出す処理は、拾えなかったら止める。空のまま先へ進ませない。
ふたつ、出す前に「（記載なし）」「TODO」「未記載」「N/A」を機械で検索して、0件を確認する。ひとつでもあれば出さない。
工程② 挙がった指摘を、1件ずつ元の資料で裏取りする
品質チェックを回すと、指摘がたくさん出ます。ここで全部そのまま直すと、事故ります。
私の場合、61件挙がって、そのうち24件は誤検出でした。4割近くが「間違っていない箇所を、間違っていると言われた」ものです。
これを確認せずに直すと、正しかった記述を壊すことになります。
だから、挙がった指摘は1件ずつ元の資料を開いて確認します。面倒です。でもここを飛ばした修正は、修正ではなく改悪です。
もうひとつ、この工程で自分に禁じていることがあります。「ついでに良くしよう」としないこと。
読みにくい一文を見つけても、それが他の箇所と一致しているなら、そのままが正解です。
私は一度、読みやすくしようとして宣言の一文を書き換え、その後の記述が全部成立しなくなりました。
品質チェックは、直す工程ではありません。合っているかどうかだけを見る工程です。
工程③ 直したら、もう一度同じ検査をかける
これがいちばん高くつきました。
1回目の検査で37件。指摘を反映して直したら、その修正から新しい不整合が十数件生まれました。
どれも、直す前には存在しなかった不良です。指摘を見落としたのではなく、指摘に手を入れた側から生えてきました。
だから私は、修正と再検査を1セットで組むようにしました。「修正」という工程の直後に、同じ内容の「再検査」を必ず置きます。
分けて置くのが大事です。頭の中で「直したついでに見た」は、見たことになりません。
そしてこれは、時間の見積もりの話でもあります。
作るのにかかる時間と同じだけ、直して検査する時間を取る。 これを見積もりに入れていなかったのが、私が納期で苦しんだ原因のほとんどです。
数字の検査が全部PASSでも、見た目は壊れている
冒頭の真っ白なページの話に戻ります。
原因を直したあと、機械での確認を全部かけ直しました。表示待ちの要素は53個中53個が表示済み。取り残しゼロ。エラーゼロ。
検査表は満点でした。
そのあと画面を1枚撮って見たら、大きな数字を入れるための欄に長い文字列が入っていて、枠からあふれて本文の上に重なっていました。
つまり、私の検査表には「重なっていないこと」という行が無かったわけです。
要素は存在していて、表示もされていて、エラーも出ていない。数の言葉では、この不良を書き表せません。
検査表に載せられない項目がある以上、目で見る工程を、検査表の外にもう1行足すしかないという結論になりました。
そして、いちばん間抜けだった事実。
見なければいけないと分かっていても、そのときの私には見る道具がありませんでした。 画面を撮る手段を持っていなかった。
品質チェックをサボっていたのではなく、品質チェックする道具を用意していなかったのが根本の原因です。
道具の無い工程は、気をつけていても実行されません。その日のうちに撮影用の小さな道具を作り、
出す前に画面を見るのを、通さないと次へ進めない工程に組み替えました。
出してはいけないものを止める最終確認
3つの工程を通したあと、もう一度だけ自分で見ます。
・外に出す文面と、実際の中身が一致しているか（「冒頭に書いています」と案内して、1本だけ末尾にあった、が実際にありました）
・外に出すURLが、本当に開けるか（推測で作ったリンクが開けず、危うく貼るところでした。私は今、貼る前に全部叩いて確認します）
・社外に出せない記録が、送るフォルダの中に混ざっていないか
・最後に、出来上がったものを1ページ目から自分の目で見る
この4つを通ってから、最後のボタンを押します。押すのは私です。ここはAIに渡していません。
あと、これは品質チェックではなく設計の話ですが、壊れたときに最悪の形にならない受け皿も先に作っておくようにしました。
私のページには、読み込みから1.2秒たったら中身を全部表示する仕掛けを入れてあります。
どこかが壊れても、最悪の形（何も映らない画面）にだけはならない。品質チェックは漏れる前提で、漏れたときの底を先に置いておく考え方です。
AIに渡す前に、品質チェックの指示も一緒に渡す
あと、いちばん効いた運用を書きます。
作業を頼むときに、どうなっていれば合格かを、成果物と同じ粒度で先に渡すことです。
「資料を作って」だけを渡すと、AIは体裁の整った、疑いようのない見た目のものを返してきます。中身が合っているかは別の話です。
私が渡すときに一緒に書く項目は、いつも同じです。
・相手が今持っている版はどれか
・守るべき数値の制約（本数、ページ数、字数）
・呼び方を統一する語（同じものを2通りで呼ばない）
・空欄が出たら、埋めずに止めて報告すること
私の場合、この4行を先に渡すようにしてから、後の品質チェックで挙がる指摘が目に見えて減りました。
品質チェックを速くする方法は、品質チェックを頑張ることではなく、品質チェックで見る場所を、渡す前に相手に伝えておくことでした。
今日、ひとつだけやるなら
次にAIから上がってくる成果物をひとつ決めて、受け取る前に「壊れているとしたらどこか」を4つだけ書き出してください。事実／数字／表記／出してはいけない情報、の4つで十分です。
この記事のような「任せ方の設計」は、公式LINEでも少しずつ配っています。
うまくいった手順と、戻した手順の両方を記録します。
登録した方に、無料の実用PDFをお渡ししています。
この記事を書いた人
AI秘書と仕事を運用しています。
AI秘書のアリアと、製造役のもう1台のAIに、仕事の大半を渡しています。
私がやるのは、最後に決めることと、外に出す言葉を選ぶことです。
目指しているのは、稼ぐことそのものより、日々の面倒な確認や手戻りを減らして、家族と過ごす時間や休む時間を増やすことです。