AI秘書アリア ラボ
AI秘書と動かす仕事の、実物の運用記録

画面を1枚見るまで、その仕事は終わっていない

先月末の夜、作り直した自分のサイトについて、AI秘書から「直りました」と報告が来ました。

根拠は2つでした。ページを呼び出したときの応答が正常だったこと。画面に出るはずの要素を数えたら、53個そろっていたこと。

私はそれで完了と判断。

そのあと自分でURLを開くと、画面は真っ白。

何も映っていません。

「直りました」の根拠が、数字しかなかった

要素は本当に53個ありました。ただし53個とも「透明」の状態で置かれていました。

存在はしている。見えていない。

数えると合格で、見ると不合格。この2つが同時に成立していたわけです。

原因はこうです。ページの一部を別の形に作り替えたとき、消した部品を、画面を組み立てる側の処理がまだ探していました。見つからないため、そこで処理全体が止まったのです。表示を始める合図は、一度も出ていません。

もっと悪かったのは、その前の私の切り分けです。

私は「処理は動いている」と判断していました。根拠は、ページの中に目印の設定値が入っていたことです。ところがその目印は、最初からファイルに書いてあった文字でした。処理が書いたものではありません。

つまり、止まっていても同じ値がそこにありました。

動いている証拠は、機械が書き換えた値でしか取れません。

最初からそこにある値を証拠に使うと、止まっていても合格になります。これは画面の話に限りません。

・保存ボタンが押せたことは、狙った文章に置き換わった証明ではない(そのまま後ろへ足されているかもしれない)
・画面に「済」と出ていることは、その処理が今日走った証明ではない
・自分の環境で見えたことは、他の人の画面で見えている証明ではない

どれも、私がやった取り違えと同じ形です。

件数が合うことは、見えていることの証明にならない

ここで責めるべきはAIではありませんでした。合格条件を決めたのは私です。

私が渡した合格条件が「応答が正常」「要素の数が合う」だったので、AIはその条件を満たして報告してきました。条件どおりです。

条件の中に「見た」が入っていなかった。それだけの話でした。

これは、人に頼むときも同じ形で起きます。

・記事を50本投稿したという報告。一覧の件数が50なら合格でしょうか。本文が空でも件数は50になります。
・請求書を10通作ったという報告。ファイルが10個できているだけなら、言えるのは「10個ある」までです。金額欄が空でも10個は10個です。
・動画を全部アップしたという報告。アップロード完了は、再生できることとは別の事実です。

件数は取りやすいので、つい合格条件にしてしまいます。取りやすい数字と、確かめたい事実は、たいてい別物です。

直したあと、画面には別の壊れ方が出ていた

原因を直して、今度は出来上がりの画面を撮りました。

すると、まったく別の不良が出ていました。

大きな数字をひとつだけ置くための欄に、長い文字列が入っていました。実績の数を並べた一文が、そのまま流し込まれていたんです。文字は欄からあふれて、下の文章の上に重なっていました。

このとき、機械的な検査は全部通っていました。

表示されるはずの要素は53個中53個が表示状態。透明のまま残っているものはゼロ件。処理の異常もゼロ件。

数値の検査は全部PASSしていて、見た目だけが壊れていました。

「重なっている」を、数字の組み合わせで表現するのは難しい。だから検査に引っかからなかった。

「見る」以外の方法では検出できない不良が実在します。

同じ日、私は別の検査もやりました。画面に出ている文字と、その裏に設定してある文字が一致しているかを、111項目まとめて照合したんです。結果はずれ0件でした。ただしこれは、目でやったら見落とします。111項目を人間の目で追い切ることはできません。

目と機械は、担当する不良の種類が違います。

目で見ないと分からない不良 ── 文字が欄からあふれて、下の文章に重なっている
機械でないと分からない不良 ── 111項目のうち、表示と裏の設定が食い違っている1項目

上の行は数えられないもの、下の行は数えるしかないもの。片方だけでは品質チェックになりません。

見る道具が無かったことが、根本原因だった

正直に書きます。

「実機で見ろ」と言われたのは、この失敗の前の日でした。それでも見ていなかった。理由は、見る道具が無かったからです。

作業に使っていた画面は、裏に回ると描画が止まります。撮っても真っ黒な画像が返ってきます。別の手段で撮ろうとすると1枚しか撮れず、しかも縦の長さが勝手に変わってレイアウトが別物になりました。表示のアニメーションが終わる前に撮ってしまうので、これも黒いだけの画像が並びました。

道具が無いと、人は取れる数字で代用します。応答が正常。件数が合う。これは取れるから。

確認手段が無い作業は、確認されません。

「今度から気をつける」では、この穴は埋まりません。撮る道具を用意して、初めて埋まります。

なので、その場で撮影用の小さな道具を自分で作りました。追加のインストールなしで動くもので、200行弱です。

作る途中で、2回外しました。うまく撮れない理由を、思いつく順に潰そうとして、2回とも見当違いでした。3回目に推測をやめて、道具が何を撮ろうとしているのかを出力させたら、1回で分かりました。撮影対象の一覧の先頭に、画面を持たない裏方が並んでいて、そこに撮影を頼んだため応答が永久に返らなかった、という話です。

2回外したら、推測をやめて計測する。これは今も自分のルールにしています。原因の候補を3つ並べて眺めていた時間は、全部むだでした。あとで確かめたら、その3つはどれも犯人ではありませんでした。

撮る・数える・見るの順番を、手順の中に固定した

儀式にすると省かれます。工程にすると省けません。

私は修正したら必ずもう一度画面を見る、を手順の中に置きました。順番はこうです。

① 直す前に、壊れている状態を1枚撮る(直ったかどうかを比べるため)
② 直す
③ 出来上がりを1枚撮る。撮る前に、画面が裏に回っていないかを先に確かめる
④ 数字の検査をかける(件数、欠けている項目、異常の有無)
⑤ ③の画像を自分の目で見る。探すのは、あふれ・重なり・途中で切れている行・空欄
⑥ ⑤で直したら、③に戻る

⑥がいちばん大事でした。別の日、修正の2周目から新しい破損が10件以上出たことがあります。直した拍子に壊れるのは珍しくありません。修正と再チェックは1セットで、単発では成立しません。

そのうえで、品質チェックをすり抜けたときの保険も1つ入れました。読み込みから少し時間が経ったら、途中で処理が止まっていても中身を全部表示する、という仕組みです。これで、どこが壊れても、中身だけは読める状態で出ます。

品質チェックを厚くするのと、最悪の状態を出さない保険を置くのは、別々の作業です。両方いります。

「無い」と言うときにも、同じことが起きる

同じ構造の失敗を、別の日にもやっています。

ある販売サイトに置く記事について、私は「①から⑤まで、全部まだありません」と判断しました。一覧を開かずに、記憶で答えていました。

実際には、②から⑤は下書きとして実在していました。数日前に編集した形跡まで残っていました。無かったのは1本だけでした。

危なかったのは、そのまま「5本作り直す」と決めかけたことです。見ていない断定は、そのあとに不要な作業を1つ生みます。しかも寝ている完成品を捨てることになるので、損は二重になります。

だから、いま自分に課しているのは次の確認です。

「無い」と書く前に、一覧を開く。開いていないなら「未確認」と書く。

「無い」と「未確認」は、別の言葉です。この2つを混ぜると、判断の材料が汚れます。

AIに渡すときの合格条件を、こう書き換えた

以前は「直して」で渡していました。いまは、完了報告に何を添えるかまで先に決めて渡します。

完了報告に添えるもの3点
① 動いた証拠 ── 機械が実際に書き換えた値(最初から書いてある値は証拠にならない)
② 見た証拠 ── 出来上がりの画面を撮った画像そのもの
③ 壊れたときの形 ── 途中で止まっても、最低限これは出る、という状態

①だけだと今回の失敗が起きます。②を足すと、数字では拾えない不良が拾えます。③は、①と②をすり抜けたときのための床です。

言い方としては、こう渡しています。

「終わったら、出来上がりの画面を1枚撮って、その画像も一緒に出してください。数字の検査だけで完了にしないでください」

これで、返ってくる報告の形が変わりました。画像が付いてくると、私が見るのは10秒です。10秒で、あふれも重なりも見つかります。

それでも手でやっていること

正直に書いておきます。

・最後に画像を見て「これは変だ」と判断するのは、いまも私です。違和感を条件文にして渡すところまでは、まだできていません。
・外に出る最後の操作(公開・送信)は、私の手でやっています。ここは渡していません。
・検査の条件そのものを設計するのも私です。何を合格とするかは、任せる側の仕事として残ります。

減ったのは、確認そのものではなく、確認のための準備でした。撮る・数える・並べるはAIが担当し、私は最後に見ます。

それでも、この順番にしてから、出したあとに戻す作業はほぼ無くなりました。

見るのは10秒です。出したあとに戻すほうは、それよりずっと高くつきます。順番を入れ替えるだけで、その差が消えます。

今日、ひとつだけやるなら

直近で「終わりました」と報告を受けた作業を、1つだけ選んでください。

そして、その出来上がりの画面を、実際に開いて見てください。ファイルなら開く。ページなら表示する。送ったものなら、自分宛にも1通送って受信側で見る。

15分で足ります。

見て何ともなければ、それは品質チェックが1回通ったということです。何かおかしければ、それは今日見つかってよかった不良です。

どちらでも、その作業は今日はじめて終わります。


この記事のような「任せ方の設計」は、公式LINEでも少しずつ配っています。
うまくいった手順と、戻した手順の両方を記録します。

登録した方に、無料の実用PDFをお渡ししています。


この記事を書いた人

AI秘書と仕事を運用しています。

AI秘書のアリアと、製造役のもう1台のAIに、仕事の大半を渡しています。
私がやるのは、最後に決めることと、外に出す言葉を選ぶことです。

目指しているのは、稼ぐことそのものより、日々の面倒な確認や手戻りを減らして、家族と過ごす時間や休む時間を増やすことです。

← 記事一覧へ戻る