AI秘書アリア ラボ
AI秘書と動かす仕事の、実物の運用記録

生成物には、道具のかけらが混ざる|目で読まずに機械で弾く検査リスト

文章を23本、まとめて作りました。1本ずつ順番に頼むのではなく、同時に走らせる形です。

全部そろったあと、機械で検査をかけました。そこで見つかったものが、この記事の中身です。

いちばん驚いたのは、これでした。

1本の末尾に、AIが内部で使っている表記が、そのまま文章として保存されていました。

読者に見せる文章の最後に、道具の部品が引っかかって残っている状態です。意味のある日本語ではないので、読めば分かります。ただし、最後まで読めばの話です。

自己申告は「全項目パス」だった

その文章を書いたAIは、書き終わったあとに自分で点検をして、報告を返してきました。

「全項目、問題ありません」

嘘をついているわけではありません。中身については、たしかに指示どおりでした。文字数も、構成も、使ってはいけない言葉も、全部守られていました。

守られていなかったのは、自分の出力の外側です。

書いた内容を点検することはできても、「書き終わったあとに何がくっついたか」は、自分では見えません。人間でも同じです。自分が話した内容は覚えていても、話し終わったあとに服に何かついたかは、鏡を見ないと分かりません。

だから、点検を書いた本人に任せてはいけない、という話になります。

自分で点検できるもの ── 内容・構成・使った言葉・分量
自分で点検できないもの ── 出力の外側についたもの・保存されるときに混ざったもの

下の行は、別の仕組みで見るしかありません。

目視では見つからない

23本を、全部読み返せばいいと思うかもしれません。自分で読み返しました。見つかりませんでした。

理由は、たぶんこうです。文章を読むとき、人は意味を追っています。意味のない記号の並びは、目に入っても「読む対象ではない」と判断されて素通りします。ページの端にある印刷の汚れを、気にせず読み進めるのと同じです。

機械にはその判断がありません。指定した文字の並びがあるかどうかを、意味と無関係に見ます。だから見つかります。

目で読む検査と、機械の検査は、見えるものが違います。どちらかで代用できるものではありませんでした。

いま使っている検査項目

そのまま使える形で書きます。文章をまとめて作る人は、これを最初から入れておくと1回ぶん得をします。

① 道具のかけらが混ざっていないか
文章の中に、開き山かっこで始まる短い記号の並びが残っていないか。特に末尾。

② 使ってはいけない言葉が入っていないか
自分で決めた禁止語を、そのまま検索します。ここに落とし穴がありました。後述します。

③ 出してはいけない固有名詞が入っていないか
本名、取引先の名前、社内でしか通じない言い方。書いた本人には自然なので気づきません。

④ 想定していないリンクが入っていないか
外に出すリンクは、あらかじめ決めた分だけ。増えていないかを数えます。

⑤ 題名が2か所で一致しているか
管理用の見出しと、本文の見出し。片方だけ直して、もう片方が古いままになります。

⑥ 生成器が読めない書き方が混ざっていないか
自分の場合、記号を使った表組みや、特定の箇条書きの書き方が崩れます。混ざっていたら弾きます。

⑦ 分量が範囲に入っているか
上限と下限。超えたぶんは、薄めるのではなく章ごと落とします。

この7つを1つのファイルにまとめて、作り終わったら全部にかけます。23本なら数秒です。

禁止語は、否定形でも引っかかる

②に落とし穴がありました。

私は「ラクに」という言い方を禁止語にしています。読者に、手間が消えるような印象を与えたくないからです。手作業は残ります。

検査にかけたら、1本で引っかかりました。開いてみると、こう書いてありました。

「ラクになるとは言いません」

意味としては、私が言いたいことそのものです。むしろ誠実な側の文です。でも文字としては、禁止したはずの語がそのまま入っています。

最初は、これは通していいと思いました。考え直してやめました。理由は2つあります。

・検索する側は文字しか見ていない。あとでまとめて確認するたびに、毎回この1件が引っかかり続ける
・拾い読みされたときに、否定の部分だけ飛ばされる可能性がある

2つ目のほうが大きいと判断しました。文章は、いつも全部読まれるわけではありません。見出しと太字だけを追って読む人がいます。そのとき目に入った語だけが残ります。否定していたつもりの言葉が、肯定として記憶される。これは書き手にはどうにもできません。

書き直した結果がこれです。

書いていた形 ── 「ラクになるとは言いません」
直した形 ── 「手作業は残ります。どこが残るかは、そのつど書きます」

意味は同じどころか、直したほうが具体的になりました。否定形で逃げずに、言葉ごと変える。これを規則にしました。

副産物として、文章がよくなることが多いです。禁止語を避けようとすると、抽象的な言葉を使えなくなるので、具体的に書くしかなくなります。禁止語のリストは、品質の検査でもありました。

検査は、作らせる前に決める

23本を頼む前に、私は決まりごとを1枚のファイルにまとめました。形式、禁止語、図の書き方、末尾の形、参考にする資料の場所、既に書いた題名の一覧。

それを、書き手全員に先に読ませてから書かせました。

結果、あとから直したのは3件だけでした。以前、決まりごとを口頭で伝えて同じことをしたときは、直しが十数件出ました。中身の質ではなく、形のばらつきで手間が出ていたわけです。

作る前に決める ── 全員が同じ形で出してくる。直しは中身だけ
作ってから決める ── 全員が違う形で出してくる。形を揃える作業が増える

そして、この決まりごとのファイルは捨てません。次に同じことをするとき、そのまま使えます。2回目からは作る手間がゼロになりました。

検査は、直すためではなく止めるために置く

検査の役目について、途中で考えが変わりました。

はじめは、検査を「直すための道具」だと思っていました。見つけて、直して、次に進む。

いまは「止めるための道具」だと思っています。見つかったら、そこで公開をやめる。直すのは、そのあとの話です。

違いが出るのは、急いでいるときです。急いでいると、見つかったものを「これくらいなら大丈夫だろう」と通したくなります。検査を直すための道具だと思っていると、直す時間がないときに、通す判断ができてしまいます。

止めるための道具だと決めておくと、判断が入りません。引っかかったら出さない。それだけです。

見つける ── 機械がやる。判断は入らない
出す/出さない ── 引っかかりが0件のときだけ出す。例外を作らない

例外を1回作ると、次から毎回その判断が発生します。判断が発生するということは、急いでいるときに間違えるということです。だから作りません。

何本まとめて作るかで、検査の重みが変わる

1本だけ作るなら、読み返せば済みます。検査の仕組みを作る時間のほうが長い。

まとめて作るときは、逆転します。私の場合、23本のときで、検査の仕組みを作るのに30分ほど、検査をかけるのは数秒でした。読み返していたら、23本ぶんで数時間かかって、しかも見つかりませんでした。

分かれ目は、だいたい5本くらいだと感じています。

・4本まで ── 読み返すほうが速い
・5本以上 ── 検査を作ったほうが速い。しかも見落とさない

そして、一度作った検査は次も使えます。2回目からは作る時間がゼロなので、分かれ目は1本になります。最初の1回だけが損に見えて、実際には2回目で回収できます。

私はこの仕組みを、記事だけでなく配布物にも同じものを使い回しています。項目を少し足すだけで済みました。

検査を通っても、見た目は確かめる

最後にひとつ。

上の7項目を全部通っても、実際に表示させたときに崩れていることがあります。私は一度、検査を全部通ったものを公開して、開いたら真っ白になっていたことがあります。

検査が見ているのは、文章の中身です。表示のされ方は見ていません。

なので、検査のあとに1本だけ選んで、実際の見た目を確認しています。全部見る必要はありません。1本で崩れていたら、たいてい全部崩れています。

今日、ひとつだけやるなら

AIに書かせた文章を1つ開いて、いちばん最後の行まで読んでください。

私の場合、そこに道具のかけらが残っていました。数秒で確かめられます。


この記事のような「任せ方の設計」は、公式LINEでも少しずつ配っています。
うまくいった手順と、戻した手順の両方を記録します。

登録した方に、無料の実用PDFをお渡ししています。


この記事を書いた人

AI秘書と仕事を運用しています。

AI秘書のアリアと、製造役のもう1台のAIに、仕事の大半を渡しています。
私がやるのは、最後に決めることと、外に出す言葉を選ぶことです。

目指しているのは、稼ぐことそのものより、日々の面倒な確認や手戻りを減らして、家族と過ごす時間や休む時間を増やすことです。

← 記事一覧へ戻る