AI の作業報告は、
どこまで信用してよいか

任せた作業が返ってきてから受け入れるまでに、当社が置いている工程です。工程を増やすのではなく、判断の材料を報告から実測へ移しています。

図は横にスクロールできます。

当社のサイトで、報告だけを見ていたら通っていた事象です。

1. 01

   要素はあるのに、動きが止まっていた

   見た目の構造としては正しく、要素も存在していました。しかし時間が経っても状態が変わらず、実質的に静止していました。存在の確認だけでは検出できません。

2. 02

   一部の条件でだけ再現した

   通常の設定では起きず、動きを減らす設定や通信量を抑える設定にしたときだけ起きる、という食い違いがありました。条件ごとに測らないと分かりません。

3. 03

   直したつもりの箇所が、別の場所を壊していた

   報告は該当箇所についてのみ触れます。その変更が離れた画面に与えた影響までは報告に現れませんでした。

4. 04

   生成物の一部が、実際には使われていなかった

   追加された部品がどこからも呼ばれていない、という状態がありました。動作としては問題が出ないため、報告でも検証でも表面化しません。使われているかどうかは別に確認する必要がありました。

当社が公開前に踏んでいる順番です。上から順に、機械で測れるものから人が見るものへ進みます。

1. Step 01

   型と内容の整合を機械で確認する

   型の検査と、掲載内容の決まり（リンク先が実在するか、必須項目が埋まっているか）の検査を通します。ここで落ちるものは、報告の内容にかかわらず受け入れません。

2. Step 02

   本番と同じ手順でビルドする

   手元の開発用の起動ではなく、本番と同じ手順で組み立てます。静的な書き出しまで含めて通ることを確認します。

3. Step 03

   時間で変化する項目を測る

   動きのある部分は、要素の有無ではなく、一定時間後に値が変わっているかどうかを測ります。動きを減らす設定でも、内容が読める状態で残っているかを別に測ります。

4. Step 04

   実際の画面を見る

   幅の違う画面で、崩れ・はみ出し・読みにくさを目で確認します。自動検証は落ちたときに強く、落ちなかったときには何も教えてくれないためです。

すべてを実測すると回らなくなるため、当社では分けています。

作業を任せる前に書く条件です。ここが曖昧だと、あとの実測が成立しません。

受入条件を先に書くと、報告のどこを読めばよいかが決まります。書いていないと、報告全体を読み直すことになります。