テスト工程におけるAI活用

1. はじめに

テスト項目の作成では、Jira、仕様書、ソースコードを見ながら「何を、どの条件で、どう確認するか」を具体化します。

この作業に、最初からAIを使っています。 ただし、Codexへ直接依頼し続けるとコンテキストを多く使い、5時間単位や1週間単位の利用制限も気になります。

そこで、まずChatGPTで依頼文を整理し、その内容をCodexに渡してテスト項目のたたき台を作っています。

2. テスト工程をざっくり整理

テスト工程は、確認する範囲で分けると理解しやすいです。 ISTQBでも、テストレベルは目的や責任範囲に応じて整理されています¹。

今回の主役は、結合テストです。

結合テストでは、単体では問題なさそうに見える部品を組み合わせたときに、正しく動くかを確認します。 たとえば、画面で入力した内容が保存されるか、権限ごとに表示が変わるか、同時操作でデータが壊れないか、といった観点です。

3. 今回のテストチームの役割

今回のプロジェクトでは、役割を次のように分けています。

テスト項目を作る材料は、主に以下です。

• Jira
• 仕様書
• ソースコード
• 操作マニュアル
• 既存のテスト項目

テスト項目では、「動作確認する」だけでは足りません。 実施者が迷わないように、操作者、前提条件、操作手順、期待結果まで書く必要があります。

4. AIを使ったテスト項目作成の流れ

実際の流れはシンプルです。

ChatGPTを挟む理由は、Codexを節約したいからです。

Codexにはソースコードを読んでほしいので、雑な相談や依頼文の整理でコンテキストを消費するのはもったいないです。 そのため、ChatGPTで「Codexに何を頼むか」を先に固めます。

依頼文で指定する内容は、だいたいこのあたりです。

OpenAIのプロンプトガイドでも、役割や必要な情報を明確にすることが有効だとされています²。 テスト項目作成でも、依頼が具体的なほど出力が安定します。

5. 作っているテスト項目の粒度

テスト項目は、1行を1つの確認として扱います。 参考にしている粒度は、次のような形です。

この粒度にしておくと、誰が実施しても確認内容がずれにくくなります。

6. 便利だったこと

AIを使って便利だった点は、主に5つあります。

特に助かるのは、ソースコードを読んだうえで候補を出してくれることです。 Codexはリポジトリ内のファイルを確認しながら作業できるため、テスト項目のたたき台作成と相性が良いです³。

7. テスト実施中にもAIを使う

AIは、テスト項目を作るときだけでなく、実施中にも使えます。

たとえば、実施者が迷ったときに確認します。

• この手順は何を確認するためのものか
• どの画面やボタンを操作すればよいか
• 期待結果に書かれたステータスは何を意味するか
• 前提データをどう作ればよいか
• エラーが出たとき、手順の問題か実装の問題か

もちろん、AIの回答だけで合否は決めません。 ただ、手順の意味を確認したり、関連するコードを探したりする補助としては便利です。

8. 工数見積もりにも使う

何度か繰り返すうちに、テスト項目作成だけでなく、工数見積もりにも使えるようになりました。

以前は、項目を作ったあとに「何人必要か」「何日かかるか」を聞かれていました。 今は、項目作成の時点で想定工数も一緒に出します。

工数は正解ではなく目安です。 それでも、項目数だけを見るより、必要人数やスケジュールを考えやすくなります。

9. まとめ

今回伝えたいことは、以下の3つです。

• AIはテスト項目作成のたたき台づくりに向いている
• ChatGPTで依頼文を整理してからCodexに渡すと、Codexを効率よく使える
• 工数見積もりや実施中の確認にもAIを使える

ただし、AIに任せきりにはしません。 最後は人間が確認し、実施できるテスト項目に調整することが大事です。

参考文献