はじめに

『人間の解剖はサルの解剖のための鍵である』(註1)という書籍があるが、今回のイベントを経て今こそわれわれは確信をもってこう言えるだろう。「テストの解剖はAIの解剖のための鍵である」と。本書の中で以下のように述べられている。

今回レポートするのは、9/10(火)に開催したイベントSHIFT EVOLVE『AI無しでは語れない、テストツール最前線 (AI Test Lab vol.2)』 についてです。 イベントSHIFT EVOLVEとは株式会社SHIFTが主催する勉強会コミュニティです。これまで様々なテーマで開催(なんと100回も!)してきており、今回はAIとテストにまつわるテーマで行いました。

『AIで変わるテスト自動化：最新ツールの多様なアプローチ』

最初に登壇いただいたのは、NRIのaslead事業部の金山さんです。金山さんの発表は、まずそのプレゼンテーション手法からして印象的でした。彼はMiro というオンラインホワイトボードツールを活用し、タイマー機能を使って時間管理を「Miroはタイマーとかも使えるので、タイムマネジメントばっちりやらせてもらえればなと思います」と言いながら、見事に時間内に収める姿は非常に達者でした。

彼はGartnerのハイプサイクル(2023) を引用し、AI拡張型テストが既に実用化段階に入っていることを強調しました。市場には多様なAIテストソリューションが存在し、その中から適切なツールを選ぶためのポイントとして以下を挙げました。

1. ニーズとゴールの明確化：テストにおけるAI活用の目的をはっきりさせることが重要であると指摘しました。

2. 市場調査：多様なツールが存在する中で、コミュニティやイベントを通じて最新情報を収集することの重要性を述べました。

3. POCの実施：小さく試してみることで、リスクを最小化しながら効果を検証することができると強調しました。

4. ROIの評価：ビジネスとしての投資対効果をしっかりと見極める必要があると述べました。

5. 継続的な評価と改善：導入して終わりではなく、常に効果をモニタリングし続けることが重要であると述べました。

具体的なツールとして、EggplantとAutifyを紹介しました。Eggplantは、画像認識技術を活用して人間の目で見たようなテストが可能であり、AIがテストケースの作成や結果分析までサポートします。一方、Autifyは生成AIを活用し、ノーコードでのテスト自動化を実現しています。特にAutify Genesisという機能では、設計書を読み込ませるだけでテストシナリオを自動生成できるとのことで、その革新性に驚かされました。

金山さんは「小さく始めて効果を実感しながら進めることが重要」と繰り返し強調しており、その現実的なアプローチは多くの参加者にとって参考になったと思います。

『Tricentisにおけるテスト自動化へのAI活用ご紹介』

次に登壇した片倉さんは、金山さんのタイムマネジメントに触れつつ、「私はですね、ちょっとタイムマネジメントのところ、根性でやっていこうかなと思いますので、ぜひよろしくお願いいたします」と宣言され、みんなを笑わせてくれました。他方で説明が始まると熟練して安定した営業トークを展開。その姿はまさに勇者といっていいでしょう。

彼の発表では、Tricentis社 がどのようにAIをテスト自動化に取り入れているかが詳しく説明されました。まず、2019年から機械学習を活用し始めた経緯を紹介し、画面認識技術によってあらゆるUIを理解できる点を強調しました。具体的には、モックアップの段階からテストスクリプトを自動生成できるため、開発の初期段階からテストを行うことが可能となるといいます。

また、生成AIを活用して、ビジネス要件からテストケースや自動化スクリプトを自動生成する機能も紹介されました。特に興味深かったのは、ユーザーが自然言語で入力した要件を元に、AIが最適なテストシナリオを提案してくれるという点です。

将来的には、自立型AIを目指しており、人間の介入なしにテストが自動的に行われる未来を描いていました。ただ、その実現にはまだいくつかのステップが必要であり、現段階では人間とAIが協働するハイブリッドな形が現実的であると述べられました。

片倉さんのプレゼンは、技術的な深みとユーモアが絶妙に融合しており、非常に引き込まれました。

『可視化により内部品質をあげるAIドキュメントリバース』

お二人の発表で最初のつかみ「タイムマネジメント」をもう一捻り加えようと色々と考えていたのですが、片倉さんの <<根性タイムマネジメント>> がパワーワードすぎて、被せて私も「根性タイムマネジメント」と宣言しましたが、滑ってしまい、その後は単なるサービスの解説者として淡々と説明しました。

SHIFTが提供する「AIドキュメントリバース」 サービスは、ソースコードを解析し、日本語のドキュメントやフローチャート、クラス図、シーケンス図などを自動生成するものです。ブラックボックス化したシステムの可視化を実現し、開発効率や品質の向上に寄与します。

動画デモでは、ソースコードがない場合とある場合でのプログラム理解の違いを具体的に示しました。ドキュメントがあることで、新しい開発者でも迅速にシステムを理解できる点を強調しました。このサービスは33言語以上に対応しており、多様なプログラミング言語でのドキュメント生成が可能です。

特に初公開となる「AIドキュメントリバースの裏側」については、社内でもごく一部のメンバーしか知らない内容です。AIが高品質なドキュメントを生成するためのプロンプト技術や、ハルシネーション（AIが事実でない情報を生成する問題）を防ぐための工夫について詳しく説明しました。具体的には、AIが「わからない」と言っても良い環境を作ることや、段階的な思考を検証することで、正確性を高めています。このサービスがこういった仕掛けや工夫で他社にはない独自性を持っており、興味のある方はぜひ利用してほしいと呼びかけました。

また、実際の事例として、20人月以上かかると見積もられていたドキュメント作成を、このサービスを活用することでわずか1.5人月に大幅に効率化できたケースを紹介しました。エンジニアからも「ドキュメントがあると生産性が60%向上した」との声があり、その効果を実感しています。

3者によるパネルディスカッション

パネルディスカッションでは、以下のテーマについて議論しました。

1. テストツールに地殻変動は起こっているか
   金山さんと片倉さんは、AIがテスト自動化に与える影響が既に大きく、進化が加速していると述べられました。一方で私は、「まだ地殻変動と呼べるほどの大きな変化は起きていないが、その背中はすぐそこまで迫っている」と指摘しました。実際の現場では、エンジニアが自分のノウハウで問題を解決するケースが多く、AIの真価がまだ十分に発揮されていないと感じています。

2. AIと人間のハイブリッドな取り組み
   金山さんは、「AIをパートナーとして共存し、能力を相互に補完することが重要」と述べられました。片倉さんも同意し、私も自社のAIドキュメントリバースのチームでの経験を共有しました。エンジニアがAIを活用することで、新たな言語や技術を効率的に学ぶことができる事例を紹介し、AIが人間の能力をブーストする可能性について議論しました。

3. 失敗のプラクティス
   大きな失敗を避けるために、小さく始めて効果を確認しながら進めることの重要性で意見が一致しました。金山さんは、「ビッグバン的な導入は失敗しやすい」と指摘し、片倉さんも具体的な失敗例を共有しました。私も、テスト自動化のプロジェクトで早めにリスクや問題点を洗い出し、改善を繰り返すことが成功への鍵であると強調しました。

4. AIが開発全体に与える影響
   私は、世界中で進行中のAIを活用したソフトウェア開発の革新について紹介しました。具体的には、AIがリポジトリを理解し、コードの修正や生成を自動的に行うオープンソースのプロジェクトがいくつか存在すること(註2)を述べ、これがテストだけでなく開発全体を変革しつつあると指摘しました。

まとめにかえて

冒頭で述べさせていただいたように、AIのテスト活用箇所を考えていくことは、これまでのテストの解剖、つまり人間が行うテストの方法自体を変えていく力があることを改めて実感しました。
その意味では、これまでは人間が行ってきたテストをRPAやテスト自動化をAIに代替させることを目指す方向性でしたが、今後はAIが得意でない部分を人間が補っていくといった主従が逆転したようなテスト手法も出てくるかもしれません。
最後に、金山さん、片倉さん、そして私で本イベントを開催できたことを感謝します。
達者、勇者、解説者。三者三様の技術者。AIは止まることのない暴走列車。パネル・ディスカッションではまったく余裕なかったですわ。 ではでは。

註1 ：『人間の解剖はサルの解剖のための鍵である』著：吉川 浩満 出版社：河出書房新社 ISBN：9784309027081
註2 ：SWE Agentを筆頭にRepoUnderstanderやAutoCodeRoverなど、リポジトリの丸ごとAIが理解するための手法がいくつか発表されている。また、本稿の執筆時点(2024/09/13)でOpenAI o1-preview が発表され、枚挙に暇がないとはこのような状態をいうということを改めて感じたことを付言しておきます。

お問合せはお気軽に

SHIFTについて（コーポレートサイト）

SHIFTのサービスについて（サービスサイト）

SHIFTの導入事例

お役立ち資料はこちら

SHIFTの採用情報はこちら