JaSST'24 Tokyo 参加レポート | 企画セッション「テスト管理ツールの向かう先」
はじめに
こんにちは！SHIFTのテスト管理ツールCATの開発エンジニア、深野木です。
2024年3月14日(木)、15日(金)に開催された、 JaSST'2024 Tokyo にオンライン参加してきました。数あるセッションの中から今回は、弊社SHIFTの石井優がパネラーの一人として登壇したセッションのレポートです。
「テスト管理ツールの向かう先」というテーマに対して、パネラー各々の立場からのディスカッションを聞いて、私なりに感じたことを共有したいと思います。
ぜひ最後までご覧ください！
講演の概要は こちら
パネラー
朱峰 錦司（株式会社ベリサーブ）
鈴木 一裕
会田 圭司（テクマトリックス株式会社）
石井 優（株式会社SHIFT）
※JaSST(Japan Symposium on Software Testing)とは
ソフトウェア業界全体のテスト技術力向上と普及を目的としたシンポジウム。
学術的な研究発表にとどまらず、ツールの適用事例や活用方法の共有など積極的に行われている。
また、ソフトウェアテストに関心のある参加者同士のコミュニケーションの場としても活用されている。
私自身初めての参加でしたが、登壇者の方々の議論はもちろん、リスナーからの質疑応答も活発な印象を受けました。これまでソフトウェアテストの話題について社外の方の反応を見ることは多くはなかったので、今回のイベントに参加してみて、ソフトウェアテストへの関心の高まりを改めて実感できました。
テスト管理ツールとは
本題のディスカッションに入る前に、テスト管理の現状と今後のテスト管理ツールに求められることについて以下のような点が提示されました。
ユーザのニーズが移りゆく現代であるからこそ、そのニーズに対応するため継続的なプロダクト進化がトレンドとなっている。
品質を保証しながらプロダクトを進化させるためには継続的なテスト活動も重要である。
現状、テスト活動を管理する手段としては表計算ソフトが最もよく使われていると考えられる。
表計算ソフトは比較的なじみ深く、自由度も高いことがメリットとして挙げられるが、テスト結果を集計する手間も発生する。
テスト管理ツールの今のメインの価値は、人間の集計作業を減らすことである。ただ、それ以上に重要な価値として、テスト資産を蓄積、活用していくことで継続的なテストにつなげることも可能であるということがある。また、テスト管理ツールを介することでプロダクトチーム内の情報流通を加速させることにも寄与できるという見方もある。
テスト管理ツールの未来に関するディスカッション
テスト管理ツールが得意・苦手とする分野
パネラー各々の立場から以下のような意見が飛び交いました。
得意とする分野は何か
テストケースを網羅し、正確に管理していく必要があるミッションクリティカルな分野。
ある程度一定の手順を踏んでいくシーケンシャルな開発プロセス。（ウォーターフォール）
苦手とする分野は何か
テストケースが複雑かつ大規模となり、テスト管理ツールでは表現ができないケース。
アジャイルのような、一度のテストで全てをpassするわけではないケース。
例えば、テスト結果がNGだとしても影響度や優先度によっては次のスプリントに引き継ぐことでリリースを進めることも想定できるが、ツール上NGで残した場合、pass率が100%にならないため、いつまでたってもテストが終わってないように見える。
ディスカッションを聞いていて、テストケースを確実に書き出していく必要があるミッションクリティカルな分野についてはテスト管理ツールの強みを活かせる一方で、複雑なテストケースや表現方法への対応に関しては対応しきれていない現状を改めて認識し、テスト管理ツールの課題を再認識しました。
テスト管理ツールの普及を阻むもの
テスト管理ツールの普及を阻む要因として以下のようなことが挙げられました。
表計算ソフトの自由度の高さと比較すると、テスト管理ツールはテストケースの表現手段が乏しい。
日本と欧米でテスト管理ツールへのニーズの違いもあるということ。例えば、日本では信頼度成長曲線をはじめとした信頼できるレポート機能が重要視されるが、欧米ではテスターがいかに楽にエビデンスをとれるかという観点が重要視される。
日本と欧米とでテスト管理ツールのニーズが異なるという話は、初めて聞いたので少し意外でした。
また、ディスカッションの中では、日本はサービスの責任者のIT見識が比較的低いことが多く、その責任者を納得させるためのレポート機能が求められているが、一方の欧米では自らプロジェクトの内容を把握できるような、技術のプロフェッショナルが責任者になることが多いため機能としてのレポートの優先度が低い、という話も出ていました。
この件について、私は海外での就業経験がないので日本の例だけ振り返ってみると、システムを内製するよりも外注することのほうが多いイメージがあります。そうなると企業間の報告の機会も増え、結果的に信頼できるレポートが求められる状態になったのではないかとも思いました。
テスト管理ツールは今後どう進化していくべきか
このテーマでは下記のような、各々の描く夢やテスト管理ツールのあり方が語られました。
単にテスト結果という過去のデータを記録するインフラではなく、それらのデータをAIなどの技術を活用して分析し、未来への提案につなげてくれるようなインフラとして進化してくことが期待される。
表計算ソフトは自由度が高い反面、フォーマットを統一するのが困難なため長期的な分析に向かない一面もある。なので、フォーマットの統一性に強みのあるテスト管理ツールでは今後、カスタマイズ性を高めていくことができれば表計算ソフト以上の価値を提供できる。
テスト管理ツールは、テスト資産を一定のフォーマットで蓄積していける金庫の役割を強化していくことが求められるのではないか。
従来は手動で集計、共有するためタイムラグが発生したり手間がかかったりしていた。これからのテスト管理ツールには、なるべく労力をかけずに品質、進捗の状況をリアルタイムで把握できるようにする役割が期待される。
このテーマのディスカッションでは特に、「未来への提案につなげてくれるインフラとして進化する」という言葉が印象に残っています。
私もテストケースの洗い出しなどを実際に経験してきましたが、抜け漏れがないか不安になることも多々ありました。他のメンバーにレビューしてもらうのも良いですが、気軽に頼れるのは生成AIのメリットでもあると思います。1発で意図通りのテスト提案を導くのは難しいとも思いますが、たたき台を提案してくれるだけでもテスト設計者の心強い味方になってくれるのではと考えました。
まとめ
実は、私は24年2月に今のチームに入ったばかりです。前職まで実際の業務でテスト管理ツールを使ったことがなかったため、実際に導入する際の課題などの理解度が低かったと思います。ですが、今回のディスカッションを聞いて、レポートとして自分の言葉に落とし込むことでソフトウェアテスト自体への見識を深めることができました。
現状、テスト管理ツールの苦手とする分野や課題点を踏まえると、たしかに導入が難しい場面もあると思います。 しかし、統制のとれたデータを蓄積していき、そのデータを元に継続的なテスト活動を行うことで、進化し続けるサービスにしていけるとも思います。テスト管理ツールの開発者として、より多くの人に使ってもらい、成功体験を提供できるようなツール作りに貢献していきたいと思いました。
マガジン｜CATの原点と機能開発の変遷
執筆者プロフィール：深野木
2024年2月にSHIFTへ中途入社。
現在はテスト管理ツールCATの開発エンジニアとして、日々精進中。
お問合せはお気軽に
SHIFTについて（コーポレートサイト）
https://www.shiftinc.jp/
SHIFTのサービスについて（サービスサイト）
https://service.shiftinc.jp/
SHIFTの導入事例
https://service.shiftinc.jp/case/
お役立ち資料はこちら
https://service.shiftinc.jp/resources/
SHIFTの採用情報はこちら
https://recruit.shiftinc.jp/career/
PHOTO：UnsplashのDanielle Cerullo