SHIFT Game Producer Meetup #11 明日からできる！プロダクト品質向上のフレームワーク
はじめに
こんにちは★SHIFTエンターテインメント業界ウェビナー担当の高木です！
今回で11回目となる、ウェビナー「SHIFT Game Producer Meetup #11 」では、グリー 堀米氏をお招きし、弊社 杉原・清水を交え、1LDK 朝岡 氏をファシリテーターに対談を行いました。
一部分ではございますが、その様子をぎゅっとまとめてお届けします！
★PDF無料配布中！ゲームテスト効率化にむけたSHIFTの取組みと事例
テーマ｜グリー社が求めるプロダクトの品質とは？
グリー堀米氏（以下、グリー堀米）：お客様に対しては安心安全で楽しくゲームをプレイできるような品質を目指し、プロダクトの方に対しては「我々がテストしたから安心だね」と言っていただけるような品質を目指して動いています。
最近は定性的よりも定量的なフィードバックができる体制を目指しておりまして。データや数値管理も含めて品質状況を俯瞰してプロダクトの方にお届けして、「この品質だったらリリースしても安心だね」と言っていただけるように、今取り組んでおります。
1LDK朝岡氏（以下、1LDK朝岡）：定性的な部分はどのように進めていますか？
グリー堀米：いわゆるユーザーテストみたいな形で、ゲームをやるペルソナに合わせた方を用意いただいて、その方々から見た時に、「ゲームとして面白いのか」「継続して遊べるか」などを、一定の基準をもとに定性コメントでフィードバックいただくテストも実施しております。何回かに分けて実施しています。
SHIFT清水：堀米さんがおっしゃっていたユーザーテストというのは、SHIFTでは「チューニング」と呼んでいるんですが、SHIFTってゲームがすごく好きな人がたくさん集まっている会社なんです。
そこに対して、何円課金をしている人が何人必要か、年齢層はどうか、普段どんなゲームを遊んでいるか、という切り口でユーザー選定をして、彼らのプレイした感想を一定数集めます。それを同じ軸でアンケートを取ることによって、定性的な意見を定量化して、プロダクトの改善に活かしていただく形でレポートを納品しています。
1LDK朝岡：例えばどんなことをヒアリングするんですか？
SHIFT清水：毎回カスタマイズしますが、最近IPモノが多かったりするので、実際プレイしてみて「世界観良いと思いましたか？」「操作感は気持ちよかったですか？」「課金したいと思いましたか？」とか、結構ふわっとしたオープンクエスチョンをしながら、それに対する評価を5段階で評価をしてもらっています。
かつそこに対して「何故そう思ったか？」という感想を書いてもらうことで、定量と定性を紐づけることができるアンケート項目の設計をしています。
テーマ｜ヒンシツ大学の取り組みについて
1LDK朝岡：ヒンシツ大学はどういうことを目標としている集団なのでしょうか？
SHIFT杉原：講義を通じて、プロジェクトの品質面の改善において「こういう風に使うと、ウチの会社にはもっと効果がある」をご理解いただくことで、「SHIFTに任せたらこれだけ成果が出た」と納得できるようになります。
今までSHIFTに任せきりだったものも、一緒に考えて作業ができるようになる。共に育っていくことを望んで生み出されたサービスです。
1LDK朝岡：ヒンシツ大学は、どんな会社を対象とされているのですか？
SHIFT杉原：最近はベンダーさん、大手を中心にしていたところ、プラスそのベンダーをさらに発注する側ですね。そういった大型プロジェクトを扱うところ、そして数人単位で行うようなプロジェクトをたくさん回していくような会社様にもご利用いただいております。
1LDK朝岡：「プロダクトの品質が上がらない」原因は何にあるのでしょうか？
SHIFT杉原：よくあるのは、品質のゴールが見えていないという場合ですね。「ここをクリアすれば最低限リリースはできるだろう」というところを、自分達の中で設定ができれば、それをクリアすることが目標になるので「タスクを全部埋めたので、終わりです」とはならないと思います。そういう考え方ができていない会社さんは、品質課題が出ることが多いですね。
テーマ｜テスト担当者が必要なスキル、必要な経験とは？
1LDK朝岡：今日の視聴者さんはテスト担当者が比較的多いのかなと思うんですが、テスト担当の方に必要なスキルや、必要な経験、キャリアアップをお二人にお伺いできればなと思います。
グリー堀米：特にベテランの方だと、テストだけじゃなくて開発のプロセス自体もある程度認識していて、この開発サイクルではこういうテストをしたほうが良い、というところまで戦略的に考えられる人が結構強いと思っています。
例えばゲームコンテンツの場合に序盤から、いきなりイレギュラーなテストをしても、あまり本質ではない部分があるので、ちゃんと機能テストからどんな順序を立てていくかとか、後半で改めて負荷状況を見るとか、イレギュラーなテストを組み合わせながら、その時に必要な不具合を狙って戦略的に出せることとかが、ゲームの強いスキルになるんじゃないかなと思っています。
いわゆるテスト設計スキルみたいなものが割と強いのかと。最初のうち、ジュニアな時にはバグに当たりをつけるところと、プロダクトの方と仲良くやるところが結構重要なんじゃないかなと思っています。
ゲームのこと、タイトルのことを知らないと、プロダクトの方と対等にお話することができないので、プロダクトの方よりもゲームについて知っているくらいの勢いで積極的にアプローチできるような…。
SHIFT杉原：必要な経験で言うと、シニアになっていくに従って内部構造や実際に要求されているプロジェクトで、過去の経験から「こんな実装をしたからこんなバグが出ている、この場合はここを押さえておくべきポイントだ」と、ご自身の経験をちゃんと整理できる方っていうのがテスト担当者の中でもシニアになっていく条件かなと思います。
2～3プロジェクトを経験した人がちゃんと整理を付けていれば、次のプロジェクトをやる時にかなり色んなことが思い浮かぶはずなんですね。でも、その経験をせずにプロジェクトをなんとなく言われたまま担当するだけの経験しか積んでいないと、あまり変わらないんです。噛み砕いて自分の経験値に変えていくという行為が必要だと思います。
1LDK朝岡：それは全てのビジネスパーソンに必要な能力だと思うんですが、テスターの方が特に意識していることって何かあるんでしょうか？
SHIFT杉原：テストケースを作る上でテスト観点の標準化などですね。この考え方は、先ほどの経験の整理に似ているんです。「良くこういうことが起きるから、基本こういう対応をしておくべきだ」と標準化して整理していく。資料化していく、という考え方です。
質疑応答
―ここで視聴者からの質問にお答えいただきました。
「ゲームジャンルごとにテストで重要なポイントって違うのでしょうか？」
グリー堀米：そうですね。大枠のテスト戦略自体はそんなに変わらないんですが、ゲームドメインによってやっぱりアプローチは変えたりしますね。例えばシナリオベースのゲームの場合はシナリオの分岐や、分岐をどう網羅していくかの観点が特に重要になってきます。
音ゲーだとタイミングや流れ方と合っているかどうかの観点が重要になってきますし、アクションだと入力タイミング、動作やスキル周りの確認などが結構重要です。大枠は一緒なんですが微妙に注力すべき点は変わってくる感じです。
1LDK朝岡：テストを突き詰めた結果のキャリアプランは、どんなものがあるのでしょうか？
SHIFT清水：ゲームについて話をさせていただくと、テスターのキャリアだとテスターの次ってテストリーダー、マネジメントに移ります。そこからテストマネージャーになって、そこから先は技術を突き詰めることもあるんですが、大半はマネジメント寄りのキャリアを歩むことになります。
今のゲーム界隈だと開発費が非常に多くなってきている中で、開発遅延がダイレクトに費用に影響するために、プロジェクトのマネジメントが非常に重要視されていると感じています。プロジェクトマネジメントに最も早く携わることができるのがゲームのデバッグ、テストという作業になるので、そこでプロジェクトマネジメントの知見を磨いた人間がゲーム開発の上流に入っていくことで、その知見を活かしていけるんじゃないかと考えています。
グリー堀米：弊社の場合ですと、テストマネージャーの位置づけの人とテストスペシャリストの位置づけの人で分岐してキャリアがあったりします。マネジメントでしたら弊社だと案件数が多いので、案件を複数領域持って、それぞれが対応に問題がないか、ちゃんと滞りなく進捗していくか、を広い範囲でコントロールする位置づけの人。スペシャリストなら、どちらかと言うと技術の特化した人で、テスト戦略を考えたり、標準化を推進したりのリードする人で、あとは自動化を行うエンジニア領域をもっている、テストエンジニアのようにスペシャリティを持ってやっていく人、という分岐です。
「E2Eテスト、ユニットテストなど、どのようなツールを使用して自動化を行っていますか？ またプロジェクトの何％ぐらいのテストを現状自動化できていますか？」
グリー堀米：我々のチーム内で自動化できている範囲でいうと、マスターデータ周りの整合確認などは自動で照合できるように今進めている所ですね。実機で見なくてもデータで照合して仕様と入稿されたデータの整合が取れているかを自動でチェックするということをやっています。また、動的な部分を画像認識によって自動的にチュートリアルで進めることに今着手しているんですけれども、動きが多いゲームだとなかなか作り込みが大変なので、ちょっと様子を見ながら着手しています。
1LDK朝岡：そもそもゲームっていうのは、他のものと比較した時に自動化が難しいものなんですか？
グリー堀米：そうですね。私の感覚にはなってしまうんですけれども、モバイルの場合だと特に仕様変更や画像の実装変更が多いので、メンテナンスがすごく大変なのかなって。一番の課題ですね。
1LDK朝岡：杉原さん、業態ごとのテストの自動化ってどれぐらい行われているっていうのはご存じだったりしますか？
SHIFT杉原：ゲーム以外のところだと、Webからパッケージ、それから実際にスタンドアローンからWebのサーバー、サバクラのサービスまで、自動化を進めていないところがないぐらい着手されているところが多いです。
最近だとGoogleさんではテストをオール自動化することを目指して、一度上手くいったらしいです。やはり導入されているところが多いです。特にテストレベルでいう最後の方ですね。
受入れ、システムテストと呼ばれるようなところで全体感、ある程度実装が済んだ後行うようなもの、シナリオテストや運用テストと呼ばれるところを中心に自動化するのは多いと聞いてはいます。「一部分を標準化したものは自動化で」「今回のオリジナルのところだけ手動で」と切り分けて、より自動化が部分的に達成できるような使われ方もしているかなと思います。
ここで、ゲストの堀米さまから最後に一言いただきました。
グリー堀米：本日色々お話伺えてすごく勉強になりましたし、ご質問いただいた時に「この業界でどんなことを他の方は気にされているのかな」ということが分かって面白かったです。
まだまだゲームのテスト業界は人が足りない状況が続いておりまして、今回のお話を聞いて、ヒンシツ大学にも興味を持っていただいた方は是非そこで勉強していただけたらと思います。そして戦略が立てられるような方を弊社でも募集しておりますので、ご興味ある方は参入していただけたら非常に心強いかなと思いです。
―ここでトークセッションも終了。
いかがでしたでしょうか？今後も「SHIFT Game Producer Meetup」を開催してまいります。ご期待ください！
★PDF無料配布中！ゲームテスト効率化にむけたSHIFTの取組みと事例
執筆者プロフィール：高木 真愛
WEB広告代理店で営業・広告運用を経験し、その後はしばらく接客業にて奮闘。現在はSHIFTにてセミナー運営・集客、バックオフィス業務、人事採用サポート、SHIFTnoteのライターを担当。
お問合せはお気軽に
https://service.shiftinc.jp/contact/
SHIFTについて（コーポレートサイト）
https://www.shiftinc.jp/
SHIFTのサービスについて（サービスサイト）
https://service.shiftinc.jp/
SHIFTの導入事例
https://service.shiftinc.jp/case/
お役立ち資料はこちら
https://service.shiftinc.jp/resources/
SHIFTの採用情報はこちら
https://recruit.shiftinc.jp/career/