はじめに

こんにちは。DAAEの栗山です。AWS BedrockのClaudeモデルを試してみたのでそれについて記します。

ClaudeはAnthropicが提供するLLMのモデルです。AnthropicはGoogleやAmazonが出資し、そのClaudeモデルは最大10万トークンを扱えることで有名です。 本稿ではClaudeの各モデルに対して「聞く」「要約」「難しいプロンプト」の3種のプロンプトを試しました。最後に、Claudeモデルに対する私の所感（何に使えそうか？）をまとめます。

Claudeの各種モデルを試す

確認観点

Bedrockで使用できるClaudeのモデルは V1 Instant, V1, V2です。今回はざっくりと性能や特徴を把握することを目的に各モデルで以下を試します。

• 技術的な質問

• 要約

• 推論と手順の参照が必要な高度な命令

各々、以下のプロンプトを使用します。

• 技術的な質問

Large Language ModelとしてのTransformerについて解説してください。

• 要約 織田信長に関する文章を要約させます。
  ※この文章はBardの真偽確認機能を使いながら作成しました。最近、戦国時代の小説を読み込んでいる私の認識とも相違ありません。

以下の文章を要約してください。

織田信長は、戦国時代を代表する武将であり、日本の歴史上最も重要な人物の一人です。彼は、戦国時代の混乱を終わらせ、豊臣秀吉や徳川家康といった後世の英雄を輩出した人物です。

信長は、尾張国（現在の愛知県）に生まれました。幼い頃から武芸に優れ、15歳で家督を継ぎました。その後、尾張を統一すると、隣国の美濃国や近江国を攻略し、勢力を拡大していきました。

1560年、桶狭間の戦いで今川義元を討ち取ったことで、信長の名は全国に知れ渡りました。そして、1568年には、足利義昭を奉じて上洛し、京都を掌握しました。

信長は、戦国時代の乱世を終わらせるため、さまざまな改革を断行しました。それらは、以下の通りです。

- 室町幕府を滅ぼし、全国を統一した。
- 旧来の封建制度を廃止し、中央集権体制を築き上げた。
- 商業や文化を奨励し、経済の発展を促した。

しかし、信長の統治は、常に武力と圧力によって支えられていました。彼は、自分の権力に脅威を与える存在を容赦なく排除し、そのために多くの人々が犠牲になりました。

1582年、信長は、家臣の明智光秀に謀反を起こされ、本能寺で暗殺されました。

信長は、残虐な独裁者として批判されることもありますが、一方で、日本の統一と近代化の礎を築いた英雄としても評価されています。彼の残した功績は、現代の日本にも大きな影響を与え続けています。

• 推論と手順の参照が必要な高度な命令 諸行無常の手順を与え、会社員を対象にシミュレートします。このプロンプトは以前、私がChatGPTで試したものです。参考

諸行無常の手順

1. すべての存在は変化するものであることを理解する
諸行無常の最初のステップは、あらゆる存在や現象が変化するものであることを理解することです。この理解は、常に変化する世界で自分自身や他者を見つめることから始まります。自然界の季節の変化や、人間の成長や老化などを観察することで、あらゆるものが変化するものであることを理解します。

2. 執着心を捨てる
次に、執着心を捨てることが必要です。執着心とは、あるものや状況に執着して離れられない心の状態です。この執着心があると、諸行無常を受け入れることができず、苦しみの原因となります。したがって、執着心を捨て、変化するものとして受け止めることが大切です。

3. 現在を大切にする
諸行無常の教えは、現在を大切にすることを教えています。過去に固執することはできないし、未来を確実に予測することもできないので、現在を生きることが大切です。この瞬間を大切にして生きることで、心の平穏を得ることができます。

4. 常に学び、変化に適応する
諸行無常の教えは、常に学び、変化に適応することが重要であることを教えます。変化に適応するためには、新しい情報や技術を学ぶことが必要です。また、状況や環境が変化した場合には、柔軟に対応することができるようになる必要があります。

上記の手順を以下を対象にシミュレートしてみてください。
対象：会社員

技術的な質問

以下に各々のプロンプトの出力結果を乗せます。

• Claude V1 Instant
  読みづらい（理解しづらい）ですね。

• Claude V1
  V1 Instantと比較してとてもわかりやすい文章になりました。

• Claude V2
  箇条書きになりましたが、文章のわかりやすさはV1と同等に思えます。

要約を試す。

• Claude V1 Instant
  要約として正しいと思います。体言止めが多いですね。「given文章」という表現が減点です。

• Claude V1
  V1 Instant にあった不自然な表現（given文章）がなくなり、全体的にも自然な流れで読みやすくなりました。

• Claude V2
  V1と比べてさらに文章が短くなり、要約としてはレベルが上がったといえるでしょう。しかし V1 の時点ですでに自然な要約ができているので、革新的に性能が上がったとまでは言えません。

推論と手順の参照が必要な高度な命令を試す。

• Claude V1 Instant
  正確にプロンプトを実行しています。V1 Instant ですでにこの性能があるのはすごいですね。

• Claude V1
  V1 Instantと比べて、解説が増え、わかりやすさが増したように感じます。

• Claude V2
  箇条書きになり、読みやすくなりました。ただこちらもV1 Instantの時点でプロンプトを正確に実行しており、革新的に精度が上がったとは言えません。

Claudeを使ってみた所感

上記の結果を表にまとめます。

×：できない。 △：できるが難あり。 〇：できる。

私の所感をまとめると、以下になります。

• Claude V1 Instantからプロンプトを正確に実行する能力がある。

• Claude V1 InstantからRAGのエージェントに使用できそう。

• Claude V1 からは日本語の文章が自然(V1 Instantは心もとない)

• 少なくとも部分的にはGPT3.5/4からの置き換えが可能。

• 最大10万トークンであるため、一部の領域ではGPT4以上のことができる。

「LLMに何かを質問する」というタスクは、真偽確認のできるBardやBingの領域であり、私がBedrockに求めるのはその他の領域でのテキストに対する処理です（要約など）。その観点では十分にGPT3.5/4から置き換えが可能であると思います。

そのため、ほかにポイントとなるのは「料金」と「どのクラウドサービスを使用するか？」といった点でしょう。AzureよりもAWSの方が得意なベンダーにとっては、Bedrockは有効な選択肢になると思います。「料金」については今後、確認したいと思います。

以下の点について今後、検証したいと思います。

• GPT3.5/4からの置き換えについて

• Claudeにおける10万トークンの活用方法

お読みいただきありがとうございます。

＼もっと身近にもっとリアルに！DAAE公式Twitter／

《お問合せはお気軽に》

SHIFTについて（コーポレートサイト）
https://www.shiftinc.jp/

SHIFTのサービスについて（サービスサイト）
https://service.shiftinc.jp/

SHIFTの導入事例
https://service.shiftinc.jp/case/

お役立ち資料はこちら
https://service.shiftinc.jp/resources/

SHIFTの採用情報はこちら

PHOTO：UnsplashのAlexander Shatov