Claude 2は、要約の性能がChatGPTより勝っていると噂されています。
それは、本当なのでしょうか?
実際に比較するのが、何よりも早いです。
Claude 2においても次の記事と同じことを試してみましょう。
上記記事における動画と同じ字幕データを利用します。
プロンプトも同じように2つ用います。
とりあえず、ファイルをアップロード。
まずは、何の工夫もないプロンプトからです。
要約して
そして、次は手の込んだプロンプトを用います。
あなたは、経験豊富な要約の専門家です。
この文章を読み取り、その要点を明確に把握してください。
要約の際、2023年までのデータに基づいてください。
バレットポイントを避け、代わりに文章形式で回答してください。
300文字以内で要約を提供してください。
Claude 2の場合は、「要約して」でも十分かもしれません。
ChatGPTと異なり、文意を理解して箇条書きにしているように見えます。
手の込んだプロンプトの方でも、何も言うことはありません。
箇条書きを上手く文章にしたという印象を受けます。
いづれにせよ、非常にわかりやすい要約となっています。
個人的には、ChatGPTの要約よりも勝っていると感じます。
と言っても、これは私の主観に過ぎません。
では、次は皆さん自身で判断してみてください。
Gigazineの記事に対して、Claude 2とChatGPTの要約を載せています。
プロンプトは、全く同じモノ(手の込んだ)を用いています。
一つ目の記事は、以下。
[A]
Appleは、人工知能 (AI) の開発における競争での遅れを取り戻すための投資として、 次の2年間で約7500億円を計画していることが明らかにされています。 ティム・クックCEOは、生成AIの開発を進めていることを認めており、 アナリストのミンチー・クオ氏によれば、 AppleはAI開発のための専用サーバー購入に50億ドルを費やす可能性があるとのことです。 また、Bloombergの報道によると、Appleは次期オペレーションシステムのAI機能強化のため、 10億ドルの投資を行っているとの情報が伝えられています。
[B]
Appleは、生成AI分野での競争力を高めるため、2023年と2024年の2年間でAIサーバーに最大7500億円を投資する計画だ。 投資額はNVIDIAのAIチップ不足に制限されているものの、2024年には1万8000~2万台のAIサーバーを購入する見込み。 Appleは自社でAIインフラを構築することで、セキュリティとプライバシーを確保しようとしている。 ただし、MicrosoftやMetaなど他社と比べて投資額は少なく、生成AIで競争力をつけるには、ソフトウェア開発力が鍵となる。
二つ目の記事は、以下。
[a]
シカゴ大学の研究チームが、AIの画像生成モデルの学習を妨害するツール「Nightshade」を開発した。 このツールでは、画像にごく小さな変更を加えることで、AIがその画像の内容を誤認識するようにできる。 例えば、犬の画像を猫と認識させたり、車を牛と認識させることが可能。 研究チームは、Nightshadeを既存のツール「Glaze」のオプションとして近日公開する予定だ。
[b]
シカゴ大学の研究チームが開発した「Nightshade」というツールは、 画像の見た目を大きく変えずにAIによる画像学習を阻害する目的で設計されています。 このツールは、画像生成AIの学習に自分の作品を使用されたくないアーティストやクリエイター向けに開発されており、 画像に人間の目では気づきにくい変更を加えることでAIの学習を阻害する方法を取り入れています。 Nightshadeの特徴として、特定の被写体の画像を別の被写体としてAIに誤認させる処理が可能で、 例えば「犬の画像を猫として誤認させる」ような操作が行えます。 この結果、Nightshadeで処理された画像を学習させたAIは、指示に従わず誤った出力を行うことが確認されています。
それぞれでどちらの要約が好みですか?
そして、どちらが頭に良い要約だと言えますか?
回答は、以下。
[A] | ChatGPT |
[B] | Claude 2 |
[a] | Claude 2 |
[b] | ChatGPT |
まず、個人的にはClaude 2の文章の方が好みです。
1文が短いという、良い文章の基本が成立しています。
内容について述べると主観が混じります。
そこで、ChatGPTとClaude 2に批評してもらいましょう。
次のようなプロンプトを入力するのです。
二つの文章を比較して、批評してください。
[A]全文コピペ
[B]全文コピペ
ChatGPTは、次のように評価しています。
Claude 2も似たような内容です。
両方とも、対象となるユーザーによって要約の良し悪しは変わるということを言っています。
Gigazine自体は、一般的な知識のユーザーが対象と思います。
そこで、対象を一般ユーザーにした場合の結果を確認してみます。
一般のユーザー向けには?
一般ユーザー向けだと、[B]の要約がベターとなります。
つまり、Claude 2の要約の方がわかりやすいという結果です。
ChatGPTすらも、そのように認めているとことになります。
ただし、対象が一般ユーザーの場合となりますけどね。
ここまでしておいて何ですが、ChatGPTとClaude 2の両方ともを使えばよいのではないでしょうか。