「Pythonで英語の長文を自動要約したい」
「英語ページの情報収集を効率的に行いたい」
このような場合は、Googleが発表した文章要約モデルPegasusを利用しましょう。
本記事の内容
- Pegasusとは？
- Pegasusによるテキスト要約のシステム要件
- Pegasusによるテキスト要約の動作確認
それでは、上記にそって解説していきます。
Pegasusとは？
Pegasusは、Transformerベースのモデルです。
Pegasusを用いれば、抽象型の文章要約を行うことが可能になります。
抽象型であるため、新たに文章を作成します。
その点では、抽出型の文章要約よりも複雑な処理を行います。
言葉で抽象型と言ってもイメージが掴みにくいと思います。
実際に、Pegasusでできることを確認しましょう。
You Don’t Really Need to Upgrade to Windows 11, but It’s Good
https://gizmodo.com/you-dont-really-need-to-upgrade-to-windows-11-but-its-1847779289
上記は、長文の英語記事です。
どれくらい長文であるのかは、実際に各自で確認してみてください。
その長文が、Pegasusで次のように要約されます。
（※見やすいように改行しています）
In short, the upgrade to Windows 11 is a bit of an adventure, but so far, it’s been a relatively rewarding one because quite frankly, a lot of changes in Windows 11 were long overdue.
A Fresh Face for Windows One of the biggest reservations a lot of longtime Windows users have about Windows 11 is that it looks too much like macOS, and they’re not entirely off base.
日本語の訳文（DeepL翻訳）を載せておきます。
要するに、Windows 11へのアップグレードはちょっとした冒険ですが、今のところ、比較的やりがいのあるものになっています。というのも、率直に言って、Windows 11の多くの変更は長い間待ち望まれていたものだからです。
Windowsの新しい顔 Windows 11について、長年のWindowsユーザーの多くが懸念しているのは、macOSに似すぎているということですが、それはあながち的外れではありません。
要約を見るだけで、Windows 11の雰囲気は掴めそうです。
個人的には、macOSに似ているのは知りませんでした。
Pegasusの精度に関しては、まだまだというところがあるでしょう。
しかし、英語の長文を読む際の参考にはなりそうです。
以上、Pegasusについて説明しました。
次は、Pegasusによるテキスト要約のシステム要件を確認します。
Pegasusによるテキスト要約のシステム要件
Pegasusによるテキスト要約のシステム要件は、以下。
- PyTorch
- Transformers
- SentencePiece
それぞれを以下で説明します。
PyTorch
Transformersを動かすには、機械学習のフレームワークが必要となります。
PyTorchかTensorflowかの二択になることが多いでしょう。
Pegasusモデルに関して言えば、どちらでも動きます。
ただ、個人的にはPyTorchをおススメします。
その理由は、次の記事で解説しています。
また、PyTorchのインストール方法も説明しています。
私の環境で利用したインストールコマンドは、以下。
pip install torch==1.9.1+cu111 torchvision==0.10.1+cu111 torchaudio===0.9.1 -f https://download.pytorch.org/whl/torch_stable.html
ただし、これはこのまま使うのはNG。
上記記事をもとに、各自の環境にあったインストールコマンドを用意しましょう。
Transformers
自然言語処理と言えば、Transformersとなりつつあります。
2021年10月時点では、Transformersにおいて17,460個のモデルが公開されています。
モデルに加えて、データセットも公開しているようです。
もう、TransformersはNLPのプラットフォームであると言えますね。
Transformersのインストールについては、次の記事で説明しています。
次のコマンドでインストールが可能です。
pip install transformers
SentencePiece
SentencePieceは、簡単に言うとトークナイザーです。
字句解析を行います。
SentencePieceについては、次の記事でまとめています。
インストール方法についても説明しています。
次のコマンドでインストールが可能です。
pip install sentencepiece
以上、Pegasusによるテキスト要約のシステム要件を説明しました。
最後に、Pegasusによるテキスト要約の動作確認を行います。
Pegasusによるテキスト要約の動作確認
動作確認を行う前に、長文の英語テキストを用意します。
今回は、上記で触れた次の記事内容をコピーしてinput.txtに保存。
「You Don’t Really Need to Upgrade to Windows 11, but It’s Good」
では、動作確認を行っていきます。
動作確認が可能なコードは、以下となります。
from transformers import PegasusForConditionalGeneration, PegasusTokenizer
import torch
txt_path = "input.txt"
src_text = ""
with open(txt_path, encoding="utf-8") as f:
src_text = f.read()
# モデル読み込み
model_name = 'google/pegasus-large'
device = 'cuda' if torch.cuda.is_available() else 'cpu'
tokenizer = PegasusTokenizer.from_pretrained(model_name)
model = PegasusForConditionalGeneration.from_pretrained(model_name).to(device)
batch = tokenizer(src_text, truncation=True, padding='longest', return_tensors="pt").to(device)
translated = model.generate(**batch)
tgt_text = tokenizer.batch_decode(translated, skip_special_tokens=True)
print(tgt_text)
上記を実行すると、初回だけモデルがダウンロードされます。
注意すべきは、2G越えのデータが存在するということです。
Downloading: 100%|██████████| 2.12G/2.12G [03:22<00:00, 11.3MB/s]
ダウンロードには、時間がそこそこかかります。
もちろん、ディスク容量もその分だけ必要となります。
問題なければ、実行結果が表示されます。
それが、「Pegasusとは？」に記載した次の記事の要約です。
「You Don’t Really Need to Upgrade to Windows 11, but It’s Good」
以上、Pegasusによるテキスト要約の動作確認の説明でした。
