GPT は「Generative Pre-trained Transformer」の略です。これは、人工知能を安全かつ有益な方法で開発および推進することに専念する研究組織である OpenAI によって開発された言語モデルの一種です。

GPT モデルは、言語などのシーケンシャル データの処理に特に適したニューラル ネットワークの一種であるトランスフォーマー アーキテクチャに基づいています。GPT モデルは「事前トレーニング済み」です。つまり、言語翻訳やテキスト補完などの特定のタスクに合わせて微調整される前に、まず大規模なテキスト データのコーパスでトレーニングされます。

事前トレーニング プロセスでは、モデルを書籍、記事、Web ページなどの大量のテキスト データにさらし、コンテキストが与えられた場合に次の単語または単語のシーケンスを予測するようにトレーニングします。これにより、モデルは言語の統計的なパターンと関係を捉えることを学習し、プロンプトが与えられたときに一貫性のある流暢なテキストを生成できるようになります。

GPT モデルは、テキスト補完、チャットボット、言語翻訳など、さまざまなアプリケーションで使用されてきました。現在までに最も先進的な GPT モデルは GPT-3 で、1,750 億のパラメータを持ち、さまざまな言語タスクで優れたパフォーマンスを発揮しています。