Foresight Newsによると、Anthropicの共同創設者であり、OpenAIの元政策ディレクターでもあるジャック・クラークは、週次AIニュースレター『Import AI』において、分散型トレーニングの重要性を強調した。彼は、複数のノードにわたる分散学習を活用することで、データのプライバシーとシステムの堅牢性が向上すると指摘した。Epoch AIによる研究を引用して、クラークは分散型トレーニングの計算規模が年間20倍のペースで拡大しており、最先端の集中型トレーニングの5倍の成長率をはるかに上回っていると述べた。現在の分散型トレーニングは先進的な集中型手法と比べて約1,000倍小さいものの、技術的には実現可能であり、より強力なモデルを開発するための広範な共同作業を促進する可能性があると述べた。

#AI