Lightning AIは、Nvidiaとの提携のもと、オープンソース機械学習フレームワークPyTorch用のソース・トゥ・ソースコンパイラ「Thunder」を発表した。この新しいコンパイラは、複数のGPUを使用してAIモデルのトレーニングを高速化することを目的としている。Lightning AIによると、Thunderは実際のシナリオで最適化されていないコードと比較して、大規模言語モデル（LLM）のトレーニング速度を最大40%向上させることができる。ThunderはApache 2.0ライセンスの下でオープンソースとして提供され、無料で利用可能である。
Lightning AIは、PyTorch LightningというオープンソースPythonライブラリの開発者として知られ、PyTorchのための次世代ディープラーニングを創造することを目指している。この取り組みは、Nvidiaの他の製品群と互換性があり、torch.compile、nvFuser、Apex、CUDA Deep Neural Network Library（cuDNN）およびOpenAIのTritonを含む。Thunderのリリースにより、GPUを最大限に活用することの課題に対処することが期待されている。
Thunderの開発は、PyTorchのコア開発者であり、TorchScriptの作業やPyTorchをモバイルデバイスで動作させることに貢献したThomas Viehmannによって主導されている。Lightning AIのCEOであるWilliam Falconは、Viehmannとの協力について、PyTorchおよびLightning AIコミュニティに向けた今後のパフォーマンス向上をリードすると述べている。
また、Lightning AIのCTOであるLuca Antigaは、モデルトレーニングのスケーリングにはパフォーマンス最適化とプロファイリングツールが不可欠であると指摘している。ThunderとLightning Studiosのプロファイリングツールを組み合わせることで、顧客はGPUをより効果的に使用し、LLMをより速く、より大規模に運用することが可能になる。Thunderは、Lightning 2.2のリリースに続いて利用可能となった。
【ニュース解説】
Lightning AIがNvidiaとの提携の下で、PyTorch用の新しいソース・トゥ・ソースコンパイラ「Thunder」を発表しました。この技術は、複数のGPUを使用してAIモデルのトレーニングを高速化することを目的としています。Thunderは、実際の使用シナリオで、最適化されていないコードと比較して、大規模言語モデル（LLM）のトレーニング速度を最大40%向上させることができるとされています。また、ThunderはオープンソースとしてApache 2.0ライセンスの下で提供され、誰でも無料で利用することが可能です。
この取り組みは、PyTorchのための次世代ディープラーニングを創造することを目指しており、Nvidiaの他の製品群との互換性を持っています。Thunderのリリースは、GPUを最大限に活用することの課題に対処することを期待されています。
Thunderの開発は、PyTorchのコア開発者であるThomas Viehmannによって主導されています。彼は、PyTorchおよびLightning AIコミュニティに向けた今後のパフォーマンス向上をリードするとされています。また、Lightning AIのCTOであるLuca Antigaは、モデルトレーニングのスケーリングにはパフォーマンス最適化とプロファイリングツールが不可欠であると指摘しています。ThunderとLightning Studiosのプロファイリングツールを組み合わせることで、顧客はGPUをより効果的に使用し、LLMをより速く、より大規模に運用することが可能になります。
この技術の導入により、AIモデルのトレーニングプロセスが大幅に高速化されることが期待されます。これは、研究者や開発者がより迅速にモデルを試験し、改善することを可能にし、AI技術の進歩を加速させる可能性があります。しかし、このような高速化技術の導入には、セキュリティやプライバシーに関する潜在的なリスクも伴います。例えば、AIシステムを悪用するために高速化されたモデルトレーニングが使用される可能性があります。
また、この技術の普及により、AIモデルのトレーニングに関する規制やガイドラインの見直しが必要になるかもしれません。高速化されたトレーニングプロセスが新たな倫理的、法的な課題を生み出す可能性があるためです。長期的には、Thunderのような技術がAI開発の標準的なツールとなり、AI技術の発展において重要な役割を果たすことが予想されます。その結果、AIの応用範囲がさらに広がり、私たちの生活により深く統合されることになるでしょう。
from Lightning AI launches next-gen AI compiler ‘Thunder’ to accelerate model training.
