大規模言語モデル「Falcon」とは？オープンソースの同モデルが注目される理由
AI開発の精度や効率を高める上では、優れたエンジニアやデータサイエンティストの存在は大切ですが、それと同じくらいに重要なのが言語モデルです。
運用効率や単純なスペックに優れる言語モデルの登場は、これまでも多くのAI開発を成功に導いてきましたが、現在もさまざまな言語モデルの開発が進んでいます。
この記事では、新たに登場したオープンソースの大規模言語モデル「Falcon」について、その特徴や注目の背景などを解説します。
目次：
- 大規模言語モデル「Falcon」とは
- Falconの具体的なスペック
- Falconが注目される理由
- まとめ：FalconとAI開発の今後
大規模言語モデル「Falcon」とは
2023年6月、アラブ首長国連邦（UAE）に拠点を構えている研究機関「Technology Innovation Institute」が、大規模言語モデルの「Falcon」を新たに発表しました。
今回登場した学習モデルは400億個のパラメーターを有するハイエンドモデルの「Falcon-40B」と、70億個のパラメーターを有する「Falcon-7B」モデルの2種類で、いずれも商用利用可能なオープンソースの言語モデルです*1。
ハイエンドモデルのFalcon-40Bはパラメーター数の大きさからもわかるように、運用に当たってはユーザーに相応の環境の整備を求めます。推奨GPUスペックは90GBと、一般ユーザーが運用するにはかなり厳しい条件が提示されていますが、一方のFalcon-7Bについては前者と比べて小さいパラメーターで構成されているため、実用性の高さが特徴です。
こちらは15GBという、AI学習モデルにしては軽量なスペックのGPUで運用ができ、運用ハードルの小ささもあることから今後世界各国で普及する可能性も秘めています。
Falconの具体的なスペック
上で紹介した通り、Falconは非常に高度な学習が行われた言語モデルであり、他の言語モデルと比較しても高い成績を残せる存在であることがわかっています。
Falconは現在、機械学習に関するデータ共有サイトの「Hugging Face」上で公開されていますが、そこではオープンソースの大規模言語モデル同士の性能をスコア化してランキングにする「Open LLM Leaderboard」も合わせて公開されています。
ハイエンドモデルであるFalcon-40Bはこのリーダーボードにて、これまで人気とスペックの両方で高いスコアを叩き出していた、llama系のモデルを抜き1位にランクインし、Falcon-7Bについても同じようなスペックの学習モデルと競わせたところ、1位にランクインしたということです*2。
このような高いパフォーマンスをFalconシリーズが残せる理由として、開発者はトレーニングの際に使用したデータの工夫を挙げています。大規模なデータセットとして知られるRefinedWebをベースとしながら、学習に当たっては重複の排除やフィルタリングを実行し、他のコーパスと同じレベルのクオリティにまで高めたことが、Falconの性能に大きく寄与しました*3。
また、Falconでは「マルチクエリアテンション」と呼ばれる機構を備えているのも特徴です。従来のトランスフォーマー構造におけるマルチヘッド部分は、ヘッドごとにクエリやキー、そして値を保存する仕組みが採用されていました。
しかしマルチクエリアテンションの場合、全てのヘッドでクエリやキー、値を保存するため、動作の際に発生するキーと値のキャッシュ量を、最大で100分の1まで削減することができます。その結果、少ないメモリ量でも高性能な学習性能を発揮できるということです*4。
Falconが注目される理由
Falconが注目されるとしては、主に
- 高性能なパフォーマンスを発揮できる
- 軽量である
- オープンソースである
という3つの強みが挙げられるでしょう。
高性能なパフォーマンスを発揮できる
上でも触れた通り、大規模言語モデル運用において最も重視されるのが学習性能の高さです。Falconは高いスコアを残せることを証明しており、Huggingface上に公開されているものと比較しても群を抜いたスペックを備えています。
採用する言語モデルが優れているほど、高度なAI開発を迅速に進められます。近年はAI開発が激化しており、ただAIを導入・開発するだけでなく、AIの質が高いことが求められるようになってきました。
高性能な言語モデルであれば、このようなAI開発競争においてアドバンテージを得やすいため、Falconの存在は開発者にとって魅力的です。
軽量である
Falcon-40Bはスペック相応のGPUリソースを開発者に求めますが、軽量モデルであるFalcon-7Bであれば標準的なスペックで利用できます。
Falcon-7Bは40Bモデルにこそそのスペックは及びませんが、15GB程度のGPUで動作する言語モデルとしては高いスペックを誇ります。
AI開発を始めたいが、開発環境の整備に時間とコストがかかるということで、導入を先送りにするケースも考えられます。しかしFalconのように軽量かつ高性能な言語モデルの登場は、AI開発のハードルを低くさせ、AI開発や運用を活性化させてくれるでしょう。
オープンソースである
もう一つFalconの強みとして見逃せないのが、オープンソースである点です。オープンソースということは、端的に言えば無料で商用利用ができるということです。
これまで、高性能な言語モデルは各企業が独自に開発し、自社AIの開発にのみ適用するというケースが一般的でした。しかし最近ではオープンソースの言語モデルを開発し、広くAI開発を普及させようという動きも増加傾向にあります。
オープンソースで言語モデルを開発するメリットは、フィードバックを一般ユーザーから募り、改善を進めやすい点です。一企業で開発を進めていると、どうしても人的リソースに限界があり、改善スピードも相応に留まります。
しかしオープンソースであれば世界中の無数のユーザーが利用し、そこからフィードバックや学習データも得られるため、モデル開発を高いレベルで進められるのが強みです。
また、ユーザーである開発者も無料で優れた言語モデルを利用できれば、コストパフォーマンスの高いAI開発が進められます。
まとめ：FalconとAI開発の今後
この記事では、高性能なオープンソース言語モデルであるFalconについて解説しました。Falconは優れた言語モデルとして注目されており、オープンソースなので誰でも無料で利用可能です。
Falconのような高性能モデルを無料で利用できる環境が整備されれば、世界のAI開発はますます加速し、実社会におけるAI実装、およびより高度なAI開発も加速していくことが期待できます。
現在、Falconは気軽にそのモデルの性能を確かめたいというユーザー向けに、チャット形式のデータでファインチューニングが行われた状態で利用ができる「Falcon-40B-Instruct」「Falcon-7B-Instruct」も公開しています*5。試しにこういったサービスを利用してみるのも良いでしょう。
大手ゼネコンBIM活用事例と 建設業界のDXについてまとめた ホワイトペーパー配布中！
❶大手ゼネコンのBIM活用事例
❷BIMを活かすためのツール紹介
❸DXレポートについて
❹建設業界におけるDX
DOWNLOAD▼キャパの公式Twitter・FacebookではITに関する情報を随時更新しています！
出典：
*1 GIGAZINE「オープンソースで商用利用可能な大規模言語モデル「Falcon」が登場、オープンソースモデルの中では最高の性能に」
https://gigazine.net/news/20230606-falcon-open-llm/
*2 上に同じ
*3 上に同じ
*4 上に同じ
*5 上に同じ
