Metaの次世代AIアーキテクチャ「Megabyte」は何が凄いのか？

FacebookやInstagramの運営会社であるMetaは、SNSの運営だけでなく、近年はAI開発やメタバースといった、ハイテク産業を主導する企業としても注目を集めています。

AIの開発競争が大手で激化する中、Metaは独自の技術開発やサービス提供も進めており、同領域で主導権を握る可能性は少なくありません。

この記事では、そんなMetaが新たに開発した次世代AIアーキテクチャである「Megabyte」について、具体的な特徴やパフォーマンスを解説します。

目次：

1. AIアーキテクチャとは
2. ChatGPTのアーキテクチャが抱える課題
3. Metaの次世代AIアーキテクチャ「Megabyte」とは
4. Megabyteのパフォーマンス
5. Megabyteの実用化に向けた課題

AIアーキテクチャとは

そもそもアーキテクチャとは、コンピュータのシステムを支える論理構造を指します。AIアーキテクチャはAIの基本構造を支える設計思想で、AIの学習スピードや、どのようなコンテンツを扱えるかなどを左右する要素です。

現在のAI開発において主流となっているAIアーキテクチャが「Transformer」です。2017年に発表されたこのアーキテクチャは、従来の学習モデルと比較しても学習時間が短く、それでいて制度にも優れることから、瞬く間に普及しました。

Transformerは近年の生成AIブームにおいても重要な役割を果たしており、OpenAIの最新AIであるGPT-4や、GoogleのBardなどにも同様のアーキテクチャが備わっています。

ChatGPTのアーキテクチャが抱える課題

Transformerは広く普及しているAIアーキテクチャであり、上記のAIに加え、もちろんChatGPTにも実装されている設計です。

複雑な指示にも柔軟に対応できるTransformerは、現状ではベストな選択肢ではあるものの、運用に当たっては課題もあります。Transformerの課題についてMetaのAI研究チームが指摘するのは、

• トークン量の多いシーケンスを効率的に処理するのが次第に難しくなる
• 文字のグループごとに独立して処理を実行するため計算負担が大きくなりやすい

という2点です*1。Transformerは確かに複雑な指示にも対応はできるものの、ユーザーによる入力が長くなり、AIの出力も同時に長くなると、端的な入力と出力の時に比べてそのパフォーマンスは下がってしまいます。

また「フィードフォワード・ニューラルネットワーク」と呼ばれる、言語モデルが単語の理解や処理を助ける機能が文字のグループごとに単独で実行されるため、まとめての計算ができず余計に計算量を増やしてしまい、計算負荷が大きくなるのも課題の一つです。

AI開発の競争はどんどん高度になっているとはいえ、世の中の大半のAIサービスがTransformerを運用している以上、これらの課題を解消できなければ、さらなるAI開発を見込むのは難しくなってくるかもしれません。

Metaの次世代AIアーキテクチャ「Megabyte」とは

このような従来型のAIアーキテクチャの課題を解消するために登場したのが、Metaの「Megabyte」です。Megabyteは上で指摘した計算負荷の増大や計算限界の解消に重きを置いたAIアーキテクチャで、入出力を従来のように個々のトークンで行うのではなく「パッチ」単位で実行することで、問題の解決を試みています*2。

トークンベースではなくパッチベースでのシステム構築に切り替えたことで、MegabyteはTransformerのような一つずつ計算を行う方式から、複数の計算を並列処理できるようになりました。これによって、従来のAIが抱えてきた計算負荷の増大、および計算力の限界を乗り越える事ができるのではないかと言われています。

Megabyteの具体的なパフォーマンス

Megabyteが採用している並列処理は、Transformerの際には計算負荷増大の原因となっていたパラメータが多い場合での計算の効率化に貢献します。

MetaのAI研究チームが発表した結果によると、15億のパラメーター数を持つMegabyteのAIモデルは、パラメータ数が3億5,000万のTransformerのそれよりも40%も早くシーケンスを作成できたとして、性能の高さを立証したという事です*3。

また、GPT-4では3万2000トークンの生成が上限だったのに対し、Megabyteでは120万のトークンを作成することにも成功しているなど、Metaの最新AIアーキテクチャのポテンシャルの高さがうかがえます。

Megabyteが生成AI開発に与える影響

Megabyteを実装した生成AIの開発は、従来のTransformerを使ったAIモデルに比べ、より柔軟性の高いAIサービスの開発にも影響を与えるとされています。

Transformerを採用しているAIの場合、大規模言語モデルにおいてトークンを採用することは避けられませんでしたが、これがAIの負荷を大きくしている要因とされてきました。Megabyteにおいてはトークン化を廃止し、柔軟なAI活用を行えるようになることが期待できます。

また、従来の生成AIでは、既存の文章の要約や文章の創造は可能ではあったものの、ようやくされた文章から元の文章を復元するようなAI運用は難しい問題を抱えていました。

これはTransformerのトークン化を実行することによる弊害でもあったのですが、Megabyteであれば、このような課題を解消する上でも役に立つかもしれません。より柔軟性の高い言語生成AIを開発に導くためには、従来型のアーキテクチャではなくMegabyteのような次世代AIアーキテクチャが必要となるでしょう。

Megabyteの実用化に向けた課題

Megabyteは従来のAIアーキテクチャよりも高度なAIモデルの開発の可能性を秘めている反面、実用化に当たっては改善点もあります。

現状でも十分高いパフォーマンスを発揮するMegabyteですが、同アーキテクチャが採用するパッチ技術を、より効率的なエンコーダモデルの実装やシーケンスを小さなブロックに分解するためのデコードモデルの実装が進めば、高い実用性を発揮できるかもしれないとのことです*4。

まとめ

この記事では、Metaが新たに開発したAIアーキテクチャのMegabyteについて解説しました。Megabyteは現在主流のTransformerに比べ、はるかに高い処理能力をAIモデルに実装できる可能性を秘めています。

また、従来のトークン化を脱却してパッチ技術を実装することで、従来の生成AIが不得意としていた柔軟な文章生成についても可能になるポテンシャルを秘めており、AI開発をさらに飛躍させるきっかけとなるかもしれません。

*1 GIGAZINE「Metaが既存の生成AIにあるトークン制限をはるかに上回る100万トークン超のコンテンツ生成を可能にする次世代AIアーキテクチャ「Megabyte」を発表」

https://gigazine.net/news/20230525-meta-ai-megabyte/

*2 上に同じ

*3 上に同じ

*4 上に同じ