今話題の学習モデル「LoRA」とは？生成AIなどへの活用事例も紹介

AIで生成したイラストや文章をテンプレート化したい―――AI技術活用が当たり前になってきている今、そんなことを思う方は多いのではないでしょうか？
そんな願いを叶えてくれるのが、「LoRA」です。

そこで本記事では、LoRAとは何かをはじめ、活用例まで紹介します。
生成AI使用時の効率化を目指したい方は、ぜひ最後までお読みください。

この記事を読むと、以下のことがわかります。
1.学習モデル「LoRA」とは何か
2.LoRA活用のメリット
3.LoRAの活用例

学習モデル「LoRA」とは何か？

LoRAとは、Low-Rank Adaptationの略で、LLM（大規模言語モデル）や画像生成AI（人工知能）を効率よく調整する手法のひとつです。ある特定のタスクやジャンルに寄せた出力を行う「ファインチューニング」と呼ばれる作業を行う際に用います。

ファインチューニングとは、すでに学習済みのモデルに新たな層を追加し、モデル全体を再学習する手法です。

Low-Rank Adaptationとは、「少ない計算量で適応できる」という意味で、ファインチューニングできることにより、一から学習するよりも短時間かつ少ないデータ量で学習できるのです。そのため、従来よりもスペックの低いPCで、手軽に追加学習ができるようになりました。

具体的には、もともとのLLMや画像生成AIのパラメータを固定したまま、別のパラメータを横づけし、その部分のみファインチューニングするのです。車やガジェットのオプションパーツをイメージしていただければ理解しやすいでしょう。

ここまで専門的な用語で説明してきましたが、簡単に言えばLoRAとは、Chat GPTなどのLLMやStable Diffusionなどの画像生成AIのプロンプトを手軽にテンプレート化できる学習モデルのことなのです。

この学習モデル「LoRA」は、2021年にMicrosoftに所属していたEdward Huらによって論文「LoRA: Low-Rank Adaptation of Large Language Models」※1で発表されました。

LoRAを活用するメリット

LoRAを活用することによって、以下のメリットがあります。

・自分の好きな作風を記憶しておける
・GPUメモリを削減できる
・計算時間が短い
・保存容量が減る
・コスト削減ができる

それぞれ順番に解説していきます。

自分の好きな作風を記憶しておける

LoRAでは、自分の好きな作風のプロンプトをテンプレート化できます。

たとえば、Chat GPTなどの対話型AIの場合は、LoRAにより生成される文書スタイルを統一させ、すべて同じ口調にすることができます。そのため、AIで生成する文章のスタイルが所々異なることによる不自然さが生まれません。

イラスト生成AIの場合は、ポーズ、髪型、背景、服装や、アニメ風、3D風などの画像スタイルをテンプレート化できます。ですので、同じキャラクターを作り上げるのに毎回一からプロンプトを入力し生成する必要がないのです。

GPUメモリを削減できる

LoRAでは、GPUが使用するメモリーの使用量が減ります。先述のEdward Huらの論文「LoRA: Low-Rank Adaptation of Large Language Models」の中では、訓練可能なパラメータの数を大幅に削減する例として、GPT-3 175Bモデルにおいて、LoRAは訓練可能なパラメータを10,000倍減らし、GPUメモリ要件を3倍削減することが実証されています。

GPUメモリとは、グラフィックボードに搭載されている映像処理専用のメモリのこと。ゲームや映像編集など、映像の品質を重視するときは、GPUメモリが豊富なものが選ばれます。このように、もともとは画像処理を行う装置でした。

しかし、最近ではAI開発に利用されています。その理由は、GPUは「並列計算が得意で、同じような計算を高速で繰り返すことができる」という特徴があるからです。
AI開発には膨大な演算処理が求められるため、演算装置としてGPUが利用されるようになったのです。

計算時間が短い

LoRAは、元のモデルのパラメータを直接変更する代わりに、低ランクの行列を導入して、パラメータの変更を行うことができます。つまり、調整すべきパラメータの数が減るため、少ない計算量、時間で元のモデルに修正を加えることができるのです。

保存容量が減る

LoRAで学習したパラメータの保存容量が減ることもLoRA活用のメリットです。

たとえば、学習したモデルを一から再学習させると、保存容量も大きくなってしまいます。
しかし、LoRAを使えば、学習済みモデルに横付けして調整したパラメーターだけを保存しておいて呼び出せばいいだけなので、保存容量は減ります。

コスト削減ができる

LLMなどの大規模モデルは、ある特定のタスクやジャンルに適応させるためには、通常一から再学習が必要でした。この再学習は非常に高コストとなるのです。

しかし、LoRAは新たなパラメータを元のパラメータに横づけし、その部分のみファインチューニングするので、コスト削減が実現できます。

LoRAの活用例

LoRAは画像生成AIで活用されることが有名ですが、ほかにも活用できることはあります。
本章では下記活用例を順番に解説していきます。

・チャットボットの応対を自社仕様にカスタマイズする
・A/Bテストでどちらの学習が良かったかを評価する
・AIモデルで商品をPRする
・画像生成AIでゲームのキャラクターを作成する

チャットボットの応対を自社仕様にカスタマイズする

LoRAは大規模LLMにて文章のスタイルなどをテンプレート化できることから、チャットボットを自社仕様にカスタマイズすることができます。

キャラクターを応対者に見立ててフレンドリーな話し口調にしたり、ビジネスライクな丁寧な応対にさせることも可能です。

また、医療、製造業、金融など、特定の業界での専門的な言語モデルの訓練にも利用されているため、この訓練成果をチャットボットに反映することもできるでしょう。

A/Bテストでどちらの学習が良かったかを評価する

LoRAはもともとのモデルに別のパラメータを横づけし、その部分のみファインチューニングを行うため、数パターンの追加学習層を作成することができます。

その特性を使い、2つの学習層を交互に試すことで、どちらの学習パターンが良かったかA/Bテストで検証することができるのです。

今まで一からの学習だとコストがかかるため2パターン試すのを断念していたことでも、LoRAであればコストを抑えつつA/Bテストが実施できます。

AIモデルで商品をPRする

こちらは、LoRAの活用例として有名な画像生成AIを活用する例です。LoRAを使えば同じ人物でさまざまなポーズ、背景、服装、髪型などにできるため、AIモデルを生成し、アパレルなどの自社商品のPRに活用できます。

そのため、人間のモデルを起用するよりも撮影場所や人件費のコストが抑えられます。さらには、昨今頻発している起用タレントやモデルの不祥事による起用取り止めのリスクなども回避できるのです。

画像生成AIでゲームのキャラクターを作成する

こちらも画像生成AIを活用する例です。
従来ゲーム開発は膨大なコストと時間がかかっていましたが、LoRAを要所要所で活用することにより、コストと時間を削減することができます。

たとえば、案出し段階でタイトル画面やパッケージを数パターン作る際、1つのゲームキャラクターにさまざまなポーズや背景、髪型などを実装し比較できます。

コストと時間の削減だけでなく、さまざまなアイディアを生み出すきっかけにもなるでしょう。

まとめ

今回は、学習モデル「LoRA」について解説しました。

LoRAには自分の好きな作風を記憶しておけたり、コスト削減につながるメリットがあります。
このメリットやLoRAの特性を活かし、個人だけでなく事業でもLoRAを活用する企業は今後増えていくでしょう。

あなたも一度LoRAを体感してみてはいかがでしょうか。

※1：LoRA: Low-Rank Adaptation of Large Language Models

https://arxiv.org/abs/2106.09685