Google ColabでLLMは動かせる？機能や使い方を解説

ChatGPTなどをはじめとする生成AIを構築する上で、欠かせないのが強力なLLMの存在です。自然言語学習を効率よく進めるために活用されるLLMは、その負荷の大きさから個人で動かすことは困難とされてきました。

しかし近年、クラウドサービスの拡充によりLLMも個人レベルで動かせる環境が整いやすくなってきています。この記事では、そんなLLMをGoogle Colabで動かすための方法や、具体的な用途について、解説します。

目次：

1. LLMとは
2. Google Colabとは
3. Google ColabでLLMは動かせるのか？
4. Google Colabの使い方

LLMとは

そもそもLLMとはLarge Language Modelsの略称で、日本語では「大規模言語モデル」としても知られています。あらかじめ大量のテキストデータを読み込ませた状態の自然言語処理モデルのことをLLMと呼び、自然言語を扱う生成AIの開発などに実装されているのが特徴です。

LLMはそのままAIに導入するのではなく、LLMを用途に応じてファインチューニング、つまりタスクに最適化させることによって、はじめて実用的な機能を発揮します。

LLMを利用することで、個人ではとても実現不可能な容量のテキストデータの学習が行われた状態でAI開発を進められるため、既存のLLMを有効活用することがAI開発効率化において非常に重要です。

ただ、LLMは基本的に大手IT企業によって管理されているケースが一般的であり、誰でも自由に使えるケースは多くはありません。一般公開されているものとしては、商用利用可能なライセンバージョンも存在するMetaの「Llama2」や、Googleの「PaLM2」などがポピュラーです。

Google Colabとは

Google ColabはGoogle Colaboratoryの略称で、Webブラウザ上でプログラミング言語であるPythonを利用することができるWebサービスの一種です。

通常、Pythonを触るためには専用のコーディング・実行環境をオンプレミスでPCに構築する必要があり、その構築負担は全てのユーザーが担う必要がありました。しかしGoogle Colabを使用することで、実行環境が手元のマシンに存在しなくとも、ブラウザから直接Pythonのコーディングと実行ができ、そのためのリソースはGoogle側で提供してくれます。

Python言語は、近年AI開発との相性が非常に良いことから、高い注目を集めています。そのためPythonユーザーの数も増えており、Google Colabではユーザー間のコードのやり取りも実行しやすいようコラボレーション機能が最適化されているのが特徴です。

通常、AI開発においては高度なGPUやTPUを用意しなければなりませんが、Google Colabを介しての運用であれば、その費用は無料となります。

Google ColabでLLMは動かせるのか？

Google Colabを使用する上で気になるのが、先に紹介したLLMを運用できるのかどうかという問題です。

Google ColabでLLMは動かせる

結論から言うと、Google Colabを使ってLLMを運用することは可能です。通常の手順に則ってLLMを導入するだけで、動作することが確認されています*1。

ポイントとなるのは、Google ColabのリソースがLLMをカバーできるかどうかです。Google Colabには無料版と有料版があり、大抵のタスクは無料版で賄うことができますが、大きなリソースが必要な場合は有料版を契約しなければならないこともあります。

LLMを運用する際には膨大なリソースが必要になるため、場合によっては有料版の契約が発生するかもしれません。試しに無料版でLLMを動かしてみて、必要なスペックが得られない場合は、有料版の契約を検討しましょう。

無料で使用できるLLMは？

Google Colabを使ってAI開発を進めたい場合、必要になるのがLLMです。近年のAI開発ブームに伴い、一般利用が可能なLLMも増えつつありますが、日本国内から利用しやすいLLMとしては、サイバーエージェントが提供するLLM「CyberAgentLM」が挙げられます*2。

このLLMは日本企業であるサイバーエージェントが提供していることもあり、世界では比較的珍しい日本語データが充実しているLLMとなっています。グローバルスタンダードのLLMは英語情報に偏りがちですが、サイバーエージェントのLLMであれば日本語対応のAI開発の強力なサポーターとなってくれるでしょう。

70億ものパラメータと3万2,000のトークンに対応し、高度なAI開発を実現します。

Google Colabの使い方

ここでは実際にGoogle Colabを使って、LLMを動かすための手順について解説します。

Google Colabを動かすためには、まずGoogleアカウントを事前に用意しておく必要があります。Googleアカウントであれば無料・有料を問わないため、既存のものがある場合はそのまま使用すると良いでしょう。

続いて、使用するLLMを準備します。ここでは上で紹介したCyberAgentLMを例として、実際に使用することになるモデルの大きさを確認しましょう。

次に、Google Colabを立ち上げて新規ノートブックを作成し、Pythonライブラリをインストールしておきます。インストールが完了したら、LLMを動かすためのコードを記述します。

以下のサイトに掲載されている「usage」にあるコードを記述することで、LLMを動かすことができます。

https://huggingface.co/cyberagent/open-calm-7b

これを実行するとモデルがダウンロードされ、自動で、「AIによって私たちの暮らしは、」の続きが生成されます。このテキストを入れ替えてみることで、さまざまなテキストを生成することが可能です。

まとめ

この記事では、Google ColabやLLMの概要、そしてGoogle Colabを使ってLLMを動かすための方法について解説しました。

Google ColabはPythonの利用やAI活用をより身近に体験できる、便利なWebサービスです。また、最近では日本語対応のLLMも一般に公開されつつあり、日本語の生成AIの構築も身近になってきました。

無料でも利用できるGoogle ColabやLLMを最大限活用して、生成AIの恩恵を体験してみましょう。

出典：

*1 Internet Watch「初めてでもできる！ 自宅PCのGPUを「Google Colab」から使い、生成AIをカンタンに動かす方法」

https://internet.watch.impress.co.jp/docs/column/shimizu/1531958.html

*2 サイバーエージェント「独自の日本語LLM（大規模言語モデル）のバージョン2を一般公開 ―32,000トークン対応の商用利用可能なチャットモデルを提供―」

https://www.cyberagent.co.jp/news/detail/id=29479