AIによるコード生成は可能？比較したいChatGPTとBardによるコーディング

2023.09.11

生成AIの利便性は多くの人が知るところとなってきましたが、この技術が高く評価されているのは、何も人間が読む文章を綺麗に書けるから、というだけではありません。

生成AIの最大のメリットの一つに、プログラミングには欠かせないコーディングを代行できるという点が挙げられます。通常のテキスト作成よりも高度な技術を要するコード生成のパフォーマンスについて、生成AIはどれくらいのレベルに達しているのでしょうか。

この記事では、そんな生成AIのコーディング技術について、代表的なサービスであるChatGPTとBardの実際のパフォーマンスを比較しながら、最適なサービスを検討します。

生成AIの概要
生成AIでコーディングはできる？
ChatGPTとBardでコード生成に違いはあるのか
ChatGPTとBardの主な比較ポイント

生成AIの概要

生成AIとは、Open AIのChatGPTやGoogleのBardに代表される、チャット形式で利用可能なAIサービスを指します。テキスト入力でユーザーが指示をAIに与えることで、AIは高い精度でその指示へ適切に回答してくれます。

生成AIの近年の回答能力の高さは数年前のそれよりも明らかにレベルが上がっており、もはや人間が作成したものと区別がつかないレベルに到達しているのが特徴です。特にメールの文面や日報の作成など、定型化された文書作成については無類のパフォーマンスを発揮し、担当者の生産性向上に役立っています。

また、翻訳や自動応答によるカスタマーサポートなど、より高度な業務にも適用できるようアップデートが随時行われており、向こう5年もあれば更なる飛躍も期待できるでしょう。

生成AIでコーディングはできる？

このように、生成AIはテキスト作成の面で注目を集めている分野ですが、注目したいのはプログラミングの領域においても大きな存在感を発揮している点です。

生成AIは通常のテキストだけでなく、プログラムを動かすために必要なコードの生成にも対応しており、どのようなプログラムを作りたいかに応じて、最適なコードを生成してくれます。

従来、コーディングは非常に手間のかかる作業であっただけでなく、プログラミングという専門性の高いスキルを求められてきたことから、慢性的な人材不足が続いていた分野です。

しかしこの度、生成AIを使ってコード生成ができるようになったことで、コーディングにかかる時間はほぼゼロにまで解消できました。手打ちでコードを書いていると、場合によっては数十分や数時間かかることもあるものですが、生成AIであれば数十秒で理想のコードを生成してくれます。

生成AIを使ったコーディングは時間短縮という面でも魅力的ですが、ヒューマンエラーの心配が少ないのも魅力です。手打ち入力はケアレスミスも起こる一方、AIはその手のミスはありません。

ただ、生成AIが生成するコードは必ずしもいつも正しいとは限らず、時に見当違いのプログラムを出力することもあります。そのためAIに正しい指示を出したり、AIが出力したコードの正当性をチェックしたりする仕組みや人物は必要ですが、それでも従来の業務プロセスよりははるかに効率的です。

実際にChatGPTとBardでコード生成を比較した各社の結果

生成AIを使ってコーディングを任せたいと考えている場合、まず検討すべきはどの生成AIを使うか、という問題です。現在普及している2大生成AIとしては、ChatGPTとBardの名前が挙げられますが、コーディングをそれぞれのAIに任せた場合、どのような結果の違いが生まれるのでしょうか。

ここでは以下の2社が検証を行った結果について、簡単に解説します。

マイナビにおける比較検証結果

マイナビでは特集企画の一環として、ChatGPTとBardのどちらがコーディングにおいて良い成績を収めるか、ということを実際に検証しています*1。

まず結論から伝えると、こちらの検証ではChatGPTが圧倒的にBardよりもコーディングスキルは高いという結論に達しています。

検証は3つの課題に分けて実施されましたが、ChatGPTの出力したコードは全て正しく動作しているだけでなく、運用可能性の面でも優れていたことから、Bardよりも優れるという判断となりました。

Bardの方はコードを正しく出力できていないケースや、出力ができても運用可能性の高さでChatGPTに負けてしまっているケースがあり、ChatGPTよりも劣るとされています。

ただ、生成AIが出力する結果は何度もやり直すことができ、場合によっては質の低いものばかりが生成されてしまうことも可能性としてはあります。どちらのAIもおおむね正しくコードを出力できている以上、圧倒的にChatGPTが優勢であるとは言えないでしょう。

日本経済新聞における比較検証結果

日本経済新聞においても、ChatGPTとBardのどちらがプログラミング能力に優れているかという比較検証を行っています*2。

この記事ではビジネス用途全般で使うのに優れた生成AIを検証するという目的のため、コーディング以外にもさまざまなタスクで両者を比較している点が興味深いと言えるでしょう。

コーディングの比較検証についてですが、結論から言うとこちらの検証においてもChatGPTの方が優秀な成果を収めたということです。ChatGPTの出力したコードは正しく動作するだけでなく、コードの解説も日本語で表示されるため、プログラムがブラックボックス化する心配がないという強みがあります。

一方のBardは、やはり出力されたコードにエラーが含まれており、正しく動作しない問題が付き纏いました。コーディングの領域で生成AIを使用する場合、Bardをわざわざ使用するメリットは現状少ないと言えるかもしれません。

ChatGPTとBardの主な比較ポイント

上で紹介の通り、コーディングというタスクに特化すれば、ChatGPTはBardよりも優秀な成績を収める傾向が高く、Bardを使うメリットは小さいと言えます。

ただ、日本経済新聞の検証によると、BardにもChatGPTより優れた成績を収める分野があり、それがメールの代筆や市場調査の領域です。

記事の中では、Bardが作成したメールの文書は要点がまとまっており、余計な文章が少なく、それでいて自然な文章に仕上がっているということです。また市場調査の業務を任せた場合も、Google検索と連携した生のデータが上がってくるという点は、ChatGPTよりも優れたパフォーマンスであるとされています*3。

コーディングに特化した運用であればChatGPT一択ですが、それ以外の業務も任せる場合、Bardの利用を視野に入れてみても良いでしょう。