GoogleレンズのAR翻訳機能とは！外国語も撮るだけでわかる

GoogleレンズのAR翻訳は、カメラで画像を撮影するだけでテキストが翻訳できる機能です。
アプリなどからすぐに使えるため非常に便利です。
この記事では、ARの概要や無料で使えるGoogleレンズのAR機能の使い方、今後発展が期待されているARの分野について紹介します。

Googleレンズとは

「Google レンズ」とは、Googleが無料で提供している機能のひとつです。
スマートフォンで撮影した画像や保存している画像について、AIが分析して情報を提示します。

画像からできることは以下のようなことがあります。

• 検索
• 文字・文章の読み取り、保存
• 翻訳
• 読み込んだ予定をGoogleカレンダーに追加
• 読み込んだ名刺の内容をアドレス帳に追加
• 建物の名称、営業時間、経路などを表示
• バーコードの読み取り

参考：見たものから情報が得られる、日本語にも対応したグーグルのARサービスGoogle Lensとは

Google翻訳は2006年からサービス開始

Google翻訳は、単語や文章などについて日本語はもちろん100以上の言語に翻訳できるサービスです。

Google翻訳のサービスが始まったのは2006年ですが、最初のころは若干ぎこちない翻訳結果になることも多く見られました。
しかし2016年からは、ニューラルネットを利用した機械翻訳が導入されました。
これにより自然な翻訳ができるようになったのです。

ニューラル翻訳とは

今まで機械翻訳を行う際は、翻訳する言語の文法規則を登録し、登録されている情報を適用しながら翻訳するルールベース翻訳が使われていました。
しかし文単位の翻訳であり文脈情報が利用できません。
そのため基本的な文を直訳するのには長けているものの、拡張性が低いという課題があったのです。

一方、ニューラル（neural）とは「神経系の」という意味の言葉です。
ニューラル機械翻訳の場合は、人間の脳神経回路の仕組みを模して造られています。
人工的に情報を集め、自ら学習しながらどの単語の意味が最も正しい可能性があるのかを当てはめていきます。

ニューラル機械翻訳では、単語を辞書に当てはめて翻訳するのではなく、文章のまとまり全体をとらえて翻訳を行います。
そのため、より自然な文章に翻訳できるのです。

AR翻訳とは

ARとは、現実とバーチャルな視覚情報を合わせて拡張する技術です。

AR翻訳では、撮影した際にリアルタイムに画像内のテキストを見つけて翻訳ができます。
Googleレンズには、Google翻訳の機能がそのまま搭載されているため、Google翻訳の内容がより視覚的に確認できるのです。

リアルタイム カメラ翻訳の機能が強化

Googleは検索やAI技術関連のイベントである「Search On 22」で、Googleレンズの新機能について発表しています。（*1）
Googleレンズには、リアルタイムの翻訳機能があり、撮影せずにカメラを気になるものに向けるだけでテキストが翻訳可能です。

アップデートされたGoogleレンズは、テキストが別の言語に翻訳されたあとは、単にそのテキストが表示されるだけではありません。
今回の変更では、元の画像にテキストが埋め込まれるかのように配置されるため、外国語の入った画像でも好みの言語で表示されるため、非常にわかりやすくなっているのです。

Googleレンズは大きく利便性が向上し、2022年9月末時点で月に約80億回利用されています。
今回のアップデートでは、ユーザーがより直観的に数多くの言葉を理解できるようになるでしょう。

AR翻訳機能の使い方

ここでは、GoogleレンズのAR翻訳機能の使い方を簡単にご紹介します。
GoogleレンズはGoogleの検索窓または専用のアプリから起動できます。

リアルタイム翻訳は、以下の手順で簡単に調べられます。

1. 下側にあるメニューアイコンをスライドさせ「翻訳」を選択
2. 上側の翻訳言語をタップして希望する言葉を選択
3. 四角いガイドを翻訳したい箇所に合わせて撮影

画像の例では、パソコンのキートップを撮影しています。
日本語から英語への翻訳を行った結果の「変換」が「Conversion」に、「カタカナ ひらがな ローマ字」の表記が「Katakana Hiragana Romaji」という文字に置き換わって表示されます。

この翻訳結果は、必要があればテキストとしてコピーできます。
読み取った内容を転記したい場合でも、言葉を写して入力する必要がないため便利です。

Googleレンズの使い方を知っていると、「海外旅行でレストランのメニューが読めない」といった言葉の壁がかなり低くなります。

ARはフィジタルな体験が拡大

Googleレンズは、撮影した植物の名前を調べるなど、現実とバーチャルな視覚情報を組み合わせたAR機能も多くみられます。
一つひとつは難しい技術ですが、使う際は直感的でわかりやすいものばかりです。

モバイル端末の一部機種に限られますが、Google検索では、一部の検索結果を3DやARで表現することができます。
例えば、Googleのアプリでトラを検索した場合、3Dモデルが用意されているのです。
周囲のスペースに配置すれば、スマートフォンの中ではあるものの、目の前にトラを呼び出せます。

今後ARの技術は、フィジタルな方向に進むと言われています。
ここではARの将来像として、拡大が予想されるAR市場のトレンドについて紹介します。

フィジタルとは

「フィジタル」とは、「Physical：フィジカル（体の）」と「Digital（デジタル）」を組み合わせて作られた言葉です。
例えば以下のように、オンラインとオフラインとが密接にかかわって融合する状態を示しています。

• オンラインサイトの利用動向や購買までの行動などを分析
• アプリなどでユーザーの行動や興味関心に合わせたデジタルクーポンを配布
• 店舗への誘導や対面コミュニケーションを図る

ライブコマース

ライブコマースとは、インフルエンサーなどがライブ配信を行って商品を販売する方法です。
視聴者に気になる点がある場合、配信中はコメントなどで質問できますが、実際に触り、使ってみることはできません。

この課題に対し、YouTubeでは「AR Beauty Try-On」という機能を導入しています。（*2）
視聴者は登録された口紅などの商品をARで自分の顔に重ねて使ってみた状態を再現できます。
気に入ればそのまま購入できるため、納得して商品が購入できるのです。

eコマースプラットフォーム

3DモデルやARで商品が確認できるeコマースプラットフォームも増えてくることが予想されています。
大企業に限らず、ShopifyなどのECプラットフォームでも導入が進んでいるため、商品をさまざまな角度から確認して購入できるようになります。

他にはない購買体験

アバターやスマートミラーを使った試着など、新しい顧客体験がさらに増加すると予想されます。

デジタルサイネージの画面に近づくと、服が現れたり顔にお面や帽子が付いたりする体験をしたことがあるかもしれません。
このような機能をもつデジタルサイネージはスマートミラーです。
スマートミラーは、センサーやカメラで画像を認識し、解析情報を基に適切な衣類やメイクなどを提案します。

まとめ

Googleレンズは撮影した写真の詳細を調べたり文章を読み取ったりする機能が搭載されています。
ARは高度な技術ですが、使い方はそれほど難しくないため、積極的に利用する人が増えているのです。
AR翻訳は100種類以上の言語の翻訳に対応しています。
今後もARはさまざまな形での発展が期待されているのです。

参考URL

*1 https://japan.googleblog.com/2022/09/search-on22.html

*2 https://support.google.com/google-ads/answer/9547094?hl=ja