AppSheetのOCR機能を使ってみた話

こんにちは。情報システム課の市川です。

Google社が提供するノーコードツール「AppSheet」は、Enterpriseライセンスを契約することでOCR機能を利用できます。今回、情報機器に貼っている機器管理シールから機器管理番号を読みとり、何かアプリを作成できないか考えてみました(※1)。

アプリ作成の過程を見ながら、AppSheet自体やOCR機能が簡単に利用できることを、おおまかに知ってもらえればと思います。

OCRを使って何か役に立ちそうなアプリを考えてみる

ヌーラボでは、機器管理を容易にするために、PCやモニタなどの情報処理機器に機器管理シールを貼付しています。この機器管理シールに記載された機器管理番号を利用することで、次のようなアプリが作成できそうです。

■ 情報機器の棚卸アプリ

機器管理シールをスマホのカメラで撮影し、機器管理番号を取得することで自動で棚卸一覧を作成する。撮影した写真はそのまま棚卸の証跡として保存する。

■ 情報機器の貸出/返却アプリ

機器管理シールをスマホのカメラで撮影し、機器管理番号を取得することで機器管理台帳の貸出ステータスを自動更新する。

何にせよ、機器管理シールから機器管理番号を読み取れないと話になりません。そこで、次の章からAppSheetのOCR機能を使い、実際に機器管理番号が読み取れるか検証していきます。

OCR機能で機器管理番号を読み取る

AppSheetでのアプリ作成

最初に、スプレッドシートでAppSheetで利用するデータを設定していきます。今回は写真を撮って機器管理番号を読み取るだけなので、シンプルに以下のデータを設定することにしました。

スプレッドシートの列に先ほど決めたデータを入力し、[拡張機能]→[AppSheet]よりアプリの作成を行います。

アプリを作成すると、AppSheetのアプリ作成画面へ遷移されるので設定を行っていきます。まずはAppSheet上でデータの設定を変更します。

• IDをアプリ上に表示させる必要はないので、[SHOW]のチェックを外します
• 機器管理シールは画像データとして利用したいので、[TYPE]を[Image]に変更します

次にビューの設定です。今回は[form]を選択します。

これで基本的なアプリの作成は完了です。機器管理シールの画像データと機器管理番号を入力するフォームが出来上がります。

ただ、この状態では機器管理シールの写真を撮ったとしても機器管理番号を自動で取得できません。そのため、自動で機器管理番号を取得できるよう、OCRモデルを作成していきます。

OCRモデルの作成

OCRのモデルを作成するために、AppSheet上のIntelligence設定から[Add OCR Model]を選択します。

画面右側のフォームから、機器管理シールの画像をアップロードします。そして、機器管理番号の入力フォームに表示したい情報を手動入力します。

その後、データを学習させるために異なる画像を使い、上記手順を4回以上行います(※2)。

データを学習させ、アプリを保存したらOCRのモデル作成の完了です。今回作成したOCRは「TEST OCR Model」と命名し、保存しました。

最後に、アプリのデータ設定画面を見てみます。機器管理番号の初期値として、先ほど保存したOCRのモデルが登録されていることがわかります。

これで、撮影した機器管理シールから機器番号を自動で読み取る仕組みの完成です。

いざ、検証

AppSheetをスマホにインストールし、カメラで機器管理番号を撮影してみます。

無事読み取りができました！しかし、学習データが少なかったのか以下のような状況になることもありました。

• 「I」を「L」と読み取ってしまう
• 撮影した画像によっては読み取れない

応用して簡易な棚卸アプリを作成してみた

「2」で作成したアプリを元に、簡易な棚卸アプリを作成してみました。機器管理シールをスマホで撮影すると、撮影した画像を証跡として機器管理番号をベースに棚卸一覧を作成してくれます。左から、「棚卸一覧画面」,「棚卸機器の詳細画面」,「機器一覧への登録画面」です。

まとめ

思ったよりも簡単にOCR機能を使ったアプリを作成することができました。かかった時間は、調査も含めて4時間程度だったと思います。また、AppSheetにはOCR機能以外にも様々な機能(※3)があります。そのため、他にも色々できることはありそうです。

最後に、情報システム関連のブログに関する宣伝です！弊社では10月にGoogleWorkspaceのプライマリドメインを変更しました。お時間のある方は是非こちらも見てもらえると嬉しいです。

以下、補足事項。

※1　ブログ内で表示されている機器管理シール等はすべて架空のものとなります。

※2　学習が4回以上必要であることはAppSheetヘルプサイトに記載されていますので、ご参照ください。

※3　利用するプラン毎に使える機能が異なりますので、ご注意ください。