HVC-P2活用事例:マイコンボード『GR-PEACH』との連携事例インタビュー(ルネサス エレクトロニクス株式会社様)

画像センシング活用事例

HVC-P2

HVC-P2

  • 顔認証
  • 性別・年齢推定
  • 表情推定
  • 顔検出

マイコンボード『GR-PEACH』との連携事例インタビュー
PCを使用せずにボードのみで
HVC-P2を制御するサンプルアプリケーション

ルネサス エレクトロニクス株式会社様

2017.03.02公開 / 2017.06.30更新

ルネサス エレクトロニクス株式会社のGRリファレンスボード『GR-PEACH』を利用して、オムロンの人理解画像センサ『HVC-P2』を操作するサンプルアプリケーションがARM mbedサイトにて公開されました。 こちらのアプリケーションを活用することで、人理解センシング情報の視覚化をIoT端末としてPCを使用することなく実現できます。

さらに、ルネサス社の運営サイト『GADGET RENESAS(がじぇるね)』のGR-PEACH特設ページでは、こちらのアプリケーションを使った例として、Webコンパイラを使って『HVC-P2』を開発する様子をレポートして頂いています。

本記事では、ルネサスエレクトロニクス株式会社のご担当者様にインタビューをさせて頂きながら、こちらの2つの事例について、ご紹介させて頂きます!

ルネサス エレクトロニクス株式会社様 インタビュー

システムの概要を教えてください

ルネサス様

HVC-P2のセンシング結果を『GR-PEACH』のUSB通信で受信し、写真をSDに保存したりLANにつなげてWebカメラにしています。

オムロン

『GR-PEACH』は、ルネサス社さんが開発されている手軽にIoTシステムが作れるボードですね。

 | オムロン

ルネサス様

はい、そのとおりです。
『GR-PEACH』は、当社のマイクロコンピュータ『RZ/A1H』を搭載したGRリファレンスボードで、10MBの内蔵RAMに加え、ARM(R) Cortex(R)-A9の処理能力により、グラフィックス、タッチパネル、カメラ入力、オーディオ、ネットワーク等をコンパクトかつ高性能に実現することが可能な開発者向けハードウェアボードです。

mbedに対応するなど、各種高速プロトタイピング向けのプラットフォームを用意しており、すぐ手軽に試したい方向けのボードとなっています。また、マルチプラットフォーム化の整備も進行中で、広いニーズにお応え出来るよう整備を進めています。

 | オムロン

ルネサス様

ARM mbedサイトの例では、
①HVC-P2 x 1
②USBA-microUSB変換ケーブル x 2
③USBA-microUSB変換アダプター x 1
④GR-PEACH x 1
⑤4.3インチ LCDシールド x 1 といった構成にしました。

公開中のサンプルアプリケーションを活用することで、『HVC-P2』の人理解センシングで得た情報を『GR-PEACH』が視覚化します。PCを使わずに、IoT端末として使用できるようになります。

サンプルアプリケーションの詳細はこちら
『Renesas / GR-PEACH_HVC-P2_sample』(ARM mbedサイト)

 | オムロン

ルネサス様

組み上げるとこんなかんじです!

オムロン

すごい!こんなに簡単にPCいらずのIoTデバイスができてしまうなんて驚きです!
また、デモの様子を動画にしていただいていますが、この構成ですよね。

 | オムロン

ルネサス様

はい。人物認識を使用した時のイメージがつかんでもらえたらと思い作成しました!
上記のmbedサイトや、この次説明する『がじぇるね』サイトにも載せておりますので、ぜひご覧ください!

オムロン

実際に動かしている様子が見られますので、導入をお考えの方には是非見て頂きたいです!

HVC-P2を使って開発しようと思ったきっかけは?

ルネサス様

基本的にはGR-PEACHをより多くの人に使っていただきたいため、誰でも導入できるレシピのひとつとして開発しました。

mbedサイトの例ではタッチパネルを使いましたが、応用が利くようにもっとベーシックなレシピもご紹介しております。

『GADGET RENESAS(がじぇるね)』のGR-PEACH特設ページでは、最もベーシックなUSB通信から、監視カメラのように応用するための写真保存、そしてどこからでも監視できるようにするためのWebカメラといった具合に、3段階に分けてステップアップできるようにしています。

GADGET RENESAS『オムロン人物認識カメラモジュールHVC-P2で遊ぶ』の詳細はこちら↓
『その1 USB通信』 『その2 写真保存』 『その3 webカメラ』

オムロン

画像やサンプルソースを使ってわかりやすい解説にしていただきました。
これなら初心者でも簡単そうです!

ちなみに『がじぇるね』とはどういったサイトなんでしょうか?

ルネサス様

『GADGET RENESAS(がじぇるね)』は、初心者からハードユーザーまで、手軽にマイコンを使った電子工作やプログラム開発が出来るよう、マイコンを搭載した小型の電子工作ボード「GRリファレンスボード」の開発・提供と、専門知識がなくてもマイコン用のプログラムが容易に作成できるクラウド上の開発環境「Webコンパイラ」を組み合わせた、開発者支援プロジェクトです。

がじぇるねでは
・『GR-PEACH』などのルネサス社製GRリファレンスボードの紹介・販売
・ 開発環境「Webコンパイラ」とデベロッパーコミュニティの提供
・ ルネサス社が主催するチャレンジプログラムやイベントの案内
などを通して、開発者の皆さんのアイデアとエレクトロニクスをつなげ、夢ある楽しいものづくりを支援しています。

オムロン

なるほど、弊社もオープンイノベーションの取り組みとして『Sensing Egg Project』を運営しています。
目的は『HVC-P2をはじめとしたHVCシリーズの販売』と、『開発者の支援』、『イベント告知』・・・
ほとんど同じですね。(笑)

ルネサス様

そうなんです。SENSING EGG PROJECTは同じ匂いがしまして(笑)
サイトを拝見した時、是非一緒に何かできないかと思い「まずはHVC-P2を使ってから考えよう!」というのきっかけで、今回の開発に至りました。

オムロン

お互いの製品のいいところを組み合わせ、開発者のみなさんの環境がより便利になる・・・そんなWin-Win-Winな関係を築くきっかけになりました。これからも続けていきたいですね!

なんとあのスカ●ターが現実に!? 開発するにあたって大変だったこと

オムロン

開発するにあたって大変だったことはありますか?

ルネサス様

シンプルなシステムですので、あまり大変ではなかったのですが、つまづいた部分といえば、私はまず画像処理に詳しくありませんでした。

やりたかったことは画像に検出結果を埋め込む、例えば顔に枠を入れたり、年齢や性別の他、日付に限らず温度、湿度、傾きなどを表示するといったように、あまり世の中にない変な!?カメラにしたかったわけです。

最終的にはあの!?スカ●ターを実現したかったのです。

オムロン

ス●ウターって、もしや、あのマンガの・・・・!?
みんな子どもの頃1度はまねしたことあるやつじゃないですか!!(笑)

ルネサス様

ちなみに、画像に文字を入れ、Webカメラで扱える小さなサイズのJPEG形式にするため、GR-PEACHの仕様を踏まえると、次のように画像変換をする必要がありました。
(1)Y 8bitグレー (HVC-P2からの出力)

(2)RGB888 (ここで顔枠や文字を埋め込み)

(3)YUV422

(4)JPEG

・・・・ただ、ここまで説明して申し訳ないのですが、
実はHVC-P2の検出結果以外の文字を入れるのはまだ実現していません。

オムロン

アレーーーーーーーーーーーーッ(笑)

 | オムロン

オムロン

顔認証、年齢推定、性別推定、表情推定・・・確かにHVC-P2の検出結果はちゃんと表示されていますね。他の部分は何か原因で実現できなかったんですか?

ルネサス様

RGBからYUVに変換する際、1ピクセルあたりの情報が少なくなるため、現状のライブラリでは文字が崩れてしまったからです。文字を大きくしたり、JPEG変換をソフトで実現すればよいのですが、まだやっていません。いずれ挑戦したいです。

冒頭、画像処理に詳しくないと言いましたが、この落とし穴は詳しい人なら分かっていた落ちですね。それが分かるのに大変だったということになります。

オムロン

検出後の画像変換処理で手こずったと・・・おしかったですね!
ですが、今後他のセンシング情報も表示できるようになれば、スカ●ター感がぐっと増しそうです!
実現されるのを楽しみにしています!

HVC-P2の使い勝手はどうでしたか?

ルネサス様

使い始めるまでは非常に簡単でした。Windows用のお試しアプリや、サンプルもあったので、どんなことができるのかあらかじめ体験できるというのは素晴らしいです。

オムロン

ありがとうございます!
『HVC-P2』はSDK、評価ソフトウェア、サンプルコードなどの開発情報を公開しておりますので、すぐ開発がはじめられるとご好評いただいております!

HVC-P2の開発情報(SDK、評価ソフトウェア、サンプルコードなど)の詳細はこちら
オムロン電子部品情報サイト(OMRON E-WEB)HVC-P2詳細ページ

ルネサス様

ただ、ちょっと難しいと思ったのはパラメーターの設定、例えばスレッショルドの設定値がどれぐらい効いてくるかなどです。今もよく分かってないのですが、手の検出が顔や体の検出に比べてにぶいのですよね。スレッショルドを変えてもあまり変わらなかったので、このあたりの勘所がWebなどに掲載されていると嬉しいです。

オムロン

ご指摘ありがとうございます。確かにスレッショルドの設定は勘所をつかむまで難しいですよね。
ただ、外部環境によっても左右される部分があるので、一概にコレという示し方はできない内容でして・・・

ルネサス様

なるほど、それで掲載されてないんですね。

オムロン

そういう時は、HVCシリーズのオープンイノベーションプロジェクト『Sensing Egg Project』メンバーサイトにサポートフォーラムを設置しております。 ご質問があれば、お気軽にご活用ください!

サポートフォーラムの利用には、『Sensing Egg Project』メンバー登録が必要です。
オムロン『Sensing Egg Project』メンバー登録の詳細はこちら

今後の取り組みについて教えてください。

ルネサス様

自動運転にはじまり、ロボットや産業機器など、画像処理を使用したAI化が進んでいくのは間違いありません。それを支えていく新たな世代の人たちが育っていくように、手軽に触れるボードや、体験記事を増やしていきます。

当プロジェクトではこれまでアイデアを実現するデザインコンテストをインドで3回、日本で1回実施しており、今年はASEAN、オーストラリア、ニュージーランドにも拡大していきます。

このように新しい世代、地域を超え、アイデア実現のきっかけを増やしていきたいと思っています。
ぜひ今後もオムロンさんと盛り上げていきたいと思っています。

オムロン

日本だけでなく、海外でもデザインコンテストを開催しているとはすごいですね!

ルネサス様

ありがとうございます!
このように新しい世代、地域を超え、アイデア実現のきっかけを増やしていきたいと思っています。
ぜひ今後もオムロンさんにもご協力いただきたいです!

オムロン

こちらこそ、今後もどうぞよろしくお願いいたします!
ぜひ一緒に盛り上げていきましょう!


HVC-P2の魅力を十分に引きだしていただきました、ありがとうございました!

取材先

ルネサス エレクトロニクス 株式会社 詳細はこちら
安全・安心・快適で環境にやさしい社会を構築するために、ルネサスエレクトロニクスでは、自動車分野、産業・家電分野、OA・ICT分野を注力分野とし、デバイス、キット、プラットフォームという3つの半導体ソリューションを取り揃え,付加価値を高めた最適なサービスを提供していきます。

使用した製品

人理解画像センサ『HVC-P2』 詳細はこちら
HVC-P2


人の状態を認識する画像センシング技術「OKAO® Vision」の10種類のアルゴリズムとカメラモジュールをコンパクトに一体化したものが、機器組み込み型の画像センシングコンポ「HVC-P2」。お持ちの機器に組み込むだけで、従来の機能に周辺の人の状態を理解する機能を追加することができる画像センサです。

関連リンク

ホビーとエレクトロニクスをつなげるサイト『GADGET RENESAS』 詳細はこちら
ルネサス エレクトロニクス株式会社 RZ/A1Hグループ 詳細はこちら

NEWS関連記事

『Renesas DevCon Japan 2017』にてオムロンの人理解画像センサ『HVC-P2』を使った
スマートミラーが展示されました。(2017.04.25) 詳細はこちら
ルネサス社より、ボードのみで『HVC-P2』を制御する
サンプルアプリケーションが公開されました。(2017.02.09) 詳細はこちら

HVC-P2活用事例:事例紹介