HVC-P2活用事例:表情からストレス度を推定するアロマディフューザー(YK STORES株式会社様)

画像センシング事例紹介

HVC-P2

HVC-P2

  • 表情推定
  • 顔検出

表情からストレス度を推定する
アロマディフューザー
北九州高専・滝本研究室に突撃インタビュー!

YK STORES 株式会社様・北九州工業高等専門学校様
小国町森林組合様

2016.10.21公開 / 2017.12.14更新

北九州市のベンチャー企業 YK STORES株式会社と、北九州工業高等専門学校、小国町森林組合の三者が共同開発した
『表情識別センサー並びにIoTを活用したアロマデュフューザー(拡散器)』に、オムロンの人理解画像センサ『HVC-P2』が採用されています。

表情識別センサーによって得られた表情情報を基にアロマ噴霧器とデジタルサイネージを制御 | オムロン

表情識別センサー並びにIoTを活用したアロマデュフューザーとは?

人の表情からストレス状況を推定し、度合いに応じてアロマを噴霧する装置です。同時にサイネージに森林などの映像を投影することで、嗅覚と視覚の双方からリラックス効果を高めます。
また、表情データを自動で蓄積する機能も搭載されており、どんな環境下でストレスが発生しやすいのか、データを基にした研究にも役立てられるそうです。

本事例では表情データを収集する部分に『HVC-P2』が採用されました。
『HVC-P2』は、オムロンの画像センシング技術『OKAO® VISON』が搭載されており、付属のカメラから取り込んだ画像情報を即時に処理しますので、組み込むだけで人の表情・年齢・性別など、合計10種類の情報を取得できます。
表情推定機能では『喜び/驚き/怒り/悲しみ/真顔』の5つの表情の度合いを数値として取得でき、組み合わせによってストレス度/満足度なども計測することができます。

噴霧するアロマオイルには、熊本地震で被災した熊本県小国町の名産品「杉のアロマオイル」を使用することで、被災地の支援も図っているとのこと。10月14日、北九州市長をたずねて完成品を披露した際には、地元各メディアに取り上げられ、注目を集めました。

左から、Next Technologyの秦さん、北九州高専の滝本准教授、YK STORESの吉田さん | オムロン

なんと!今回はインタビュイーのみなさんのご好意から、本製品開発の本丸・滝本研究室にお邪魔させて頂いてのインタビューとなりました。本当にありがとうございます!
製品の企画・開発の中心となった、YK STORES株式会社の吉田さん、北九州高専の滝本准教授、また滝本研究室発のベンチャー企業「合同会社Next Technology」から秦さんにお集まりいただき、本製品の開発とHVC-P2についてインタビューさせて頂きました。

YK STORES株式会社様、北九州高専様 インタビュー

システム概要を教えてください

吉田さん
(YK STORES)

今回開発された「表情識別センサー並びにIoTを活用したアロマデュフューザー」は、表情識別センサーの部分にオムロンの人理解画像センサ『HVC-P2』を使わせて頂きました。

滝本准教授
(北九州高専)

表情推定機能のポジティブ/ネガティブ度合いを利用して、ネガティブ度が閾値を超えるとストレスを感じていると判定します。判定に応じてアロマが噴霧され、デジタルサイネージで森の映像を流してリラックス効果を促すという仕組みです。


表情識別センサーによって得られた表情情報を基にアロマ噴霧器とデジタルサイネージを制御 | オムロン

吉田さん
(YK STORES)

まず「ストレス情報の蓄積」、その情報から「ストレス発生の予測」、その結果として「発生前のストレス緩和」を行うことで多くの方のメンタルヘルスケアを行う事を目的としています。

オムロン

ポジティブ/ネガティブ度は喜び度合いが高いほど+100に近く、「驚き」「怒り」「悲しみ」の度合いが高ければ-100に近い値をとります。それを利用することでストレス度をチェックするという仕組みなんですね。

ストレスの発生を予測して事前に緩和するという構想は素晴らしいですね!

開発のきっかけは?

吉田さん
(YK STORES)

北九州市が「環境モデル都市」で連携している熊本県小国町の森林組合さんから、開発したアロマオイルの販促について弊社に相談がありました。ちょうど北九州市と北九州高専がものづくり人材の育成に関する連携協定の締結したタイミングもあったので、締結式の翌日に今回の構想を提案し、第一弾プロジェクトとして採択されました。

YK STORESの吉田さん(右) | オムロン

オムロン

ものすごいスピードですね!?さすがベンチャー企業!

吉田さん
(YK STORES)

アロマって海外も含めればものすごい数があるじゃないですか。ヨーロッパのアロマのほうが日本人受けするし。どう差別化していったらいいかわからないというのが森林組合さんの悩みでした。ですので、アロマの良さをアピールするのは一旦置いておこうと思いました。

まずは、アロマ噴霧器を売ろう!と。

オムロン

なるほど、アロマだけでは数に埋もれてしまう可能性もあるところを、噴霧器に独自性を持たせることで差別化を図ろう!ということですね。噴霧器とセットでアロマも売れば、小国杉アロマの製品の良さも一緒にPRできて一石二鳥です!

吉田さん
(YK STORES)

また、何時何分に何が起きているのかを知りたいというのが本質にあります。

そのきっかけにアロマとデジタルサイネージを利用しています。視覚と嗅覚に訴えかけ利用者がすぐに理解できる形で提供するという仕組みです。

バックグランドには少子高齢化、シニアのメンタルヘルスケアといった課題があります。

HVC-P2を使って簡易にストレス度を測って、アロマ噴霧+映像で利用者に分かりやすい形でフィードバックすることで、ストレス環境の改善につながると考えています。

小国公立病院の患者のほとんどがシニアの方々で、実際の患者のストレス状況が分かるということもあり、小国町との利害が一致してプロジェクトが動きました。

オムロン

北九州市、小国町、森林組合、北九州高専と、さまざまなステークホルダーがWin-Winの関係となる素晴らしい取り組みですね。

HVC-P2を使おうと思ったきっかけは?

吉田さん
(YK STORES)

シンプルだからですね。

クラウド上にあるサービス、例えばGoogleのFace APIなんかを使えば、常に技術がアップデートされていって精度がいいかもしれません。しかし、利便性が悪すぎるんです。クラウドのサービスを利用しようと思ったら、常にネットにつないでいないといけない。

それではネット環境が制限される病院のような施設では使いづらいんです。その場で瞬時に出た情報を瞬時に解析したいんです。

HVC-P2は表情推定などの処理をセンサー側でやってくれるので、プログラムそのものの開発が非常にシンプルにできます。そこが採用の最大の理由ですね。

滝本准教授
(北九州高専)

すごいですよね。こんなに小さいんですよ。
年齢とかの推定もすごい。だいたい合ってます。


コンパクトで多機能な『HVC-P2』。フラットケーブルを曲げれば片手に収まるほど小さい。| オムロン

オムロン

ありがとうございます!
コンパクトさと組み込みやすさはP2のチャームポイントです^^

開発するにあたって大変だったことはありますか?

滝本准教授
(北九州高専)

HVC-P2に関してはとくに苦労しませんでした。表情のデータはすぐに返してくれるので使いやすかったですし、通信プロトコルの部分が詳しく書いてあり、シリアル通信のプログラムは経験があったので、すごく分かりやすかったです。

吉田さん
(YK STORES)

じゃあ高専さんとの相性ばっちりだったんですね。

滝本准教授
(北九州高専)

あと速いです。1秒おきにちゃんとデータ返してくれるのでシステム要件を満たしてくれています。

オムロン

ありがとうございます。前のモデルよりも処理速度を大幅にアップしてまして、表情推定ですと、1.3mの距離で1秒間に5回はデータを返すことができます。

吉田さん
(YK STORES)

すごい頭脳ですよね。

滝本准教授
(北九州高専)

向きとかも取れるんですよね。

オムロン

はい。表情推定だけでなく、顔向きやまばたきなど10種類の機能が使えます。

滝本准教授
(北九州高専)

今回のシステムでは性別、年齢、表情のデータを使っています。

吉田さん
(YK STORES)

表情のゆらぎを知りたいので短い時間での推移データがとれるのがありがたいです。ゆらぎによって次のサービスを考えていく予定なので。

滝本准教授
(北九州高専)

あと、細かい要望ですが、組み込みやすい形であれば良かったかな。フラットケーブルの取り回しがしにくかったりとか制限されているので。基板に組み込む時はフラットケーブルでいいんですけど、開発用に標準のケースがあると助かります。

オムロン

そういった要望は他のお客様からもいただいていますので、開発にフィードバックしておきます。具体的にはどういった形がよいですか?旧モデルはカメラと基板が一体型で取り付け制限があるからという声を反映してフラットケーブルで設置自由度を高くしたという経緯があります。

吉田さん
(YK STORES)

なるほど。デジタルサイネージだったら液晶フレームに組み込む形としてはいいのでしょうね。開発の段階では標準のケースがあったほうがいいと思います。3Dプリンタ用に座標データを共有していくつかテンプレートを作っておけばいいんじゃないですか?

オムロン

そうですね。とりあえず2Dや3DのCADデータは公開しているので、誰か作ってくれませんかねー。

今後の取り組みについて教えてください

吉田さん
(YK STORES)

量産品設計開発です。

今回のものはプロトタイプですので、小型化や置くだけで簡単に使えるような設計をしていきたいと考えています。まず改良への第一歩として、小国公立病院での試験導入を開始しました。

オムロン

先日設置のお披露目会がありましたね!
市長訪問に続いて地元メディアの取材もあったり、北九州市の皆さんからの期待を感じました。

関係者各位によるお披露目会の様子。 | オムロン

吉田さん
(YK STORES)

はい、今回は3か月間の試験導入を行いますが、得られた情報をもとに量産品の設計に反映していきます。量産に向けた資金獲得やパートナー探しも必要です。

オムロン

ちなみにオムロンは、ものづくりに軸足を置いたハードウェア系ベンチャーを支援するインキュベーションプログラム「コトチャレンジ」を運営していますので・・・よければ是非是非参加してみてください!

吉田さん
(YK STORES)

はい!

滝本准教授
(北九州高専)

是非!

オムロン

やった~~!!今後もどうぞよろしくお願いします!

おまけ:北九州高専のFab Lab.を見学!

インタビュー終了後に北九州高専のFab Lab.を見学させて頂きました。
いろんな製品のプロトタイプがずらりとならぶワクワクな空間でした!

これからの展開が楽しみですね!

取材先

YK STORES株式会社 詳細はこちら
YK STORESは面白いプロジェクトを一緒に考え実行して具現化する会社です。
生まれて初めて心からワクワクしたあの感覚を今一度、皆さまと共感出来ればと思います。
北九州工業高等専門学校 滝本研究室 詳細はこちら
滝本研究室では、システム制御をベースとした理論や応用の研究、とくに飛行ロボットをはじめとする組込み制御や無線通信技術、情報系と物理系の融合によるサイバーフィジカルシステムの研究に取り組んでいます。
合同会社 Next Technology 詳細はこちら
北九州高専に拠点を置く学生発ベンチャー企業。同校・滝本研究室における研究成果をもとに設立されました。
「アイデアはあるけれど、どうやって作ればよいかわからない」そんな悩みをお持ちの方は、是非ご相談ください!

使用した製品

人理解画像センサ『HVC-P2』 詳細はこちら
HVC-P2


人の状態を認識する画像センシング技術「OKAO® Vision」の10種類のアルゴリズムとカメラモジュールをコンパクトに一体化したものが、機器組み込み型の画像センシングコンポ「HVC-P2」。お持ちの機器に組み込むだけで、従来の機能に周辺の人の状態を理解する機能を追加することができる画像センサです。

メディア情報

NHK北九州放送局 『ニュースブリッジ北九州』(2016.10.14放送) 詳細はこちら
RKB毎日放送 『今日感ニュース』(2016.10.14放送) 詳細はこちら
TNC テレビ西日本 『ももち浜ストア』(2016.10.14放送) 詳細はこちら
西日本新聞(2016.10.15発行) 詳細はこちら
毎日新聞(2016.10.15発行) 詳細はこちら
読売新聞(2016.10.17発行) 詳細はこちら
熊本日日新聞(2016.10.22発行) 詳細はこちら

関連リンク

小国町森林組合運営サイト 『阿蘇小国杉のくらし』 詳細はこちら

関連記事

IoTで表情を見える化する環境改善サービスの実証実験が開始。(2017.04.24) 詳細はこちら

画像センシング事例紹介:HVC-P2活用事例