NVIDIA Jetson Nano

また新たな機器が３月発売されます。
任天堂スイッチに使われているNVIDIA Jetson TX1を元にしたGPUが今までより価格をおさえて１万３千円程度で販売されました。NVIDIA Jetson XAVIERは２０万円位するのですが一般に普及しているラズベリーパイに比べてGPUの性能は高くいままでcuDNNやフレームワークが少し適正化する事で使える非常に能力の高いボードで既に売り切れて状態です。

NVIDIA® Jetson Nano™ Developer Kit

正直これで世界が変わると言っても過言ではない？
安い早い使いやすいコンパクトボードです。
もちろん既に購入手続き済みです！

ブログ用に加工しています。NVIDIAより指摘があれば削除します。

copy right NVIDIA

こういう事は簡単に出来る様になります。

ラズベリーパイ等では出来ても安定して動作させる事が難しい…
みんなこういう事がしたいのです。

FLIR LEPTON赤外線センサー（マイクロボロメーター）

お仕事に関係する様になったので、概略だけでも理解して貰えるように整理します。

赤外線センサーも色々出てきました。

冷戦時に軍事用で開発が進んで古くはテレビシリーズや映画の軍事機器のシーンで良く見られました。当時の技術は軍事秘密で公開されていませんが敵より先に正確に位置を察知して攻撃するという目的でした。
有名なシーンは湾岸戦争で攻撃が始まった際に国際映像でアメリカ軍の巡航ミサイルがイラクを攻撃した時だったと思います。

その後産業用にも使われる様になり太陽光の現場でも使われる様になりました。

私自身は熱交換器や冷蔵庫の性能テストに使われていたので馴染み深いものでした。

今ではオムロン４x４アレイやパナソニック８x８アレイのセンサーがありますがFLIRのLEPTONは１アレイあたりの単価や性能は次元の違う性能です。
その為輸出規制の対象になっています。特に中国、ロシアへの許可無しの持ち出しは処罰の対象です。アメリカにとっては同盟国と言えど自衛隊も外国軍の為間接的な販売も含めて駄目。

さて今回開発したソフトのハードの特徴はセンサーからのデータの取り出し技術とソフトの処理が評価された事によります。
1.LEPTONセンサーからのデータ取り出しは特殊なSPI（Serial Peripheral Interface )
　というシリアル通信一種で同期を取る事が当初より難しく他の人より正確に取得
　出来る様になった事です。（やった事がある人しかわからないセンサーの気まぐれ？）
2.ESP8266というマイクロコントローラーが入ったWiFiモジュールを使っています。
　命令形のRAMはたった６４KBといってもWiFiモジュールとしては十分かもしれませ
　んが、そこにFLIR LEPTONセンサーからのデータの取得に配列分として３９KBを
　使っているので９０％以上のメモリーを消費しているので機能としては限界に挑戦
　している状態。多分普通の人はこの計算で出来ないと諦めるところをその他の命令
　のメモリーの消費を最小限に工夫（昭和の香りがしますが、初期のマイコンは数KB
　しかなくみんな工夫して知恵を出していた経験がものをいっています。）
3.本来WiFiモジュールでメイン処理はユーザー領域の命令より優先される為その瞬間に
　LEPTONのデーター取得にズレが生じてエラーになります。そこにdelay、yeildや
　ウオッチドックタイマーを感でいれて同期を取っています。（現在までにコンパイル　
　して実験しながら命令を入れるところを決めていますがそれまで４００回以上）
　その後、実際に宮城県某所、兵庫県某所と東大阪某所ですでに２年実験に実験を
　重ねています。
4.試作基板も20個以上テストしています。現状は部品構成を最小限にしてノイズが出ない
　様に他のESP開発キットの様にパソコンとのシリアル通信の回路やバッテリー充電
　回路は省いて、WiFiの電波強度を技適をクリアーしながら最大限にしています。
5.LEPTONセンサーのデータを受けるiPhoneのアプリにも様々な工夫をしています。

現在様々な開発基板が各社から発売されていますが、いろいろとテストしていますが中々ベストな機器が見つかっていません。
ラズベリーパイやM5stackなどでも表示が出来るのですが、機能が豊富な機器は命令形の制約が多くかえって問題が生じています。
今まで苦労した経験はその新しい機器の開発期間が短くなるなどのメリットをもたらしていますが、世界で小野さんしか出来ない事になっています。すべてうん10年の経験が集約されています。

今年に入ってLEPTONより上記機種の赤外線センサーBOSONも開発に加わって今までの経験を生かした開発をしています。

私見ですが、DJIが今回開発したMAVIC 2 ENTERPRISE DUOの性能はこちらでは2年前に実現しています。ドローンに組み込んで販売するといったトータルのソリューソンで負けていますが、向こうは世界規模の先端企業です。こちらはたった二人で同じ事をしています。
私たちのやってる事を本当に理解できるのは同じ事を開発している技術者で今回の評価が高いのは当たり前の事です。ちょっとやそっとで出来る様な事ではありません。

コンピューターの時代、インターネットの時代、AIの時代

今なぜAI（人工知能）なのか？

今までと何が違うのか？

一般の人には2000年以前はコンピューターで業務の効率を早くする事が喜ばれる時代でした。それ以前はそろばん、電卓の時代を経てコンピューターと進んで来ました。

2000年以降はインターネットの時代で色々な情報が検索出来る様になって便利でした。
もちろん並行して専門分野でコンピューターはいろいろな使われ方をしていました。

ここ数年でAI（人工知能）の時代と言われています。fuzzy(初期の人口知能）は2000年以前にありました。一般的なコンピューターの計算能力が低く限られた条件の中から判定するのですが、０か１のそれまでの判定に少し曖昧な要素を入れる事がやっとでした。
現在では計算処理スピードも早くなりや並列処理することでより同大なデータを処理出来る様になりスマートホンでも瞬間的な処理速度は一般のコンピューター並みになっています。（熱処理やバッテリーの制限があり電話としての機能が主体な為）

2012年にGeoffrey Hinton博士が人間の神経伝達の方法をコンピューターに計算させる方法が開発されて、その後グーグルがその技術を一般に広く知られる様な事に応用して知られるようになってきましたが、機械翻訳、音声認識、画像認識と呼ばれているものが俗にAIと呼ばれています。
画像認識で見た目に分かりやすく処理を可視化したもので説明します。

データの特徴を分析してその特徴とどれだけ似ているかで推測します。

この動画で黄色い線の流れが行列演算（線形代数）を行っている事になります。

それぞれの”重み”と”バイアス”を計算しています。式自体は簡単ですが、28ｘ２８ピクセルなので784回の計算をそれぞれの要素の回数する事が必要です。

上記の作業をそれぞれの手書きの”９”を数千枚処理します。その内適当な2割を教師データとして残りの8割を判定して％で答えを出します。

今は線形代数学をマンガで勉強中。

過去にも同じ様な事を書いていますが、行列演算をするといった本に書いてある事を丸暗記して書いています。今回はその考え方（線形代数）を理解しようとしています。

難解な式と単純な計算の繰り返しですが、今の最新技術の基本になります。

やっている事は９の特徴を文章ではなく式と答えで表す方法です。AIではこれを目的変数として特徴を説明変数として扱っている？

音声認識では、”あ”を目的変数、その特徴を説明変数。

他のAIを使った認識も目的変数を説明変数で行列を使って計算します。

但しAIを使わなくても古い技術を使っも出来ます。

例えば

”９”の空間座標に近いものを閾値で判別。

”あ”を音の周波数で閾値を決めて判断。

等々、古い技術は条件と精度の融通が利きません。閾値が超えないと判断も出来ません。

AIは目的変数と説明変数を選定して検証する必要があるのでフレームワークが決まっていても選定と検証に半年から1年位掛かります。

AIの導入はある程度結果を予測して想定通りな値が来たい出来るかを検証する必要がありはっきりとした結論を出すまでに可なりの時間が掛かる事を覚悟する必要があります。

既にある画像認識のモデル（学習結果）や音声認識のモデル（学習結果）を使うのであれば短時間に完成しますが、その様なケースは既にネットに方法が載っていて業務として依頼させることはありません。

赤外線、サーモグラフィー

元々パネルの不良の検査を安く効率的に出来そうと３年前からコツコツとしてスマホのアプリや専用基板を作っています。サポートに無理があるのでDIY出来る人に掛かった費用を払って貰って自力で製作して貰っています。
東京のMFT2017,2018展示会にも出て、メーカーの開発者ページにも載せて貰えるまでになっています。
商工会議所のコンペに落選しましたが、引き続き開発はしています。
良い縁談のお話も来そうですし。

さて本題の開発ですが現在２５０万円するドローンに搭載されている赤外線センサーはFLIR社のTAUと言う解像度６４０x３２０の温度計測の出来るセンサーを積んでいます。150万円するセンサーですが、既に旧型です。それに変わってBOSONと言う新しいモデルが出ていますが、温度計測に制約があります。６４０x３２０で６０万円、３２０ｘ２４０で22万円です。
今回開発にBOSON３２０x２４０を使って擬似的に６４０x３２０にチャレンジ中。
今開発したLEPTON3.5も擬似的に６４０x３２０を出力していますが、流石に同じと言うわけにはいきません。いい線行ってると思いますが…

lepton

BOSON320X240

解像度もさることながらフレームレートが１秒間６０枚が良いです。

（ブログ動画を添付する為に画質を落としています。）

LEPTON3.5が4万円、BOSON320ｘ240が２2万円なので解像度が4倍で価格が5.5倍の差です。

コストパフォーマンスはあると思います。

ドローンに積んだ実験は一部の方がされていてその補助器具（ジンバル）を試行錯誤中です。もう１年以上は掛かっています。磁気ノイズの解決にフェライトコア等を使ってもダメでした。ノイズを考慮してフォトカプラを使っていますがブラシレスモーターの磁気の影響は凄まじいです。

多分個人レベルでここまで研究している人は世界でも珍しいと思います。AIも使いこなして３軸センサー使って何か作ろうとするおバカさんはいないでしょうね。

でも完成したら画期なシステムになります。挑戦は続く…

アルミ板でシールド用の箱を製作中。配線も3線のシールド線に交換。これ以上はどうしようもない。

これ上手く行けば良いのですが、、、

これが出来れば安くて軽い機構になるので結構画期的？映像がどこまで安定するかが問題ではありますが、ドローンの姿勢制御の安定性に左右されます。

先ずエラーの表示の仕方等

先ず対象のモデルと表示方法を考えます。
大きくサーモグラフィーの違いで異常の場合と正常な場合の二つ

異常ーセルやセルが繋がるクラスターの異常発熱。
　　　パネルを交換しないと改善しない異常。

正常ー①周辺の建物の影や雑草の影で異常発熱している
　　　②パネル表面の汚れ、鳥の糞や葉っぱが表面に付いた異常発熱
　　　③ジャンクションボックスの中のバイパスダイオードの発熱
＊パネル自体の問題では無く外的要因による異常発熱
　　　

次にバウンディングボックスの表記方法。

異常は赤ーセルの異常（例）

正常は青ージャンクションボックス（例）

不明は黄色ー影や汚れの影響（例）

バウンディングボックスのコメントは分かりやすい英語で簡素

Cell Error

Junktion Box

Shadow or Dirty ? 

判定クラス増やすか減らすかは進めながら検討する。

youtubeのサーモグラフィ動画がカラーが多いですがグレースケールの方がデータ的には整理し易い様に思います。このあたりも検証が必要。時間があまりない…

サーマルカムのソフトはかなり経験を取り入れていて生データのメリットがじわじわ効いています。

特にダイナミックレンジが解析に役に立ちます。

上記の様にグレースケールではどのポイントからも比較出来ますが、

カラーパレットは温度差の激しい場合は全体として比較し難い感じがあります。

感覚的に分かるかな？

黄色の部分と青色もしくは黄色が隣り合った時はどれくらいの温度差かは慣れないと分かり辛いのわかります？

生データ（RAWデータ）があればここは自由自在で今までの努力が報われる？

ここまで赤外線を理解してメンテナンス会社は無いでしょうね？

色々な試行錯誤がここで生きてきます。

ソフトやハードをコピーして作ってもこれらのknow-howは一日の長があります。（古い言い回し！）

あとはAIで画像認識はぼちぼち進めます。ここはある程度出来ましたが実用性をよく考える必要があります。

先ずは機械学習の学習データの収集が手間暇掛かります。ここが重要です。

別案件の割り込みもあるかも？

メーカーフェア京都 ２０１９年５月４，５日に出展します。

関西初のメーカーフェアです。アメリカ発祥で世界各国メーカーフェアがあり、近年は中国深圳でも開催される様になり一般の技術系の展示会では家電のCESが有名ですが、個人が作る技術系の展示会では世界一有名です。

W&Tを

今年も参加承認を頂きました。3回目なので展示方法も工夫して行こうと考えているのでお楽しみに。

https://makezine.jp/event/mfk2019/

昨年参加したMFT2018東京会場の模様

プラチナスポンサーは
オムロン
ゴールドスポンサーは
ソニー
オーム社
シルバースポンサー
八光電機
MACNICA
seeed
共立電子（デジット）
その他企業のスポンサーシップがあります。

子供の科学の祭典ではありますが、最新の技術を子供から大人まで分かりやすい展示を求められているので是非色々な人が子供達と一緒に参加されると良いと思います。
上場企業のエンジニアも参加するので一部結構凄い展示もあるかと思います。

商工会議所の作品の発表の機会が無かったのでここで展示します。
娘さんとご一緒に参加される事をお勧めします。

AI、ロボティックス、自動運転はベイズ統計は不可欠

一番身近なお天気予報がベイズ理論を使ったサービスになります。
確率を使っている物は殆どこの理論になります。

＊ベイズ定理

データが得られた時仮定が成立している確率（事前確立と言います。）

式は簡素ですが、ベイズ統計は主観的な確率を数式に表す事で分散したデータから必要なデータを得る事が出来ます。
実はこの主幹確率は数学的にキチンと定義されていないようです。
ここ数日晴れが続いているから明日は雨って経験上考えてその通りになります。
今までの統計学では客観的な事実だけで経験上の予測に数学的な裏付けを与える事がベイズ統計になります。

テレビのクイズ番組のベイズ統計を使った有名な出題があります。
”モンティー・ホール問題”
A,B,Cの3つのドアがあります。
そのどれかのドアに賞金が隠されています。
確率はそれぞれ1/3になるのは理解できます。

先ず回答者が1つを選びます。 仮にAドアとします。
その後司会者が残りの2つから一つをドアを開けます。
仮にCドアを開けて賞金は隠されてないハズレでした。
残りはBドアになりますが、ここで司会者が回答者にAドアのままにするかBドアに変更するかのチャンスを与えます。
さて確率はどうなると思います？

先に答えを出すと、Bドアの確率はAドアの2倍になります。
Aドアの確率は1/3のままですが、BドアとCドアの選択を司会者がする事でBドアの確率は2/3になり1/3のAドアの2倍になりました。

これは乱数を与えたプログラムで証明されています。ブログの検索でモンティーホール問題と検索すると乱数を与えたプログラムで証明した学生が多く出てきます。

このベイズ理論を使って火災保険の料率や保険会社が保険金を払いすぎて破綻する事は有りません。株式で良く使われるグラフもこれに依ります。
機械学習も自動運転もベイズ理論が無ければ成り立たないようになっています。

今一番難しいのは何を事前確率として尤度を何にして事後確率が何になるのかを理解する事です。これは慣れないとどうにもなりません。

赤外線ビジネスプラン

後藤さんに教えてもらった２０１７年３月時点の太陽光設備の数字。

実稼働件数合計　 464,811　件　  10ＫＷ以上すべて

　　内数　　　　 441,485　件　  50ＫＷ未満

　　　　　　 

　　　　　　　　　13,139　 件　 50ＫＷ以上500ＫＷ未満

　　　　　　　　　　4,949　件 500ＫＷ以上1000ＫＷ未満

　　　　      

　　　　　　　　　　4,918　件1000ＫＷ以上2000ＫＷ未満

　　　       　 　　        320　件2000ＫＷ以上

恐らく特高クラスは２５０万のドローン等を使ったメンテナンスは年次点検等で使われている？
２MWクラス以上も１／３位は同じ様なサービスを実施しているとして２０００件前後
高圧でそれ以外のマーケットはMAVIC 2 ENTEPRISE DUO(40万円）がシェアーを伸ばすとしても分母２００００件の需要がります。つまり10倍
恐らく現在５００k未満で１５０００件位のマーケットはドローンを使ったサービスのイニシャルコストがネックになるのでそこで今回のサービスを使うとして初年度のマーケットをどうシミュレーションするか？
メンテナンス会社が２５０万のドローンを使った赤外線の一回の点検サービスは２０−３０万／回、MAVIC 2 ENTEPRISE DUOで点検した場合は１０万からと推測すると
それよりも安く５－７万円位がターゲット。センサー解像度は同じ。

１０万程度のDJI個人用ドローンに５万円の赤外線機器に仮にTX２でシステムを組んでAIのサービスを提供する費用１５万円のサービスで３０万円がイニシャルコストで１５０００件のマーケットの半分を想定。
点検会社からすると６回の点検で元は取れます。仮に墜落しても被害は15万円までです。
AI機器は墜落しません。

後は初年度を弊社がおのシステムを５００件受注見込みとして全体として５０００万円（その内弊社の赤外線システムは２５００万円）
売り上げとしては２年目行こう１０００件−２０００件（3年目）−２５００件（4年目）として５０００万ー１億ー１億２５００万の売り上げになります。

それよりも２００gのドローンを使った５０ｋｗ未満の想定をすると凄い事になります。
MAVIC 2 ENTEPRISE DUOは1100gなので家屋の上空を飛行する事は実質無理。
だとすると４５万件のマーケットが市場規模としてあります。
小型のドローンは５万円程度が安全にコントロール出来るモデルの市場価格なのでそれに５万の赤外線システム（上記と全く同じシステム）を導入したとして10倍から20倍の潜在需要として５億ー１０億ー１２億５０００万円
ドローンに搭載せず竿（３m)に装着してさらにシェアを取れればそれ以上のセールスが見込めます。
ここまではほぼ完成しているシステム（２年も開発掛かってますが…）
基板の完成品をどこかに販売を委託するのも良いかも？
この場合はAWSのクラウドのサービスを使って一軒1万円をメンテナンス会社から頂戴すると初年度1000件として1000万円の売り上げになります。以降2000件、3000件等で良いと思います。
TX2を購入すれば15万円でメンテナンス会社が書類を発行するとメンテナンス会社の設備費としては15万で済みます。

ここからが本筋、これらの赤外線システムを使ったAIシステム（１０ー３０万円）をターゲットにすれば日本メンテナンス協会の知名度アップに役立つはず？
Xavier(３0万円）を使わなくても５〜７クラス（ストリング落ちやセルの以上程度の）であればTX2（１５万円）で赤外線画像認識は可能。

標準の形（システム構成）

基本フレームワークは今回のコンテスト様に完成しているので後は赤外線画像でパネル異常データを収集、学習でモデルを作る。

スケーラビリティ１０００件の客先から注文が来てもTX2のハードを代理店から購入後バイナリーでソフトを書き込むだけ。
AWS（クラウド）を使う事が可能で実質的に世界中にサービスを提供することも技術的に可能。
もちろん太陽光以外の応用も効くシステム（害獣対策、災害救助等）

当面の課題
①パネル異常をAI画像認識して記録をとるシステムの開発（技術的に可能で難しいシステムではありませんが、今の技術者の畑違いで対応策が必要）。
②AWS（クラウド）システムも早晩必要ですが、未知の世界で１年位掛かる可能性がある。DOCKERと呼ばれるソフトで現在のNVIDIAのシステムのイメージをAWSでシミュレーションさせるだけですが、セキュリティ等に本格的なシステムエンジニアが必要。アマゾン大阪のサポートはある程度期待出来ますが。

現状のシステムを太陽光にチューニングするのに夏頃位、それまでにデータが取れれば秋頃行こうに試作は完成、第３回AIアイデアコンテストに申し込みで要件を全て満たす事とビジネスとしての目処も立つ？