ジンバルとサーモグラフィー画像の安定化(その２）

＊ジンバルとわ機械式ジャイロの剛性。
ブラシレスモーターはやはり重い…
バッテリ無しですでに１４０g！

 
このモーターが２つでバッテリもリチウムバッテリは２sタイプ（７．４vなのでなおのこと重くなります。）

参考までにサーボモータータイプ

サーボタイプは７０gでブラシレスモータータイプの半分以下

ブラシレスモーターは動きは滑らかで理想的な画像になります。

カメラの位置も調整可能（右のポテンションメータ）可変抵抗で上下の調整分かります？

２つジンバルの比較

どちらもオープンソースを使っていろんな人の知恵がいっぱい詰まっています。もちろんここまで動かすだけでも一苦労、これを設計して作った人には頭が下がります。

ジンバルとサーモグラフィー画像の安定化

現在使用中のLEPTONというサーモグラフィーセンサーは最大データ転送が８．９FPS（フレームレート）つまり1秒間に8枚程度（通常普通の動画カメラは３０－６０FPS)。
サーモグラフィーセンサーの位置を急に動かすと俗に言う”手振れ”がおきます。
なので昨年からジンバルという画像を安定させる機構を試行錯誤中。
3軸センサー（英語: inertial measurement unit、略称：IMU）を使ってアクチュエーター（モーター等）を動かします。
3軸とはx軸（ロール）y軸（ピッチ）とｚ軸（ヨー）です。
今回軽量化の為ヨーは使いません。
もう少し分かりやすくカメラで説明するとカメラを左右の傾きがロール、カメラの上下の傾きがピッチ、因みに今回使わないのはカメラ左右の回転（ヨー）。
前回説明したセンサーの動きはAI、3次元データとロボティクスを見てください。

昨年夏より小型のドローンに搭載可能な様にサーボモーターを使ったジンバルは完成したのですが、ドローンのモーターの出力が上がるとその磁界で誤動作を止める事が出来なかったので。原因は恐らくサーボモーター内部のPWMドライバーのノイズ？対策は半年続けましたが改善せず。

今回はブラシレスモーターを使ったジンバルに挑戦中。
重量がどうしても重くなります。現状バッテリーを含まず１００ｇ。

オープンソース（ボランティアで作った）ソフトで細かな設定や改造も可能な反面、設定が大変また数週間の時間が掛かりそう…

３Dプリンターとモーターを極力軽いモデルに変更しようと思います。

動けばこんな感じ。

音声認識もAI

ディープラーニングはCNN（畳み込みニューラルネットワーク）。
音声はRNN（recurrent neural netoworks=再帰型ニューラルネットワーク)といったシステムで基本システムはGoogleかアマゾンで殆ど完成されているのであとはここのシステムと紐付けしたサービスを開発するくらい。

グーグルは独自のサービス（主に検索する）くらい。

アマゾンはスキルといった自社のシステムの一部を公開してアレクサのシステムを使う事が出来ます。
例えばJRが運行状況を音声で案内するスキル。
FMラジオ局が音声で起動できるスキル（ラジコ）。
外国語通訳をするスキル、クイズやなぞなぞをするスキル等色々なサービスをサービスを提供する会社と一緒に開発しています。日本国内で２０００スキル以上。
詳細はガイドブックが必要なくらい。
もちろんアマゾンの買い物もアレクサで可能、アマゾンプライム会員であればそれぞれのジャンルの一部の曲も無料で再生します。人気の曲は追加料金が必要（アップルのiTunesや他の音楽サービスの中では割安です。）
当然曲を聴き続けるうちに好みの曲をAIがおすすめするサービスつき。
本も読み上げてくれます。
添付のスキルのジャンルを参考に色々探してみるのも良いと思います。

私も簡単なスキルを作ってエネセーバの入り切りを音声でテストしました。
公開するには色々と条件がありますが公開しなければ開発はいろいろと可能。

日本では独り言の様に機械に話しかける事が疎まれますが、会話レベルで対応できるまでには開発は進んでいます。車を運転中に受信したメールを読み上げたりメールを送信したり。いろいろな操作が運転中に出来ます。料理中、作業中といろいろな事を同時に進める事が出来ます。

S社の様に一部のサービスだけではガラパゴス化かも。もちろんアレクサで同じ事やそれ以上の事が出来ます。

アマゾンやGoogleのサービスは世界中のサービスに繋がります。

地方の放送局は災害時に２４時間災害情報を読み上げて放送を続けるサービスが普及しています。少ないスタッフで放送内容を校正してアマゾンに放送内容を送るだけ。

開発者として登録しているので最新の情報をみる限りまだまだ普及すると思います。
サービスやアプリもどんどん改良されています。

AI、３次元データとロボティクス

AI（深層学習 ＝ディープラーニング、機械学習＝マシンラーニング）を始めてロボティックスも同じ要素で構成されています。
最新技術のAIやロボティックスはGPUを使った処理＝行列、並列演算、ベイズ統計等々。
センサー等で取得した情報は描きグラフの様にバラついてます。
古典的な処理はフィルターに掛けて平均化します。この手法は本来のデータを見えなくしてしまうことがあります。
今は統計学的な手法を使ってより正確なデータを導き出します。間接的なデータから本来のデータを補足して出来るだけ正確なデータにします。
カーナビはGPSで位置を取得していますが、トンネルの中ではセンサーは情報を取得できません。道路を走行中に地図データで道路以外を走行したり建物を突き抜けたりしません。
GPSのデータは実際走行しているところとは例えば描きブラフの様にずれています。

まずこれを統計学手法を使って処理します。
その後走行距離計、９軸センサーを使ってさらに補正して正確な位置情報にしています。

動画の解説です。英語ですが見ればわかります。

https://youtu.be/mwn8xhgNpFY

AIも同じ様な処理をします。
但し予測するデータ（目的変数）を導き出すデータ（説明変数）を決める必要があります。正しい説明変数が多いと予測の確率は上がりますが処理が複雑になります。当然間違えると期待した結果になりません。


自動運転やロボティックスはAI、センサー情報、制御これらのデータを総合的に取り扱いうので複雑です。
テスラの電気自動車はこれらの最新技術に挑戦しています。もちろんトヨタや自動車メーカー、産業ロボットも試行錯誤しています。

くるくる回っているトーラスの点群は何を意味するかと言うと３次元のデータを上手に扱う事がこれらの技術の重要な要素になります。

VR（仮想現実）も視線を変えた位置の画像をリアルタイムで再現する技術です。
これも同じ種類の技術です。

９軸センサーは９DoF（degree of freedom)「ジャイロセンサ3軸」，「加速度センサ3軸」，「地磁気センサ3軸」で構成されています．
それぞれをソフトで補正して正確な位置や方向を導き出します。
以前お見せしたVIVE PROはこれ前後にレーダーを追加して正確な位置をさらに補正します。なので最大で６m四方までしか計測出来ませんがゴーグルに膨大な画像をリアルタイムに送るためNVIDIAのグラフィックボードを積んだデスクトップパソコンとの配線があるのでリアル感は凄いですが、外で使えません。
外で無線で使える簡易なVRもありますがそれらの処理をスマホやラップトップではまだまだ能力不足でゴーグル内で表現される画像は漫画の様になります。

この９軸センサーはまさに３次元のデータを測定するセンサーです。
９軸センサーのとても分かり易い説明をしている動画を著者のwatako-labさんの許可を頂いて動画を使わせて頂きます。

https://youtu.be/_nk9k_Topf4

観ていただきたいのはセンサーから取得した生データの揺れです。
この動画は秀逸です。センサーから取得したデータと動作を同時にわかり易く表現しています。

サーモグラフィー画像の安定化

サーマルカム基板を買った方で実際太陽光発電所でテストして頂いた方でドローンの自動操縦（ウエイポイント）を使った録画があります。

サーマルカムはジンバルを付けていないのでどうしても画像が安定しません。

なので簡易ジンバルをサーボモータを使って軽量に試作しました。

ここからが長いストーリー（2018年8月～）でブラシレスモーターの出力を上げると誤動作し出します。ソフト上でフィルターをかけたり、３DoFセンサーをアルミケースに入れたり、ドローンの上部にセンサーを移動したり、サーボモーターの配線をフェライトコアに巻き付けたり係数の違うフェライトコアを4種類テストしたり、サーボモータの制御をアナログ配線からフォトカプラを使ってノイズを入り難くしたり、基板を金属ケースに入れたり、サーボモーター自信をブリキケースに納めたり…

10ヵ月42回のフライトテストをしましたが、サーボモーターを使ったジンバルは断念しました。

原因はサーボモーターの中にあるKC5188のPWMサーキットのレファレンス電圧が怪しいとは思いますがこれを強力なブラシレスモーターの磁気嵐から救う事が出来ません。

なぜブリキを使ってサーボモーターを囲ったかというと軟鉄が磁気に強い（ブリキの鉄が軟鉄かどうかの確認はしていませんが、鋼板をブリキにする意味は無いのでそれにしました。）仮に鋼板にしても結果を見る限り殆ど変らないと思います。

軽量ドローンにする為に本格的なジンバル（ブラシレスモーターを使ったタイプ）を使わなかったのですが、サーボモーターでもここまでの重量になると本格的なジンバルでテストした方が良いかもしれません。

色々な検証とテストを繰り返しても全く解が見付かりませんでした。

私の見当がそもそも間違っているのかもしれませんが、一旦このプロジェクトはクローズします。

テストをお願いした大澤さんには感謝です。

残念な結果ですが、すべてが報われる訳ではないのは世の常です。でも疲れた。

近赤外線（暗視カメラ）とサーモグラフィーカメラ

監視カメラ（夜はモノクロの暗視カメラ）は数千円からあります。

暗視カメラの技術は近赤外線です。
サーモグラフィーは遠赤外線です。（ヒータで暖かいと感じる熱線と言えば理解出来ると思います。）

帯域名	波長	光エネルギー
近赤外線 (Near-infrared, NIR)	0.75-1.4 µm	0.9-1.7 eV
短波長赤外線 (Short-wavelength infrared, SWIR)	1.4-3 µm	0.4-0.9 eV
中波長赤外線 (Mid-wavelength infrared, MWIR)	3-8 µm	150-400 meV
長波長赤外線 (Long-wavelength infrared, LWIR) 熱赤外線 (Thermal infrared, TIR)	8–15 µm	80-150 meV
遠赤外線 (Far infrared, FIR)	15-1,000 µm	1.2-80 meV

FLIR LEPTONは8µm～14µmのレンジです。

最近はその暗視カメラ（夜間の映像を）のカラー画像を出力できるものもあります。

ISO感度を上げて可視化しているだけで何も新しい技術でもないです。
CMOSの製造機技術が上がって、それと同時にソフトでノイズの処理が良くなったのでそれでも良ければそれまでです。
ただ少し戦略的な視点で見ると、仮にそれで機械学習してオブジェクト認識させて製品を作るとします。
CMOS素子はソニーが今の所一番で価格レンジも国際流通も潤沢です。
つまり中国製の安価で高性能な製品はすぐに出てコモディティ化 （＝価格競争とそれを作る事に意味はない）するので企画者がその点と革新性のセンスが問われると思います。

そのカラーの暗視カメラとサーモグラフィーとの違いは用途によります。

対象物が何であるかを識別する必要があればカラー暗視カメラでも良いでしょう。

特にわくわくするような技術でもないですが、カメラメーカーは既にオブジェクト認識を開発しています。指名手配犯を探す例の中国AI会社でやっています。何せ中国政府を上げて開発しているので凄い状態で勝負する気はありません。魅力も感じませんし。

走行中の車が交差点の人、道路脇の動物や前方の車を識別するならサーモグラフィーも使えます。

特に対象物が一定の温度（体温等）があればアクティブ（生きている）かどうかも含めた認識になります。上記のメーカーが開発しているオブジェクト認識は個人を特定出来るレベルなのでモデルデータが膨大です。もちろんグレードを下げて対応する事は可能です。

こちらはサーモグラフィーが専門でAIを含めたソリューションを含めたサービスを研究しています。

認識するものを決めて学習モデルを作って試行錯誤が必要です。

もう少し簡単な比較に例えるとガラケーとスマホに似ているかもしれません。
どちらも電話もメールもインターネットも出来ます。ガラケーや安いですが、年寄りを除いて積極的に買う人はいません。コモディティ化しているからです。

商工会議所のコンペと同じくそれを理解出来ないと受け入れて頂くのは難しいですね。
資料で理解出来る出来ないでは無くセンスの問題の様に思います。

メーカーズフェア京都２０１９

今回関西で初開催のメーカーズフェアは予想を上回る来場者数で、事務局の発表はまだですが恐らく二日間で１万人前後の来場者数の様です。
昨年の東京の展示会は２万５千人の来場者でした。
京都の学研都市での開催で交通の便が悪いので事務局の予想は５、６千人だったのでお弁当が売り切れたりと主催者側はパニック状態だったそうです。

名刺が１５０枚位減っているのでその位は来てもらいました。

全てを紹介するのは難しいのでダイジェスト動画を拝借。
https://youtu.be/d-Vd6pWiT9U

ご来展頂いた方々のお話を参考に改善する予定。
二日間立ちっぱなしでクタクタです。ぼちぼち赤外線は卒業かも。