開発について思う事…

今回色々と思うところがありますが、中途半端になっては元も子もない。

元々ソフトハードについては興味があり、趣味でコツコツと勉強していました。
流石に今はかなり高度になりセキュリティーや通信についてもより複雑でついていけてるかも良くわからないと行った感じです。技術が高度になりそれぞれの分野で専門家が開発管理されて世の中は便利になっています。
当然趣味の世界にもそれぞれの基礎や応用部分は導入されています。

オープンソースはその中で大きな役割になっています。一部の会社で開発独占されるのではなく全ての人と共有してより良いものにする考え方が主流になっているのは疑いのない事実です。

今回今まで開発したサーモグラフィーのソフトハードの部分は一部お金を頂戴していますが公開しています。開発者の末席に入れる事に誇りは持っているつもりです。
元々は小野さんのブログでサーモグラフィーのデータを最小の部品でスマホで可視化するアイデアを見て閃いてお願いして共同開発しています。それがなければ今はないのです。

これを見てお願いしました。

それをドローンに積んで室生でこんな事が出来ました。

出来ると言う事は証明しましたが完成度はまだまだで今も試行錯誤しています。
現在の問題点
画像が揺れる。

なので軽量ジンバル試作、これまでおもちゃのドローンを数々買いましたが３軸センサーはかなり良く補正するソフトも色々オープンソースがあるのでこんなものも自作出来ています。

残念ながらブラシレスモータの磁気ノイズの為、誤作動…

配線を短くしたりソフトを改良したりしていますが暗中模索中です。配線にノイズが乗っているのでフェライトコアを巻いて少しは改善しましたがノイズを取りきれていません。
時々震えます。巻き方でも違う見たいです。

この問題が解決したら商品化も夢ではなさそうなのですが、遊んでいるみたいですがやってる本人は真剣です。
構想から２年掛かっています。

その間出来上がったソフトはFLIRにも評価され世界で５０００を超えるダウンロード！！

既に誰かのお役に立ててます。悪用されてないか心配ですが…

開発って時間が掛かります。付随的に色々な事を調べて対応する。でも問題解決策を見つけるのは簡単ではありません。専門家には簡単な事なのでしょうが…

光造形タイプ3Dプリンター買いました。

試作が個人で簡単に出来る素敵な時代になりました。
ノコギリや釘を使わずケースや部品が作れます。
今は積層タイプと光造形タイプ。

小野さんは積層タイプをお持ちです。
積層タイプはノズルからフィラメントと呼ばれるABSやPLA（トウモロコシ由来）の材料を溶かしながら重ねてプリントするモデル。

今までこれで作ってもらって送って貰いました。ちなみにプリント時間がこれで４−５時間位掛かります。精度を高くするとより時間だ掛かります。
バリ取りが結構大変。
アップにすると積み重なっているのが目立ちます。

それに対して光造形タイプを買いました。

これは紫外線で硬化する樹脂を露光して積み重ねるタイプ。

積層タイプより高精度ですが、大きさが積層タイプの三分の一位の大きさしかプリント出来ません。以前はそれでも数十万してまいましたが、今回ネットで評判の良い６万円位のものを買いました。

積層する厚みと露光する時間の条件を探っているので使いこなすにはもう少し掛かりそう。

付属のソフトで条件を設定します。モデルの作成は別の３D CAD。

サンプルデータ（左）はこんな感じ

右はAIコンテストに使うラズベリーパイのケースの試作

液体樹脂の匂いが臭く奥さんからクレームが出ているので、プリントするスケジュールを奥さん不在の時にしなくてはいけません…

DIGILENTアナログディスカバリー２hands-on

今日はアナログ、デジタルアナライザーの講習会。ALGYANというグループ主催で関東で多くこの手の講習会をメーカーと組んで無料で行っています。
マイクロソフトや電子機器商社（今回はRSコンポーネンツ）と組んでいるので信頼性も高いです。

パソコンと繋げばオシロスコープにもスペクトロアナライザーにもロジックアナライザーにもなる測定装置。
デジタル機器を扱うと動作を確認するのにあると良いものですが、取り扱いに専門知識が必要になります。
今日はアメリカの技術者の講習でした。
①LED評価方法を通して機器とソフトの取り扱い方法を確認

②トランジスタのIB、IC特性パラメータの確認

③RCローパスフィルターの時定数等の確認

素子を使って簡単に確認しました。この手の講習は理解しながらと言うより手順通りに次々回路作成作業と説明を進めるので理解は復習しないと聞き逃します。
今日は当然機器の操作に慣れた参加者もいたので質問内容は？？？でした。

本来の用途であるデジタルアナライザーの部分は今回のhands-onでは時間的な制限で資料とチュートリアルを確認するのみでした。

結局これを買う事にしました。宝の持ち腐れにならない様にしよっと。

専門的な機器はこの様な講習会で使い方は特徴を教えてもらえると導入し易く成り助かります。カタログスペックだけだと初心者には選定も難しい。

喉元過ぎれば…忘備録 リンクファイルの作り方

気をつけないと、その時はわかる様に書いても…

その後何を書いたか全く覚えていない…

自分の文章の間違え探しになってしまいました。

同じミスをしてやっと思い出す始末で下記内容を改めて解説します。

リンクファイルのコマンドでディレクトリーの前に/をつけないとリンクファイルにならずにただのファイルになります。

（正）ln -s /home/nvidia/darknet/src src1

（誤）ln -s home/nvidia/darknet/src src1

ショートカットを作らないといけないのにショートカットのコピーになります。（リンクが切れたファイルなのでエラーになります。）

添付をよく見ないとわかりませんが、下の１つ目の添付はsrc1がただのファイルになってディレクトリーの下の方にあります。２つ目はちゃんとリンクファイル（＝リンクファイル）がsrcのファイルの横にsrc１が出来ています。

ー”元のメール”ー

ショートカットはCntl+shift 左ドラッグアンドドロップとln -s /home/nvidia/darknet/src src1

まあln -s home/nvidia/darknet/src src1でショートカットにならないファイルで悩んでいました。

デモが完成したらコマンドの勉強一からやり直しです。

Amazon Sagemaker 体験ハンズオン

今日はアマゾンの機械学習サービスのハンズオンです。

オンプレミス（社内PCにGPUを搭載した環境）を無しにアマゾンのクラウド上のGPUを使って開発、学習および推論が可能。
GPUは$4.284/時なので経済的に思える。
ある程度機械学習が出来る様になれば必要な時に使って節約すれば良いかな？
使えるサービスに特に問題は無し。

現在の状況では不定期に使用するにしても結構な金額になるかもしれないし、そもそも基本の環境の理解はすでに機械学習したところでないと使いこなせない可能性大。
やはり先ずはオンプレミス（社内PC＋GPU）でスタートするのが常套手段。

４０人位参加しているのでこの手のハンズオンとしては盛況。

さらっと進んで…

後でURLで再度確認しないと良く分からない…
で資料が来ました。

でも実際やってみて感じる事が出来た。
最近のハンズオンは貴重な体験である事は間違えない。

応募完了、デモ用の仕上げ結構処理が大変

１２月１２日
今回の独自に開発したサーモグラフィの読み取りソフトはFLIR LEPTONから１６０x１２０ポイントの温度データ（８ビット）をラズベリーパイに取り込むのですが、安いセンサーだからなのか８０x６０ポイントを４回取り込んで処理して再構成して画面に出力しています。

データは垂流しなのでSegment 1を見つけて２、３、４と繋げて１画面にします。
1秒間に３２回Segment 1を捕まえて8bits(<<14bits) x 160 x120 x 8 fpsのデータを処理して可視化（４倍補間して画像化＝QVGA）しています。
私たちの生データの処理とRGBとの比較です。

RGBは滲んで輪郭がはっきりしません。

４倍補間していますがこの違いです。１ポイント当たりの温度表示もばっちり。

ここからが大変な作業です。バグというより安定性の向上にノイズを少なくしてリセットが掛らない様に調整しています。
理想的な信号のやりとりが出来れば問題は少ないですが、結構シビアなセンサーなのでノイズ対策をしっかりしないといけません。このセンサーはcalibrationの為シャッターが付いています。なので時々まばたきして画像が時より止まります。それ以外でなるべく画像が止まらない様に調整してリセットに１０秒程画面が止まる事を避ける様に苦労しています。

理路上はこんな処理です。

実際の信号はこんな感じです。

資料をmgo-tec電子工作ブログ管理人さんから許可を頂いて拝借しました。
ありがとうございます。
詳細は下記ページが非常に参考になります。 ESP32 の SPI_MODE が修正。HSPI , VSPI , 複数SPIデバイス制御 , SPI高速化などについて
https://www.mgo-tec.com/blog-entry-esp32-spimode-hspi-vspi-hispeed.html/2

で、この信号が電線だと長時間コンスタントに信号を受け渡してくれません。理由はノイズです。今のところ１〜２時間でリセットが発生します。電源ノイズの影響もありACアダプターを秋月電子のに変えました。バッテリ駆動が良いのですが、長時間の使用に問題があります。
結構我慢強くこの辺のテストは地味でノイズが見つかってもどこから来ているかは見つけて対策は一苦労です。もう数週間電線の長さやアダプターを変えたり、基板を起こしてテストしたりして数週間掛かっています。
基板の配線にも制約があり直角に配線を曲げても、via（穴で開けて裏のパターンに配線する為）もダメです。信号線の長さも同じにしないといけません。ノイズ対策で信号線に１０から１００Ωの抵抗もある方がベター。

効果がありました。

この基板で４時間持ちました。これから改良新しいものをデザインしました。

こんなデザインにするのに半日以上掛かってます。

あっ、MOSIプルダウンするの忘れた…

最新技術ですが非常に残念…私は見る事が生理的に無理。

条件次第ですが会社で使えると思います。
通勤電車でゲームする人は大丈夫だど思いますが、私はダメでした。

VR（仮想現実）は着実に進化していますが私の三半規管は壊れそうです。若い世代は大丈夫でしょう？
解像度が飛躍的に上がってゲームだけでなく医療や教育にも進出しています。アメリカはもちろんですが、北京や深センでは当たり前で使われています。台湾でも講義で使われています。
日本はゲーム以外の分野では遅れているようです。悲しいかな日本の技術はいろいろ遅れて来ています。

さて、社内で現場作業を動画録画の話がありますが、最新はこれです！

実際の改造現場をこのカメラで撮って母艦（NVIDIA GPU)で処理すると３Dで処理出来ます。機器の配置が奥行きも含めて分かるので現地調査はこのカメラを送って一通り撮って貰えば出張費は無くなり全国展開出来る？？若しくはどこかがこのサービスを始めれば出張費の分は価格差が出て来ます。
データは後で二次利用も出来るかも？
その３Dデータを作ったら合成してこんな事も出来る。

ゲームをするのではありません。
三次元データを合成してVRメガネでシミュレーション出来ます。
このメガネは高度な６DoFセンサーが付いています。

メガネに位置情報が付いてどこを向いているかどの座標に居るかをデータ化します。

カメラの６DoFセンサーを合成するとメガネをつけて居る人は現場に居る事と同じ体験が出来ます。

スマホで３Gデータ通信が始まった時は写メで、４Gのサービスで動画配信、５Gのサービスが始まるとVRだそうです。

これはもうSFではないのです。数年でAI、VR、IoTでこんな事が実現出来ます。

今はその過渡期で開発者がサービスを検討中です。

今日はそのVIVEと言うメーカーが初めて日本で開発者ミーティングするので参加しました。（開発者３００人参加）途中退席ですが…

コンペ進捗②

いよいよ申し込み期限が近づいて比較的順調に作品と申し込み書類の草案が出来て来ました。
いくつかの形式の書類を提出するのですが、一枚で表すとこんな感じ。

最近はこの”いらすとや”のキャラクターを使うのが流行りで一見子供じみていますが、逆に誰が見てもわかりやすい様にするのが難しいIT専門用語を使うより好まれているようです。

産総研のPDFよりはわかりやすいと思います。

提出期限まで書類の中身を何度も見直しています。

コンペ進捗状況

コンペ応募の要件に対しての見直しをしているところです。

作業の進捗は大体のデザインの機能については決まりカラーパレットの追加と温度表示周辺の拡大表示とポイントクラウドを使った温度差の立体表示。

会社のロゴも挿入。（右下）

右がSSH接続したPI3のターミナル。左がXavierターミナルで、２つともXavierで動かします。

PI3はmake run で動かしますが、開始時にXavierのIPを入力するようにする予定です。実行方法はこれだけ。

PI3にディスプレイをつけなくても動きます。（接続してれば白黒画像が表示されます）

Xavierの画像は左にGUIボタンを表示してます。基本設定はiPhone版と同様の設定ができるようにする予定です。

カラー変更はあったほうがいいと思うのでつけてます（１６種類）。3D画像も別々にカラー変更できるように考えてます。

Xavier——>カーソル座標、カラーレンジ数値、ダイナミックレンジ数値、強制リセットデータを送り

PI3————>LEPTON白黒画像、カーソル周囲9x9ドットの温度８１個、最低最高温度、カーソル部分の温度

を相互に送ってます。iPhone使用の時とは違って、命令の遅延がほとんどないので、相互のi2Cを含めたGPIO制御も自在に実行できると思います。

gifなので詳細画像は下記で確認できます。

https://youtu.be/4tMRHjlNBS8

サーモセンサーとPIのデータ転送の問題があり、3０MHz以上の通信（CLK)なのでノイズの影響を減らす為に配線を直線にして最短にしています。

 

配線より基板の方が影響が少ない様なので基板試作。

こんな感じ。一発で決まらないので初回ロットが来たら調整。

＊さらっとサーモグラフィー開発を振り返ってみます。

２年前当初Lepton 1（８０x６０）はこんな感じで補間することで輪郭が滑らか。

このブログの結果が私たちの開発の始まり。

 

ここからが大変でした。Leption 3（１６０x１２０）は4倍の解像度で尚且つ８０x６０のデータを４分割で送ってくるのでそれぞれのデータの先頭を見つけて一画面に再構成する複雑な処理をしなくてはいけない為、ESP8266のプログラムメモリーの大半を消費してバッファーが溢れてエラーしまくりでプログラムを一から見直してメモリの消費量も減らすことも必要で３ヶ月以上先の見えないテストをひたすら繰り返しました。

繋がるまでも、繋がってからも苦労の連続

試作の数々、これでも一部で20個の試作基板を作って手半田でテストを繰り返しました。

FLIRの英文SDKと格闘、レシーバー側のMCUのメモリ問題、SDK自体の限られた情報やSPI通信のスピード（６００MHz以上）がとても早く基板パターンも変更に変更を重ねて数ヶ月掛かる。その間はソフトは数百回コンパイルとデバックを繰り返しして接続テスト。

iPhoneのデザリング機能を使って無線LANを使って可視化。当初はXcode試作だけ。

その後は録画機能、カラーパレット、コントラスト調整等の機能を追加してApp storeでアプリを公開

昨年のMAKER FAIRE TOKYO 2017で既にJetson TX2を使ってAI（機械学習）を展示。

２０１７年６月公開

つまりこのシステムの開発は二人で既に１年半以上費やしている。

長くなるので今回はここまで…