狠狠撸

エッジAIの新たな可能性
FPGAとレザバーコンピューティングによる高効率AI処理
2024/03/08
株式会社セック建部貴隆

Copyright ? 2024 Systems Engineering Consultants Co., Ltd. All Rights Reserved
2
まず最初に、本日お話する内容が分かるデモ（映像）をお見せします。

デモ（打音識別アプリ）の特徴
3
? 少量データでの学習
? 各缶、10回叩くデータを収集
? 短い時間での学習
? 学習時間が1分
? 高い識別性能
? 99%
このデモは、MPSoC(Zynq XCZU7EV)を搭載したコンピュータを使って実現しています。
本日は、このデモを軸に使用している技術、処理の流れについてご紹介します。

本日の内容
?レザバー計算モデルの説明
?打音識別アプリの詳細
?構成
?処理内容
?性能
?AIチップの開発?利用についての紹介
?研究開発プロジェクト
?開発環境

技術的背景：レザバー計算モデル
5
九州工業大学：EdgeTech+2023ポスターより抜粋

技術的背景：レザバー計算モデル
6
九州工業大学：EdgeTech+2023ポスターより抜粋

レザバーコンピューティングの特徴
? リカレントニューラルネットワークの1つであり、時系列情報処理が得意
? (DNNで言う)中間層の学習をしないため、パラメータ数が少なく、学習が高速?簡便
? データが少ない場合でも適切に学習が可能（DNNは大量の学習データが必要）
? ハードウェア化により高効率化（低消費電力化）も可能
7
エッジでの活用に適している

? コンパクトボックス型コントローラ
AMD Zynq UltraScale+ MPSoC搭載モデル
(NECプラットフォームズ)
※ 本資料中では以降『FPGABox』とします
? USBコンデンサーマイク
(サンワサプライ)
打音識別アプリの機器構成
8
NECプラットフォームズ社?サンワサプライ WEBページより抜粋
※1 PetaLinux動作確認済み
項目詳細
OS OSレス（※1）
CPU
XCZU7EV-2FBVB900E（Zynq UltraScale+ MPSoC）
ARM? Cortex?-A53 Quad (1.33GHz)
ARM? Cortex?-R5 Dual (600MHz)
メモリ DDR4-2400 4GB（オンボード）
ストレージ eMMC 64GByte
インターフェース
ディスプレイ Display Port ×1
USB
USB3.2 Gen1 Host Type-A（Front ×2/Rear ×2）
USB3.2 Gen1 Device Type-C Rear ×1
LAN Giga bit Ethernet ×2
その他
M.2 Slot ×2（Key M ×1, Key E ×1）
Micro SDXC ×1
外部拡張スロット
電源 AC100V（ACアダプター添付）
規格 VCCI Class A
温度 5～50℃（動作） -25～65℃（保管）
湿度 20～85%（動作） 10～90%（保管）
サイズ D180mm × H180mm × W50mm
供給期間 / 保守期間 5年間／供給終了後6年間

リソース量
プロセッシングシステムプログラマブルロジック
* 総 RAM = 最大分散 RAM + 総ブロック RAM + UltraRAM
ZU4EV ZU5EV ZU7EV
アプリケーショ
ン処理ユニット
最大 1.5GHz のクワッドコア Arm? Cortex?-A53
MPCore
リアルタイムプ
ロセッシングユ
ニット
最大 600MHz のデュアルコア Arm Cortex-R5F
MPCore
グラフィックス
プロセッシング
ユニット
最大 667MHz の Arm Mali -400 MP2
ビデオコーデッ
クユニット
H.264/H.265 をサポート
ダイナミックメ
モリインター
フェイス
DDR4、LPDDR4、DDR3、DDR3L、LPDDR3
高速ペリフェラ
ル
PCIe? Gen2、USB3.1、SATA 3.0、DisplayPort、
Gigabit Ethernet
ZU4EV ZU5EV ZU7EV
システムロジック
セル (K) 192 256 504
総 RAM (Mb)* 20.6 26.6 44.2
DSP スライス 728 1,248 1,728
ビデオコーデック
ユニット (VCU)
1 1 1
最大 I/O ピン数 252 252 464
AMD WEBページより抜粋

CPU PL
レザバーIP
（ESN）
BRAM, DSP
DDR
機能構成?プログラム構成
レザバー処理
プロセス
レザバーIP
アクセス用
ライブラリ
OS
(Ubuntu20.04)
XCL
COFFEE
A
認識処理
プロセス
ROS
結合重み
行列
ニューラルネット
の接続情報
一時データ

リソース使用量
11
ZU7EV
システム
ロジックセル (K)
504
総 RAM (Mb)* 44.2
DSP スライス 1,728
ビデオコーデッ
クユニット
(VCU)
1
最大 I/O ピン数 464
1. CLB Logic
+----------------------------+-------+-------+-----------+-------+
| Site Type | Used | Fixed | Available | Util% |
+----------------------------+-------+-------+-----------+-------+
| CLB LUTs* | 37719 | 0 | 230400 | 16.37 |
| LUT as Logic | 32764 | 0 | 230400 | 14.22 |
| LUT as Memory | 4955 | 0 | 101760 | 4.87 |
| LUT as Distributed RAM | 120 | 0 | | |
| LUT as Shift Register | 4835 | 0 | | |
| CLB Registers | 37166 | 0 | 460800 | 8.07 |
| Register as Flip Flop | 37166 | 0 | 460800 | 8.07 |
| Register as Latch | 0 | 0 | 460800 | 0.00 |
| CARRY8 | 1830 | 0 | 28800 | 6.35 |
| F7 Muxes | 854 | 0 | 115200 | 0.74 |
| F8 Muxes | 206 | 0 | 57600 | 0.36 |
| F9 Muxes | 0 | 0 | 28800 | 0.00 |
+----------------------------+-------+-------+-----------+-------+
入力層ノード数：64
レザバー層ノード数：400
出力ノード数：10
打音識別アプリのレザバー
※ ノード数を増やしてもあまり変わらない
2. BLOCKRAM
+-------------------+------+-------+-----------+-------+
+-------------------+------+-------+-----------+-------+
| Block RAM Tile | 39.5 | 0 | 312 | 12.66 |
| RAMB36/FIFO* | 34 | 0 | 312 | 10.90 |
| RAMB36E2 only | 34 | | | |
| RAMB18 | 11 | 0 | 624 | 1.76 |
| RAMB18E2 only | 11 | | | |
| URAM | 4 | 0 | 96 | 4.17 |
+-------------------+------+-------+-----------+-------+
※ ノード数に応じて使用量が増える
出力ノード数：100
3. ARITHMETIC
+----------------+------+-------+-----------+-------+
+----------------+------+-------+-----------+-------+
| DSPs | 144 | 0 | 1728 | 8.33 |
| DSP48E2 only | 144 | | | |
+----------------+------+-------+-----------+-------+
※ ノード数を増やしてもあまり変わらない
最大ノード数

打音識別アプリ：前処理の開発
? 打音時の音量が上がるタイミングをトリガーに、
波形の特徴が出る部分を抽出
? 左図：缶を打診棒で叩いた時の音の波形
右図：(A)～(C)のタイミングでの周波数スペクトル
? (A),(B)のタイミングでは、矢印の箇所で叩いた物固有の音(特徴)が
出ている
? (C)のタイミングでは、減衰してしまって特徴がなくなっている
? 人の耳をモデル化したLyon’s Auditory modelを採用
(A)
(B)
(C)
周波数
周波数
周波数
強度
強度
強度
固有の音
固有の音
(A) (B) (C)
振幅(+)
0
時間
特徴が出る部分を抽出して学習/推論に利用
12
(C)の時点での音を
周波数に変換
振幅(-)

打音識別アプリ：レザバーの設計
? 正解クラスはone-hotベクトルで表現
? 音声データ (ex.10種類）
? ハイパーパラメータ調整
13
出力層ノード数：10
結合率：0.1
漏れ率：0.1
スペクトル半径：1.06
入力層レザバー層出力層

処理全体の流れ (イメージ図) ※実際のタイミングとは異なります
14
音認識処理
プログラム
レザバー処理
プログラム
FPGA処理
WEBブラウザ

性能
項目処理時間備考
認識処理プロセス
(前処理)
100ms程度
(99ms～102ms)
100msに1回呼び出される
レザバー処理プロセス 50ms
レザバーIPのclockは100MHzで動作している
本処理をPC(*)で実行すると95ms程度
* Corei5-1235U(最大4.4GHz), Windows10(WSL)
レザバー処理(1回) 1.5ms
1回のレザバー処理プロセスで本処理が33回実行され
る。
15
処理時間は以下の通りです。

16
推論結果
Correct
Label
Result Result
Location 1: Meeting Room
(very silent)
Location 2:Office Space
(a little noisy)
Correct
Label
推論結果は以下の通りです。

その他のユースケース
打音識別アプリ以外に、下記のようなアプリケーション開発／フィージビリティスタディを
行っています。
? 音による異常検知
? 製造機器の異常検知に利用
? 電流値による機器異変検知
? メンテナンスに利用
? IMUの振動パターン分類
? 製造機器の製造物特定／製造個数カウント
? 動画による異常検知
? 自動倉庫での陳列ずれに利用
? モデル予測制御
? 制御対象のモデルを動的に構築?更新
17

18
本エッジAIの研究開発プロジェクト
本取り組みは、NEDOの事業である「高効率?高速処理を可能とする AIチップ? 次世代コン
ピューティングの技術開発」で研究開発している内容です。
2022年4月にスタートした本プロジェクトでは、レザバー計算モデルを実行するAIチップの開
発を、九州工業大学などと共同で進めています。
このAIチップを社会実装することが、本プロジェクトのミッションとなっています。

?ローカル環境向けに提供するシステム
? チップ制御ライブラリ
? FPGAに搭載したレザバー計算モデルを使うアプリ
ケーション構築するためのAPIを提供します。
? ROS(ロボット向けミドルウェア)などと連携可能な
インタフェースを提供します。
対象は順次拡大していきます。
? ユーティリティ
? フィージビリティスタディを行う機能を提供しま
す。
? フィージビリティスタディで得られた"モデル"を
チップ制御ライブラリに読み込ませることで、
フィージビリティスタディで構築したノード構
成?学習結果を利用できます。
SDKの開発
19
レザバーチップ活用SDK

?WEBで提供するシステム
? コンテンツ共有機能
? 開発したソフトウェアを共有する仕組みを提供し
ます。
? ここで共有するソフトウェアをベースに、独自の
アプリケーションを作成することを可能とします。
? クラウド開発環境
? WEB上でフィージビリティスタディを行う機能を
提供します。
? WEB上で、FPGAを使った処理の検証を行えるよう
にします。
SDKの開発
20
ACRiルームとの連携を検討中
レザバーチップ活用SDK

実行プラットフォーム
現状、エッジでの利用に適した実行プラットフォームが十分ではないため、開発中です。
21
エッジ向けのプラットフォームを開発中
現状での選択肢
Alveo FPGABox Ultra96v2 5G通信機能搭載機
約 ?200,000 ?54,340 (54週待ち)
数10万～
エッジに向かない：
PCとの接続
高額
エッジに向かない：
高額
大きい(ACアダプタなど)
入手性が悪い
未定
(WiFi, LTE, ZETA)
未定
Spresense+FPGA
小型
省電力
無線

SPRESENSE向けFPGA拡張ボードの開発
原理試作は完了し、今後、以下の最終イメージで拡張ボードを開発します。
22
：MPSoCでの構成と
異なるところ
CPU PL
レザバーIP
（ESN）
BRAM, DSP
DDR
レザバーIP
アクセス用
ライブラリ
for Spresense
OS
(NuttX)
認識処理
プロセス
結合重み
行列
SPI/AXI変換IP
最終イメージ
※参考
Spresense拡張ボード
AMD, SONY WEBページより抜粋

SPRESENSE向けFPGA拡張ボード?クラウド開発環境との連携
クラウド開発環境を利用して、SPRESENSE向けFPGA拡張ボードを利用するアプリケーション
の開発の流れは下記のようになる予定です。
23

開発中のSDKの利用について
? ローカル環境で利用する開発環境であれば、先行利用を検討中です。
? ユーティリティのお渡し
? Windows 10/ Ubuntu20.04 で動作します。
? FPGABoxの貸与
利用したい方はご連絡ください。連絡先は最後に記載します。
※ NDAの締結等が必要となる可能性があります。
? SDK公開時には、(ACRi様次第ですが) 再度ウェビナーを開催するなど、イベントを企画す
る予定です。
24

まとめ
?エッジでの認識処理にレザバー計算モデルは有用と考えられます。
本日紹介した事例をもとに、活用を検討ください。
?NEDOの研究開発プロジェクトにて、レザバーのチップ開発を行っています。
今後リリースするSDKと併せて利用して頂ければと思います。
25

会社／自己紹介
株式会社セック
(Systems Engineering Consultants)
?ソフトウェア開発が専門
?高位合成の環境が整備されてきた頃からFPGA
の活用を開始。
?2022年3月高位合成に関する書籍上梓
?2022年4月よりエッジAI研究プロジェクト開始
?建部貴隆
(Yoshitaka Takebe)
?2004年入社
?主にロボティクス分野の開発に携わる
?連絡先：takebe@sec.co.jp
26

狠狠撸

16th_ACRi_Webiner_SEC_Takebe_20240308.pdf

Recommended

More Related Content

Similar to 16th_ACRi_Webiner_SEC_Takebe_20240308.pdf (20)

More from 直久住川 (20)

16th_ACRi_Webiner_SEC_Takebe_20240308.pdf

狠狠撸

16th_ACRi_Webiner_SEC_Takebe_20240308.pdf

Recommended

More Related Content

Similar to 16th_ACRi_Webiner_SEC_Takebe_20240308.pdf (20)

More from 直久 住川 (20)

16th_ACRi_Webiner_SEC_Takebe_20240308.pdf

More from 直久住川 (20)