AI 是一個非常佔用記憶體的應用程式。幸運的是，Ambiq 的 Apollo4 Plus 有多種內存類型和配置可供選擇。決定使用哪種記憶體以及如何使用它可能需要一些實驗。因此，我們進行了一些實驗，結果供您考慮。正如您將在下面看到的，有許多不錯的選項可以幫助滿足您的設計要求。
人工智慧如何使用記憶體
深度學習人工智慧模型由一系列層組成，每一層都包含許多所謂的「神經元」。單獨而言，這些神經元很簡單：它們接受一個輸入值並將其乘以與該特定神經元相關的“權重”。具有權重的神經元繼續對組合應用“激活函數”，然後將其饋送到下一層。對於訓練有素的模型，權重是靜態的，它們永遠不會改變。
誠然，這種描述過於簡單化了。儘管如此，它確實表明人工智慧模型記憶體利用率由兩部分組成：靜態部分和動態部分。靜態部分代表權重。動態部分由基於這些權重流經神經元的值組成，也稱為“激活”。我們將利用這些事實來探索如何針對 Apollo4 Plus 的記憶體配置優化 AI 模型。
適用於微控制器的 TensorFlow1 Lite 是一款運行時解譯器，可透過 AI 模型運行資料，對每次推論執行上述操作數百萬次。微控制器的記憶體架構反映了運行 AI 模型所需的權重和啟動記憶體類型。模型的權重 （定義為模型層中使用的參數 （包括可訓練和不可訓練） ） 儲存在模型陣列 （用於儲存和分析的多個模型物件的集合） 中。模型的激活存儲在所謂的“TensorFlow Arena”中。我們可以使用編譯器指令來控制編譯過程將這些記憶體物件放置在何處。例如，這是我們在 AmbiqSuite SDK 中控制放置的方式：
阿波羅 4 號 Plus 記憶體
Apollo4 Plus SoC 提供三種可用於 AI 的記憶體：MRAM、緊密耦合記憶體 （TCM） 和 SSRAM。MRAM 是一種高效的非易失性存儲器，主要用於存儲靜態值。TCM 是高性能讀/寫內存，顧名思義，它與 CPU 緊密耦合。SSRAM 是距離 CPU 「更遠」的通用讀/寫記憶體。存取這些記憶體中的每一個都會對功率和效能產生不同的影響。
實驗
眾所周知，TensorFlow 的效能很難預測。因此，進行實驗是一種更簡單的方法。在我們的實驗中，我們運行了 MLPerf2 Tiny Inference 的關鍵字發現 （KWS） 基準測試。我們利用基準測試的複雜系統來測量效能和功耗，以經驗確定各種記憶體分配方法的影響。具體來說，我們嘗試了以下配置：
需要注意的幾個要點：
- 我們從不將激活存儲在 MRAM 中，因為激活是動態的，而 MRAM 喜歡靜態的
- 我們關閉任何不使用的記憶體
結果
下圖顯示了每個實驗的測量結果，相對於我們選擇的 TCM 中運行的所有項目的基線。我們使用軸尺度來誇大實驗之間的差異。實際上，這些組合中的任何一種都非常適合在物聯網邊緣設備上運行關鍵字發現。
我們可以看到，MRAM與TCM或SSRAM結合使用時，可提供出色的性能和能源效率。
發現
人工智慧需要大量的靜態和動態記憶體。然而，在現實生活中的應用中，人工智慧必須與其他應用程式共享記憶體。Apollo4 Plus 在內存類型和內存配置方面為 AI 開發人員提供了許多選擇。在上述體驗中，希望提供最優化性能和能源效率的開發人員可以在 Apollo4 的大容量 2MB MRAM 中加權，並在 TCM 中激活，而不會產生很小的影響。然而，無論開發人員選擇哪種配置， 我們支援 SPOT 的平台3 都將始終如一地可靠地提供卓越的效能和出色的能效。
1 TensorFlow、TensorFlow 標誌和任何相關標誌均為 Google Inc. 的商標。
2 MLPerf 是一個由來自學術界、研究實驗室和工業界的人工智慧領導者組成的聯盟，其使命是「建立公平且有用的基準」，為硬體、軟體和服務的訓練和推理效能提供公正的評估——所有這些都在規定的條件下進行。 https://mlcommons.org/en/policies/
3 SPOT，®即亞閾值功耗優化技術，是 Ambiq® 的專有技術平台。它透過提供市場上世界上最節能的解決方案，徹底改變了邊緣人工智慧的可能性。
