Edge AI
Edge AI 是把 AI 應用或推論放在靠近資料產生地的裝置、機器、手機、工廠、車輛、門市或邊緣伺服器上執行，而不是完全依賴雲端資料中心。
研究索引
先把 AI 硬體名詞查清楚
NPU、TOPS、VRAM、unified memory、token、RAG 這些字常被混在一起講。名詞庫會先給一句話定義，再拆用途與常見誤解。
→
NPU
NPU 是 Neural Processing Unit，通常指用來加速 AI 推論、降低功耗，並支援系統或應用 AI 功能的專用處理單元。
RAG
RAG 是 Retrieval-Augmented Generation，中文常翻成檢索增強生成；意思是模型回答前先檢索外部資料，再用查到的內容輔助生成回答。
TOPS
TOPS 是 Trillions of Operations Per Second，表示每秒兆次運算，常用來描述 NPU 或 AI 加速器的理論 AI 運算能力。
Unified Memory
Unified memory 是讓 CPU、GPU 或其他加速器共享同一套記憶體池的架構；它能減少資料搬移，並讓某些本地 AI 工作使用更大的共享容量。
VRAM
VRAM 是 Video Random Access Memory，中文常稱顯示記憶體或顯存。獨立顯卡上的 VRAM 是 GPU 可直接使用的高速工作空間；在 AI 工作中，它常決定模型權重、context 與中間狀態能不能留在 GPU 裡跑。