TOPS 是什麼？40 TOPS、NPU 與 GPU TOPS 怎麼看

先講結論：TOPS 與 40 TOPS 代表什麼？

TOPS 是每秒可以執行多少兆次運算的理論指標。AI PC 常見的「40 TOPS」通常是在講 NPU TOPS，因為 Microsoft 把 40+ NPU TOPS 列為 Copilot+ PC 的硬體條件之一；它不是整台電腦所有 AI 算力的總結，也不代表每個 AI 程式都會變快。

TOPS 很容易被行銷使用，因為它是一個好比較的數字。但 AI 任務是否順，還要看模型怎麼跑、資料怎麼進出、軟體是否支援硬體，以及記憶體是否足夠。

先分清 NPU TOPS、GPU TOPS 與整體平台 TOPS

看到 TOPS 時，第一步不是比大小，而是先確認數字在算哪個運算單元。

規格名稱	通常在算什麼	適合怎麼用	常見誤讀
NPU TOPS	NPU 在指定精度與條件下的理論 AI 運算能力	判斷 Copilot+ PC 門檻、低功耗本機推論與同類 NPU 定位	把它當成整台電腦的 AI 總性能
GPU TOPS	GPU 的特定矩陣或 AI 運算路徑	比較同類 GPU、相同精度與相近工作負載	直接拿去和 NPU TOPS 或 FP4 PFLOP 排名
整體平台 TOPS／Total AI TOPS	廠商定義的 CPU、GPU、NPU 等平台能力合計	看平台規模與各運算單元分工	把最大的總數當成 NPU TOPS

Intel 的 Core Ultra Series 2 開發套件就是一個具體例子：官方同頁分別列出 120 platform TOPS、48 NPU TOPS 與 67 GPU TOPS。這三個數字各有範圍，不能只抓最大的 120 TOPS，說 NPU 有 120 TOPS。

即使都是 NPU TOPS，也要確認資料精度、稀疏條件、時脈、功耗與軟體路徑。Qualcomm 的官方 TOPS 指南同樣提醒，TOPS 只是理解 NPU 能力的起點，不是完整體驗分數。

為什麼 TOPS 不是體驗保證？

理論能力不等於真實使用體驗。實際結果還會受到：

• 模型大小
• 資料精度
• 軟體是否支援該 NPU / GPU
• 記憶體或 VRAM
• 散熱與功耗
• 任務是否適合該加速器

影響。如果軟體根本沒有使用該 NPU 或 GPU，那個 TOPS 數字就不會直接反映在功能速度上。

2026 常見 TOPS 數字怎麼看？

以下數字適合當成讀規格表的定位，不適合直接當購買排名：

數字 / 平台	官方語境	比較正確的理解
40+ NPU TOPS	Microsoft Copilot+ PC 門檻	代表符合特定 Windows AI 體驗的 NPU 能力條件，不代表所有 AI 工作都快
45 TOPS	Snapdragon X Series 現行 AI PC NPU 宣稱	能滿足 Copilot+ PC 門檻，但實際體驗仍看系統、app 和模型
50 NPU TOPS	Intel Core Ultra Series 3 最高 SKU 宣稱	是 AI PC / 行動平台 NPU 指標之一，仍要看平台配置
60 NPU TOPS	AMD Ryzen AI 400 Series 宣稱	是高於 40+ 門檻的 NPU 規格線索，不等於 GPU 生成能力
80 TOPS	Qualcomm Snapdragon X2 Elite 下一代宣稱	屬於下一代平台賣點，仍需等實際機型、軟體和測試
1 petaflop AI performance	RTX Spark、DGX Spark 這類 GPU / superchip 語境	與 NPU TOPS 不同層級、不同精度與工作負載，不能只比數字

比較務實的讀法是：同一類平台內可以參考 TOPS，但跨 NPU、GPU、FP4、unified memory、桌機 / 筆電 / 工作站時，要回到任務本身。

為什麼不能只看 TOPS？

同一個 AI 功能可能有不同實作方式：

• 在 NPU 跑
• 在 GPU 跑
• 在 CPU 跑
• 在雲端跑
• 混合本機與雲端

如果軟體沒有使用 NPU，NPU 的 TOPS 再高也不一定直接反映在那個功能上。

常見誤解	比較正確的看法
TOPS 越高，所有 AI 功能越快	只有用到該加速器、且任務適合時才有意義
NPU TOPS 可以代表整台電腦	還要看 GPU、CPU、RAM、VRAM、散熱與軟體
TOPS 高就能跑大型模型	大型模型常先卡在記憶體、VRAM、模型格式與工具支援
不同品牌 TOPS 可直接等同比	測試條件、資料精度與平台整合可能不同

什麼時候 TOPS 比較重要？

TOPS 比較適合用在第一層篩選，例如判斷一台電腦是否可能支援某些系統級 AI 體驗，或比較同一類 NPU 的理論能力。

例如 Copilot+ PC 類別會把高效能 NPU 視為重要條件之一。這時 TOPS 是必要線索，但仍不是全部答案。

比較需要看 TOPS 的情境：

• 系統級 AI 功能
• 低功耗本機推論
• 需要長時間背景運作的 AI 功能
• AI PC 類別門檻

比較不該只看 TOPS 的情境：

• 本地大型語言模型
• 圖片 / 影片生成
• 多模型或長 context 工作
• 企業多人服務
• 需要 GPU 加速的創作與開發流程

實務上怎麼用 TOPS？

把 TOPS 當作第一層篩選，但不要當最後答案。

更完整的判斷應該包括：

1. 這是 NPU TOPS 還是整體平台宣稱？
2. 軟體是否支援？
3. 模型精度與大小是什麼？
4. 記憶體 / VRAM 是否足夠？
5. 任務是低功耗推論還是重度生成？

最簡單的買前判斷是：

1. 如果你主要要 Windows 系統 AI 功能，看 NPU 與 TOPS。
2. 如果你主要要生成圖片、影片、3D、開發模型，看 GPU 與 VRAM。
3. 如果你要公司文件 RAG、長文件或多人服務，看 RAM、VRAM、儲存、網路、權限與維護。
4. 如果你只用雲端 AI，現有電腦可能已經夠用。

TOPS 可以放進規格表，但不要讓它變成唯一決策。

TOPS 可以換算成 tokens/s 嗎？

不能直接換算。 TOPS 描述的是晶片在指定精度、頻率、稀疏條件等前提下的理論運算量；tokens/s 則是模型在特定硬體、runtime 與工作負載下的實測輸出速度。兩者之間沒有跨平台通用的固定比例。

就算兩台裝置的 TOPS 相同，本地 LLM 速度仍可能不同，因為還有這些變數：

• 模型與量化格式，例如同樣 8B 模型也可能使用不同量化方法。
• 模型是否放得進 RAM／VRAM，以及資料搬移是否跨裝置。
• 記憶體頻寬、快取與 runtime 的核心實作。
• prompt 長度、輸出長度、batch、同時使用人數與 prefix cache。
• 測量的是單一請求 tokens/s、總吞吐，還是 TTFT、TPOT、ITL 等延遲指標。

vLLM 的官方 benchmark 文件會把總 token throughput、TTFT、TPOT 與 ITL 分開，並提醒快取可能讓重複測試的 throughput 看起來更高。這也是為什麼「用 TOPS 估 tokens/s」不夠可靠：讀者需要先固定模型、runtime、輸入／輸出長度、batch、併發與快取條件，再比較實測結果。

看到 TOPS 宣稱，先記這 8 欄

只抄一個 TOPS 數字很容易留下假比較。本站把規格查證拆成八欄，適合在 AI PC、本地 AI 主機或 Edge AI 設備的比較表裡逐項填寫：

欄位	要問的問題	為什麼不能省略
運算範圍	是 NPU、GPU、單一加速器，還是整體平台？	不同範圍不能直接排大小
資料精度	是 INT8、INT4、FP16、FP4，還是其他格式？	精度不同，operations/s 的意義也不同
稠密／稀疏	數字是 dense 還是啟用 sparsity？	稀疏條件可能放大理論數字，但模型不一定符合
功耗／散熱	是峰值、持續值，還是特定功耗模式？	裝置未必能長時間維持峰值
軟體路徑	目標模型與 app 會走哪個 runtime／execution provider？	軟體沒有使用該加速器，TOPS 不會自動變成速度
可用記憶體	模型與 KV cache 實際能用多少 RAM／VRAM？	放不下時，再高 TOPS 也不能完成工作
記憶體頻寬	權重與中間資料能多快送進運算單元？	LLM decode 等工作可能先受資料搬移限制
任務實測	同模型、同設定下的 TTFT、TPOT、tokens/s、延遲或能耗是多少？	真實任務指標才回答「這件工作跑多快」

可下載空白範本：CSV｜JSON。範本不預填 TOPS 或 tokens/s，也不替任何裝置下性能結論；not_checked、留白與 null 代表尚未查證，不是 0 或不支援。

視覺說明：這次以可爬取表格與可下載資料取代裝飾圖，因為八欄證據與判讀限制比示意插畫更能支援比較與引用。

最後更新：2026-09-19；2026-08-13 複查平台規格來源，2026-09-19 另複查 Microsoft、Qualcomm 與 vLLM 的 TOPS／實測判讀方法。既有平台數字沒有在本輪宣稱完成全表重查。