AI基礎設施變天！「資料移動效率」成新戰場

30 秒看重點

• 事件：AI基礎設施的競爭焦點，已從單純的運算能力（算力），轉向「資料移動效率」。
• 意義：資料傳輸速度與效率，將決定AI模型的訓練與部署速度，是未來AI發展的關鍵。
• 影響：這對追求高頻寬、低延遲的台灣半導體、伺服器等產業，帶來新挑戰與新商機。

AI新戰場：不只比快，還要比順！

近年來，AI的飛速發展，讓大家目光都聚焦在「算力」（Computing Power）的提升上，也就是AI晶片有多強大、能處理多龐大的計算。但隨著AI模型越來越複雜、資料量越來越龐大，一個新的瓶頸浮現了：資料的傳輸速度與效率。

想像一下，AI模型就像一個超級大腦，而資料則是它需要處理的資訊。如果大腦非常聰明，但接收和傳送資訊的管道（網路、傳輸介面）又慢又窄，那這個大腦就無法充分發揮其潛力。這就是「資料移動效率」的重要性。它涵蓋了資料在伺服器內部、伺服器之間，甚至數據中心之間的傳輸速度、延遲（延遲越高表示反應越慢）以及能同時傳輸多少資料（頻寬）。

這場競爭，不僅關乎硬體設計，更牽涉到軟體優化、系統架構等全方位的技術。例如，如何設計更高速的記憶體、更有效率的數據總線（像是連接電腦零件的「高速公路」），以及如何讓不同硬體元件之間的溝通更順暢，都是此戰場的重點。微軟近期擴展Azure Maia AI系統至數GW（Gigawatt，單位為功率，此處應指AI系統部署規模）的部署，也是在優化其雲端AI基礎設施，其中資料移動效率必然是重要考量。

台灣怎麼看這件事？

對於台灣來說，這場「資料移動效率」的AI基礎設施革新，可說是喜憂參半。台灣擁有全球頂尖的半導體製造能力，從晶圓代工到先進封裝，都扮演著關鍵角色。AI晶片設計公司與伺服器製造商，更是全球AI發展的重要夥伴。

憂的是，如果我們只專注在傳統的算力競爭，而忽略了資料移動效率的優化，可能會在下一波AI基礎設施升級中落後。尤其是在高頻寬記憶體（HBM）、高速傳輸介面（如PCIe）以及先進散熱技術等方面，我們需要持續投入研發，確保台灣在AI硬體供應鏈中維持領先地位。

喜的是，這也為台灣科技業帶來了新的發展契機。在AI PC新品接力、台廠拚高值化的趨勢下，優化資料移動效率的相關技術，例如更快的SSD（固態硬碟）、更高效的記憶體控制器、以及專注於數據傳輸的晶片設計，都可能成為新的成長動能。此外，像是丹立電子這樣開始出貨多卡AI伺服器，其實也是在為地端AI（將AI運算放在本地設備，而非雲端）和次世代運算市場佈局，這也需要高效的資料移動能力作為後盾。

編輯觀點

AI發展進入新階段，從「軍備競賽」式的算力堆疊，轉向了追求「系統效能」的精緻化。這提醒我們，技術的進步往往是多面向的，單點突破終究有限。台灣在半導體領域的深厚根基，是我們迎戰這場新戰場的最大優勢，但也必須警惕，不能固守舊思維。我們需要的是更整合、更全面的AI基礎設施解決方案，以應對未來更複雜、更多元的AI應用需求。

常見問題

為什麼AI發展現在開始重視「資料移動效率」？

因為AI模型越來越大、運算需求越高，過去只追求運算速度（算力），但如果資料傳輸不夠快，就像給了超級大腦卻只吃得起一口飯，整體效能會受限。

「資料移動效率」具體包含哪些方面？

主要包含資料在電腦零件之間的傳輸速度（頻寬）、傳輸的延遲時間，以及系統在同一時間能處理多少資料的吞吐量。

這對台灣的半導體產業有什麼影響？

台灣在記憶體、連接介面、伺服器零組件等領域都有優勢，優化資料移動效率的技術能為這些產業帶來新商機，但也需持續投入研發以維持領先。

「地端AI」是什麼意思？

指的是將AI運算能力部署在終端設備或本地伺服器上，而不是完全依賴雲端服務，這能提供更快的反應速度和更好的隱私保護。

AI熱潮是否真的在退燒？

雖然有避險基金賣出科技股，但AI的長期發展趨勢不變。市場短期波動是正常的，關鍵在於AI的實質應用與產業轉型能否持續推進。

名詞小教室

算力（Computing Power）

就像是AI的大腦有多強壯，能做多少複雜的數學運算，決定了AI能處理多聰明的任務。

頻寬（Bandwidth）

比喻成高速公路的車道數，車道越多（頻寬越大），同一時間能通過的車輛（資料）就越多。

延遲（Latency）

就像是訊息從發送方傳到接收方需要花費的時間，延遲越低，反應就越快。

GW（Gigawatt）

這是功率的單位，在AI基礎設施的語境下，可能指代資料中心或AI系統的總體供電能力或規模，反映了其龐大的運算潛力。

AI PC

內建AI功能的個人電腦，能在本地執行部分AI任務，讓電腦變得更聰明、更個人化。