用幾塊3000元顯卡作為加速主力的一體機，就能跑通671B的DeepSeek。

放在個把月前，你敢想象這樣的場景么？

正在埋頭苦干，希望有更多樣化產(chǎn)品交付的一體機廠商們，pick英特爾銳炫? 顯卡 + 至強? W 處理器這套組合拳，首要原因就是它的成本確實誘人——基本算是砍掉了一個數(shù)量級（下線可以控制在10萬元以內(nèi)）。

其次就是這套組合也很能打，上面那個場景就是它目前的“標桿式”戰(zhàn)績。

這兩點加起來就是“真香”定律的復現(xiàn)。

但別光說不練，這種極具性價比的一體機實測的體感到底如何呢？

帶著這個問題，我們直接上手親自測試了一波。

例如我們先用QwQ-32B離線狀態(tài)下問了個經(jīng)典題目：

>9.9和9.11哪個大？

從效果上來看，若是**單人**使用，一體機的速度已經(jīng)達到了**32 tokens/s**。

講真，這個速度在體感上已經(jīng)是非常OK了。

而且這還不是個偶然事件，在同樣的情況下，我們再問一個問題：

>一個外星人來到地球后等可能選擇以下四件事中的一件完成：

>1，自我毀滅；

>2，分裂成兩個外星人；

>3，分裂成三個外星人；

>4，什么都不做。

>此后每天，每個外星人均會做一次選擇，且彼此之間相互獨立。

>求地球上最終沒有外星人的概率。

同樣的，輸出速度依舊是非常的快。

而當同時使用人數(shù)增加時，我們做了初步的計算，其每秒tokens的速度大概是這樣的：

那么如果是地獄難度的671B DeepSeek R1，結(jié)果又會如何呢？

畢竟即便是Q4量化版本，以往承載它的一體機成本動輒就要達到200萬元。

請聽題：

>一個漢字具有左右結(jié)構(gòu)，左邊是木，右邊是乞。這個字是什么？只需回答這個字即可。

如此大體量的大模型，這種10萬元級別的一體機依然可以達到10 tokens/s的速度。

雖然體感上會覺得稍慢一些，但夠用卻是真的。

而且有一說一，輸出速度夠快、時延夠低、性價比夠高，還只是這種英特爾一體機的優(yōu)點的一隅。

在它的背后，還有易部署、易操作等特點。

那么為何基于英特爾的一體機可以做到如此物美價廉？

##價低質(zhì)優(yōu)的一體機，是如何煉就的？

正如我們剛才提到的，10萬級別的一體機能有如此實用質(zhì)感，其關(guān)鍵就是英特爾的組合拳：

銳炫? 顯卡 + 至強? W 處理器。

首先我們來看下這張英特爾銳炫? 顯卡。

它是英特爾專門為AI和圖形處理打造的高性能顯卡，不僅游戲表現(xiàn)亮眼，在AI推理、視頻處理這些專業(yè)領(lǐng)域也很能打。

銳炫? 顯卡采用了最新的Xe架構(gòu)，內(nèi)置XMX AI加速引擎，提供強大的AI加速能力，支持Ollama和vLLM serving等多種大模型主流框架，跑大模型推理可以說是完全沒有壓力。

而且它還支持TensorFlow、PyTorch這些主流AI框架，搭配OpenVINO? 工具套件還能進一步優(yōu)化性能，讓AI任務跑得更快、更省資源。

銳炫? 顯卡還有一個特點，就是特別適合邊緣計算——

銳炫? 顯卡針對邊緣計算場景優(yōu)化，提供低功耗（110-150瓦）和小尺寸選項，支持PCIe Gen 4接口，并為邊緣應用場景承諾五年產(chǎn)品供應和軟件支持。

也正像剛才展示的那樣，比如DeepSeek、Qwen這些開源模型，銳炫?顯卡能輕松搞定，尤其是支持多卡并聯(lián)，2卡、4卡甚至8卡都能配，性能直接起飛。

而且裝載它的一體機不僅僅能作為AI或大模型一體機來使用，有需求時還能用來執(zhí)行視頻分析、8K視頻編解碼、3D渲染這些高負載任務，一機多用，性價比超高。

除了顯卡之外，至強? W 處理器，這塊適用于工作站和一體機的“性能怪獸”CPU，也是一個關(guān)鍵點。

從算力層面來看，它最高60核的配置，搭配DDR5-4800內(nèi)存和TB級內(nèi)存擴展，跑大模型、做數(shù)據(jù)處理都游刃有余。

它內(nèi)置的AMX（高級矩陣擴展）技術(shù)，就算沒有獨立顯卡，也能加速中小規(guī)模參數(shù)的大語言模型推理，性價比也是直接拉滿。

至強? W 處理器能與銳炫? 顯卡搭檔的原因還有它支持多顯卡配置，擁有多達112條PCIe Lane，PCIe 5.0通道管夠。

在此之上，英特爾還通過統(tǒng)一的計算架構(gòu)和優(yōu)化工具鏈，讓銳炫? 顯卡和至強? W 處理器，發(fā)揮出1+1＞2的效果。例如：

· IPEX-LLM：專門為大模型優(yōu)化，支持DeepSeek、Qwen、Llama等主流開源模型，讓CPU+GPU協(xié)同推理更高效。

· OpenVINO? 工具套件：優(yōu)化AI推理，自動分配任務給CPU或GPU，還能壓縮模型，減少內(nèi)存占用，提升速度。

· oneAPI：統(tǒng)一編程模型，開發(fā)者只需寫一次代碼，就能同時在CPU和GPU上運行，不用再為不同硬件適配發(fā)愁。

總而言之，英特爾可以說是通過硬件協(xié)同+軟件優(yōu)化，讓CPU和GPU不再是孤立的計算單元，而是高效配合的“黃金搭檔”。

這也就不難理解為什么基于英特爾解決方案的一體機，能夠做到如此的價低+質(zhì)優(yōu)了。

##實戰(zhàn)：如何在英特爾架構(gòu)一體機上玩轉(zhuǎn)DeepSeek？

看過Demo演示和一體機介紹，你可能會好奇，假如現(xiàn)在就有機會拿到一臺這樣的一體機，該怎么用它把DeepSeek跑起來？

首先要配置系統(tǒng)環(huán)境，更新GPU驅(qū)動版本必不可少。

主要框架是英特爾IPEX-LLM版本的llama.cpp，

以Linux系統(tǒng)為例，IPEX-LLM llama.cpp portable tgz包

在這個框架中，推薦使用GGUF格式的模型，這里使用unsloth開源版本來說明。

開啟終端后，輸入以下命令進入解壓縮后的文件夾：

cd /PATH/TO/EXTRACTED/FOLDER

要使用英特爾GPU加速，在運行 llama.cpp 之前，需要設置如下環(huán)境變量：

export SYCL_CACHE_PERSISTENT=1

接下來，如果要運行的是671B版本DeepSeek-R1，就要請出FlashMoE來幫忙了。

DeepSeek-R1基于MoE架構(gòu)，其實滿血版的激活參數(shù)僅約37億，但還是需要完整加載整個模型，這也是對于一體機來說最大的難點。

FlashMoE是一款基于llama.cpp構(gòu)建的命令行工具，專為MoE模型進行優(yōu)化，整合了至強? W處理器內(nèi)置的AMX/AVX-512技術(shù)和GPU加速庫，進一步釋放CPU與GPU的異構(gòu)協(xié)作能力，能在較低的硬件成本下獲得更高的推理吞吐量與更優(yōu)的性能表現(xiàn)。

在llama.cpp + FlashMoE組合加持下，初步的性能驗證表明，在單路至強? W處理器加2-4塊英特爾銳炫? A770顯卡配置下，本文所述方案可以獲得接近10 Token/s 的性能表現(xiàn)，已能滿足企業(yè)級生成式AI，例如離線語音助手、文檔摘要等應用場景的需求。

總的來說，這套高度集成的軟硬一體模式，既滿足了長上下文推理需求，又實現(xiàn)了能耗和成本的可控，為 AI 服務規(guī)模化落地提供了可靠且易用的基礎設施。同時，它能更好地滿足近期用戶在 DeepSeek 或其他開源大模型實踐中的迫切需求，部署方式更靈活、更貼近業(yè)務環(huán)境，響應速度更快，還在數(shù)據(jù)安全和隱私保護方面具有先天優(yōu)勢。

以上是針對671B版DeepSeek的部署方法簡要介紹，但實際上，蒸餾版憑借其精簡而高效的特點，能夠更好地貼合各行業(yè)的實際業(yè)務場景和需求。

蒸餾版和滿血版的部的部署指南，都可在英特爾官網(wǎng)搜索“銳炫一體機”獲取。

它在應對這些行業(yè)的常規(guī)任務時，不僅能夠提供足夠的處理能力和精準度，還能以更加靈活和易于部署及適配的方式融入到行業(yè)的業(yè)務流程當中。

##“低成本+高效率”的路子還在繼續(xù)

隨著DeepSeek的影響力不斷擴大，大模型發(fā)展迎來了新的趨勢：走向推理普及化。

在以往，算力大多被集中投入到模型訓練中，但在未來，算力資源的分配將發(fā)生顯著轉(zhuǎn)變，更多的算力會被應用于推理環(huán)節(jié)而非訓練。

（圖源：IDC&浪潮信息）

從應用場景和市場選擇來看，除了超大規(guī)模的數(shù)據(jù)中心依舊在大模型運算中扮演關(guān)鍵角色外，一體機憑借其獨特的優(yōu)勢，正成為越來越多企業(yè)的心儀之選。

而在這個趨勢之中，一體機的優(yōu)勢就在于“低成本+高效率”，具體而言：

首先，一體機啟動成本低。與傳統(tǒng)分散式設備組合搭建系統(tǒng)相比，其在硬件采購、軟件授權(quán)和初始配置等方面資金投入少，企業(yè)無需花大量前期資金構(gòu)建完整運作體系，能以較低成本開啟業(yè)務或辦公流程。

同時，一體機易于維護部署。其高度集成化設計優(yōu)化硬件兼容性，減少硬件不匹配故障。日常維護中，其整體性強，便于技術(shù)人員進行故障排查和維修，提高維護效率、降低難度。

此外，一體機可常駐用戶辦公與業(yè)務環(huán)境邊緣加速操作，在靠近數(shù)據(jù)源頭和使用場景處運行，減少數(shù)據(jù)傳輸距離和時間，降低延遲，提升業(yè)務處理速度和響應效率。

當然，一體機只是運行模型的硬件基礎，從英特爾最近的動作看來，對接和擴展更多接地氣的AI應用才是下一步重點：

聯(lián)合Hugging Face、Anyscale、Zilliz等AI行業(yè)合作伙伴推出的企業(yè)AI開放平臺 (OPEA) ，就是最好的證明。

如何理解OPEA？

首先，它提供了搭建大模型應用所需的零件，如提示引擎、數(shù)據(jù)處理、記憶系統(tǒng)、安全護欄等一起打包提供，解決生成式AI技術(shù)的工具碎片化問題。

然后，它還是一款評估和優(yōu)化應用，能夠從性能、可信度、可擴展性和彈性等方面對AI應用進行 “體檢”。以電商推薦商品的 AI 應用為例，通過 “體檢” 可對應用進行針對性的改進，使其更實用。

所以眾多合作伙伴加入，共建這個項目也就不奇怪了。

隨著越來越多的合作伙伴加入，OPEA生態(tài)將不斷發(fā)展壯大并衍生出多樣化的發(fā)展路徑。

例如中國開放智能計算產(chǎn)業(yè)聯(lián)盟（COIA）目前已匯聚近60家成員單位，專注于推動企業(yè)AI生態(tài)協(xié)同發(fā)展。該聯(lián)盟即將推出“Powered By OPEA”認證體系，旨在確保合作伙伴間OPEA生態(tài)的互聯(lián)互通。

作為業(yè)界首個企業(yè)級AI應用認證標準，該體系將成為OPEA生態(tài)的核心保障機制，為通過認證的產(chǎn)品授予跨平臺互操作性標識。

“Powered By OPEA”認證將促進AI產(chǎn)業(yè)生態(tài)的完善，加速企業(yè)AI標準化進程，并發(fā)展成為企業(yè)選擇生成式AI組件的重要信任基準。

“AI無處不在”的故事在持續(xù)上演。