DeepSeek爆火后，算力成本終會降低成了行業共識。但選擇哪一路徑，是數據中心、一體機還是推理服務器，業內尚未有統一的定論和參考模式。6月13日，在“2025紅帽媒體Open講”線下交流會上，紅帽全球副總裁兼大中華區總裁曹衡康告訴《每日經濟新聞》記者，在紅帽看來，今年是AI（人工智能）的推理元年。AI進入了推理后，意味著所有的AI應用將正式開始上線運行，并且為企業帶來業務收入以及內部成本控制等實際效益。
紅帽大中華區方案架構部總經理王慧慧還透露，目前業界的推理技術棧里大概有兩個主流的技術方向，紅帽選擇的是其中一個——“vLLM”（一個高性能大語言模型推理框架，現已成為開源領域的事實標準推理服務器，支持多種加速器和分布式部署，廣泛應用于生產環境）。
“這是目前最熱的一個推理社區。我們發現，來自中國的貢獻者占到這個社區35%的貢獻量。這也印證了也許推理在中國將會是最熱，也是第一個帶來企業價值的。”王慧慧提到，在做推理的過程中有兩個技術點較難克服：怎樣用最小的硬件設備、最小的成本完成最高性能推理；可不可以不把推理的工作量集中在單一臺服務器，而是分散到不同的服務器上，做一個分布式的推理引擎。
基于這一背景，紅帽在2025年推出了推理服務器。根據紅帽方面介紹，使用推理服務器的最大優勢就是降低企業的算力成本。不過，該公司高管也在采訪中多次強調，紅帽不做硬件，只做軟件。
隨著未來算力成本的降低，行業對芯片算力卡的需求是否會有變化？曹衡康告訴《每日經濟新聞》記者，在他看來，目前AI的應用還不夠多?！爱吘褂肁I成本太高。假設今天（原本）有1000家企業用（AI），成本降低了會是1萬家、10萬家、100萬家企業用。GPU（圖形處理器）的量一定會起來的。現在我們的做法就是讓門檻更低?！辈芎饪捣Q。
還未登錄
