NVIDIA Nemotron 3.5 Transcribe 正式發表(2026):免費開源語音辨識 40 語種含中文,台灣企業應用完整指南

NVIDIA Nemotron 3.5 Transcribe 免費開源語音辨識模型:40 語種含中文,台灣企業導入指南

NVIDIA 在 2026 年 10 月 28 日正式發布 Nemotron 3.5 Transcribe,這是一款免費開放權重的語音辨識模型,能轉錄 40 種語言、翻譯 31 種語言為英文,並在 13 種語言中分辨不同說話者。中文普通話、日文、韓文皆在支援清單內。模型採混合式專家架構,總計 300 億參數、每次推理只啟動約 43 億參數,能在單張 GPU 上運行,最低可在搭載 NVIDIA DGX Spark 晶片的 AI 筆電上使用。本文整理 Nemotron 3.5 Transcribe 的關鍵規格、功能特色,以及台灣製造業、服務業、教育業最值得先試的應用場景,讓老闆與主管能評估是否將語音辨識導入企業日常工作流程。

NVIDIA Nemotron 3.5 Transcribe 是什麼?為什麼這次值得關注?

Nemotron 3.5 Transcribe 是 NVIDIA 旗下 Nemotron 系列語音模型的最新版本,官方定位是「智慧多語言語音辨識,可提示、可微調」。之所以在眾多語音 AI 產品中特別值得關注,有三個原因。

第一,完全免費開放。 模型已上架至 Hugging Face 與 ModelScope,任何開發者都可以下載、部署,甚至在自己的資料上微調,不需要支付訂閱費或 API 授權費。對比市面上主流語音辨識服務多以使用量計費,這個模型如果架設在企業自己的伺服器上,每分鐘語音轉文字幾乎沒有額外的每分鐘成本。

第二,中文普通話在 40 種語言支援清單內。 模型同時支援中文、日文、韓文,也支援越南文、印尼文、泰文等東南亞語言,正好符合台灣製造業廠區多語言環境的需求。NVIDIA 確認,中文普通話可用於語音轉錄與中英翻譯;中文的說話者辨識屬於「支援等級」,官方說明對特定方言或口音的使用場景,建議搭配微調來提升精準度。

第三,把四種功能整合進一個模型。 傳統做法是語音轉錄用一套工具、說話者辨識用另一套、翻譯再外接第三個服務,每個環節都要串接與維護。Nemotron 3.5 Transcribe 把轉錄、說話者辨識、翻譯、語音問答四件事放進同一個模型,一次推理就能取得所有輸出,降低了系統複雜度。

一句話定位

Nemotron 3.5 Transcribe 不是給消費者用的語音助理,而是企業用來處理大量「已錄製語音資料」的基礎設施,適合嵌入會議系統、客服平台、教育系統或廠區管理工具。

Nemotron 3.5 Transcribe 有哪些關鍵規格與功能?

多語言轉錄:40 種語言,含中日韓與多種東南亞語言

模型的核心能力是語音轉文字,支援 40 種語言的轉錄。台灣企業最常用到的語言幾乎都涵蓋其中:

  • 中文普通話(支援中英互譯)
  • 英文(美國、印度、英國多種口音)
  • 日文
  • 韓文
  • 越南文
  • 印尼文
  • 泰文

對有海外工廠或與海外客戶往來的台灣中小企業來說,這份語言清單覆蓋了亞太地區最常見的商務溝通語言。

說話者辨識:一段錄音最多辨識 8 人

模型內建 Sortformer 說話者辨識機制,可以在 13 種語言的錄音中標記不同發言者。一段最長一小時的錄音,最多可辨識 8 個說話者,每位說話者都會被標記為 `<spk:0>`、`<spk:1>` 等標籤。

這對會議記錄特別有用。過去 AI 轉錄只能記錄「說了什麼」,無法自動對應「誰說了什麼」。有了說話者辨識,一份會議記錄就能自動整理成每位與會者的發言摘要,大幅減少會後整理的時間。

可用自然語言指令調整輸出格式

Nemotron 3.5 Transcribe 支援「提示式輸出控制」,意思是你可以在送出音檔時,同時附上一段說明,指定想要的轉錄格式。例如:

  • 「請保留說話者的口頭禪與語助詞,數字用阿拉伯數字書寫」
  • 「只轉錄,不需要說話者標記,將所有專有名詞維持英文大寫」
  • 「把中文轉錄的同時,翻譯為英文並一起輸出」

這讓同一個模型可以服務不同部門的需求,不需要為每個使用情境另外訓練一個模型。

針對特定行業微調的效果

NVIDIA 官方公布了一個醫療場景的微調案例:在印度醫療機構的病歷語音轉文字需求中,使用合成資料加上少量真實醫療錄音進行微調後,錯誤率從基礎模型的 30.8% 降到 11.8%,相對改善幅度達 62%,整個微調過程在單張 NVIDIA GB300 GPU 上約耗時 14 小時。

這個案例說明,即使在高度專業化的領域,只要準備好合適的資料,企業就能在合理的算力成本下大幅提升辨識準確率。

Nemotron 3.5 Transcribe 的規格一覽表

以下整理主要技術規格,供評估時使用:

項目 規格
模型總參數 300 億(30B)
每次推理活化參數 約 43 億(4.3B)
模型架構 混合式 Mamba-Transformer 專家模型(MoE)
轉錄語言數 40 種(含中文普通話)
翻譯語言數 31 種(翻譯為英文或由英文翻譯)
說話者辨識語言數 13 種
最長錄音長度 1 小時
最多說話者數 8 人
英文轉錄錯誤率 5.33% WER(Hugging Face 開放權重模型排名第 1)
處理速度參考 100 小時音檔 < 3 分鐘(RTX PRO 6000 Blackwell)
支援部署方式 vLLM、SGLang-Omni,可自架
模型授權 開放權重(依 Hugging Face 模型卡條款)
費用 免費下載;雲端推論端點另計
是否支援即時串流 否,僅支援已錄製的音檔
Nemotron 3.5 Transcribe 功能全覽
圖:Nemotron 3.5 Transcribe 四大核心功能整合

Nemotron 3.5 Transcribe 的效能表現怎麼樣?

NVIDIA 在多個公開語音辨識評測中提交了成績,以下是幾項主要指標:

評測基準 說明 成績 排名
HF Open ASR(英文) Hugging Face 英文語音評測排行榜 5.33% WER 開放模型第 1
Artificial Analysis AA-WER 業界語音評測平台 2.8% WER 開放模型並列第 1
AA-AgentTalk(語音代理) 語音客服場景對話評測 1.8% WER 開放模型最佳
7 語言多語評測平均 中英日韓等七種語言加權 4.62% WER 比較對象中最低
長音檔評測 超過 30 分鐘的長對話 10.98% WER 比較對象中最低
說話者辨識(21 語言) David AI DAI-ASR-I18N 排行榜 18.26% DER 全榜第 1

評測數字說明兩件事:第一,英文表現已達開放模型頂級水準;第二,長音檔與多語言場景的表現也優於現有開放模型。對台灣企業實際上線測試有參考意義,但評測不等於業務場景,仍需用自己的資料驗證。

要特別提醒的是,中文普通話的辨識精準度目前屬於官方標注的「支援等級」,代表模型具備基本的中文辨識能力,但對於帶有口音的台語腔普通話、專業術語密度高的場景(例如法律文件、醫療病歷),若要求生產環境的精準度,建議先做小批量測試,必要時針對企業自有語料進行微調。

台灣企業可以怎麼用?六大應用場景解析

場景一:製造業廠區多語言溝通

台灣製造業廠區普遍混用多種語言,管理幹部說中文、部分生產線員工說越南文或印尼文,客戶溝通可能用日文或英文。當廠長召開生產會議、外籍員工進行交接說明、或客戶來廠稽核錄製了大量音訊,過去這些錄音要找人工翻譯,耗時費工。

Nemotron 3.5 Transcribe 可以把這類混語錄音轉錄後,再翻譯成英文整理成報告。雖然中文部分可能需要確認精準度,但初稿的整理時間仍可大幅縮短。

場景二:業務與客服電話的後置分析

客服中心每天都有大量客戶電話錄音。以往要系統性分析這些錄音,成本極高,多數公司只能隨機抽查幾通。有了開放的語音辨識模型,就可以把所有錄音轉成逐字稿,再用文字分析工具找出客戶最常反映的問題、業務說明哪些產品時最容易發生誤解、哪些說詞對成交率影響最大。

這種做法原本是大型呼叫中心的專利,開放模型讓中小型客服團隊也能以低成本實現。

場景三:主管與業務的會議記錄自動化

許多公司開會後,會議記錄靠行政人員手動整理,不僅耗時,也容易遺漏細節。用 Nemotron 3.5 Transcribe 處理錄音,加上說話者辨識功能,可以自動標記「張經理說了什麼」「李業務提到了哪些問題」,生成有說話者對應的逐字稿,再用生成式 AI(例如 Claude 或 ChatGPT)二次整理成摘要與行動清單。

這個流程適合業務會議、主管週會、跨部門專案討論,是目前投資報酬率最高的語音 AI 應用之一。

場景四:教育與企業培訓內容文字化

許多企業的教育訓練靠錄影或錄音保存,但員工很少回頭查閱影音,因為找不到資料在哪一分鐘。把錄音轉成文字,再建立成企業知識庫,員工只要搜尋關鍵字就能找到需要的說明,比翻閱影片快十倍以上。

這對有大量在職訓練課程、師徒制傳承、或外部講師授課錄影的企業特別有價值,也適合法律事務所、會計師事務所、醫療機構等需要把大量語音記錄文字化的專業服務業。

場景五:多語言市場的內容本地化前置作業

台灣品牌在東南亞設廠或拓展業務時,常需要把繁體中文的訓練影片、說明指引翻譯成越南文、印尼文或泰文。過去這需要先請人工翻譯,再做配音或字幕,費用高且週期長。有了 Nemotron 3.5 Transcribe,可以先把中文音檔轉成逐字稿,再透過模型的翻譯功能取得英文版初稿,接著再委由當地翻譯人員審核在地化用語,降低翻譯人員的工作量。

場景六:法律、合約、學術錄音的轉錄保存

律師事務所或公司法務部門進行的訪談、調解錄音,需要精準的文字記錄。學術機構的訪談研究、田野調查,也有大量音檔要轉成文字。這類應用對精準度要求高,可以先用模型取得基礎逐字稿,再由人工逐段核對,比從零開始打字更有效率。需要提醒的是,涉及機密資料時,務必評估是否使用雲端部署或自架伺服器部署,確保資料不外流。

台灣企業六大應用情境
圖:Nemotron 3.5 Transcribe 台灣企業應用場景整理

要怎麼開始使用 Nemotron 3.5 Transcribe?

硬體需求:從筆電到資料中心都能跑

Nemotron 3.5 Transcribe 的架構讓它在多種硬體環境下都能運行:

部署環境 硬體 適合場景
企業 AI 筆電 / 工作站 NVIDIA DGX Spark 晶片 小型測試、研發人員個人使用
邊緣設備 Jetson AGX Thor 工廠廠區、醫療設備端推論
企業伺服器 NVIDIA RTX PRO 6000 Blackwell 中大型企業自建語音轉錄系統
資料中心 Blackwell 系列 GPU 大批量錄音資料集中處理

官方參考數據:使用 RTX PRO 6000 Blackwell 以 NVFP4 精度執行,100 小時音檔可在 3 分鐘內完成轉錄。以一個客服中心每天錄製 200 小時的通話量估算,一張 GPU 每天深夜跑一次批次轉錄,就能在上班前備好當天可供分析的逐字稿。

量化精度版本(NVFP4)預計近期上線,目前已可透過 vLLM 部署,NeMo-Speech.cpp 本機推論版本也即將推出。

兩種取得方式

  1. 自行部署:從 Hugging Face 下載模型後,在自己的伺服器或工作站上架設,完全不依賴外部 API,適合對資料安全要求高的企業。需要具備一定的 IT 能力,或委由資訊廠商協助建置。
  1. 使用受管雲端端點:目前已有 Baseten、DeepInfra、Simplismart 等第三方服務提供 Nemotron 3.5 Transcribe 的 API 端點,按使用量計費,不需要自備 GPU。適合初期評估,或業務量不穩定的企業。

給沒有工程師的老闆

如果你的公司沒有 IT 工程師,不用自己架設模型。可以先用 DeepInfra 等受管平台試跑幾份會議錄音,評估轉錄品質是否符合需求,再決定是否投資自建環境。免費下載不代表免費部署,硬體與人力成本需要一起考慮。

Nemotron 3.5 Transcribe 對台灣企業有什麼影響?

影響一:語音資料的商業價值可以被提取

企業每天都在產生語音資料,包括客服電話、開會錄音、培訓課程、廠區廣播,但這些資料多半以音檔形式靜靜儲存,幾乎沒有被分析利用。Nemotron 3.5 Transcribe 讓這些資料變得可搜尋、可分析、可整理成知識。如果你的公司有龐大的歷史錄音庫,這個模型是把它轉化為企業知識資產的切入點。

影響二:多語言管理障礙降低

台灣製造業在東南亞設廠、服務業吸引外籍顧客,語言障礙一直是管理痛點。過去克服語言障礙主要靠聘用雙語員工,成本高、人才難找。當語音翻譯模型可以自動把越南文或印尼文的說話內容轉成中文逐字稿,管理幹部可以在不增加人力的情況下掌握更多一線資訊。

影響三:開放模型改變語音 AI 市場格局

Nemotron 3.5 Transcribe 在英文辨識上達到開放模型頂級水準,代表企業不再需要全部依賴商業 API(例如 Google Speech-to-Text 或 Azure Speech)才能獲得高品質的語音辨識。這讓語音 AI 的自建方案正式進入可行範圍,也給商業供應商帶來降價壓力。

影響四:一次性部署成本比每月訂閱更划算

如果企業每個月要處理的語音量超過一個門檻,自建開放模型的一次性硬體投資,通常會在一年內回收,優於永遠按量付費的商業 API。對於客服量大、會議記錄需求高的企業,這個換算值得認真評估。

台灣企業老闆現在可以怎麼做?4 個具體步驟

  1. 盤點企業裡有多少未被利用的語音資料:列出每個月累積的錄音來源(會議、客服、培訓、廠區),估算每月音檔總時數,這決定了是否值得投資部署。
  1. 從一個場景試跑,驗證品質:選一種最常用語言(通常是中文),用 Baseten 或 DeepInfra 等雲端端點,把 10 到 20 份真實會議錄音送進模型轉錄,人工核對錯誤率,再決定是否推進。如果轉錄錯誤太多,評估是否值得針對自有語料做微調。
  1. 確認資料安全需求,選擇合適的部署方式:若錄音內容涉及客戶個資、商業機密、財務資訊,優先考慮自建部署,而不是送到外部雲端 API。把這個問題列入 企業 AI 健診 的評估範圍。
  1. 培訓對應窗口人員:語音 AI 不是裝好就會自動產出價值,需要有人設計工作流程(錄音如何收集、轉錄後如何分類、誰負責審核品質)。透過 企業 AI 內訓 讓數位轉型窗口實際操作,課程以公司真實錄音當練習素材,課後才能真正落地執行。

常見問題

Nemotron 3.5 Transcribe 支援台灣的中文嗎?

模型支援中文普通話的語音轉錄,並可進行中英互譯。官方將中文普通話的辨識品質標注為「支援等級」,建議在生產環境上線前,先用企業自有的中文錄音樣本測試,評估辨識準確率是否符合需求。對於口音較重或專業術語密集的場景,可考慮使用企業語料進行微調。

這個模型可以用來做即時語音辨識嗎?

不可以。Nemotron 3.5 Transcribe 目前只支援已錄製的音檔,不支援即時串流轉錄。如果你需要的是客服電話即時字幕、直播即時轉錄等應用,需要使用其他具備串流能力的語音辨識服務。NVIDIA 另有規模較小的串流版本,可參考官方說明。

使用這個模型需要什麼硬體?費用是多少?

模型本身免費下載,但需要具備 NVIDIA GPU 的伺服器或工作站才能執行。最低可在 NVIDIA DGX Spark 晶片的 AI 筆電上運行,企業批量處理推薦使用 RTX 系列 Blackwell GPU。若不想自建硬體,可使用 Baseten、DeepInfra 等雲端 API 端點,按實際使用量計費,初期測試成本較低。

Nemotron 3.5 Transcribe 和 Google Speech-to-Text、Azure Speech 差在哪裡?

最大差異在於「開放程度」:Nemotron 3.5 Transcribe 可以自建、可以微調、資料不需要送到 Google 或 Microsoft 的伺服器,對資料隱私要求高的企業更有優勢。效能方面,依官方公布的英文評測,它達到開放模型頂級水準,但商業服務往往有更好的系統整合、支援服務與 SLA 保障。選擇時需要在「成本與自主性」和「整合便利性與支援服務」之間取得平衡。

資料來源

想知道公司哪些工作可以交給 AI?

台灣人工智慧網路(Ai.com.tw)提供免費 AI 企業健診、老闆 AI 經營講座、企業 AI 內訓與 AI 員工系統建置,以及一站式的 AI 管理系統-管理王,協助企業把 AI 真正用進日常工作。

免付費電話:0800-003-191 | LINE ID:@119m

免費 AI 企業健診老闆 AI 經營講座導入管理王系統

《企業如何導入AI的實戰手冊》書封
免費電子書

《企業如何導入AI的實戰手冊》

全書 130 頁,由戰國策集團執行長林尚能撰寫,整理各部門可直接運用的 AI 方法與真實案例,協助老闆與主管找對方向、降低成本。

免費下載了解手冊內容
《企業如何導入AI的實戰手冊》書封免費電子書

《企業如何導入AI的實戰手冊》

130 頁|戰國策集團執行長林尚能 著

免費下載手冊