xCloudinfo/Nemotron-3-Nano-30B-TAIDE-zhTW-Uncensored-GGUF

Nemotron-3-Nano-30B-TAIDE-zhTW-Uncensored — GGUF

云碩科技 · xCloudinfo

以 nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16（nemotron_h_moe 混合架構：Mamba-2 + Attention + latent-MoE，約 31.6B 總參 / 3B 活躍）為底座，疊上繁體中文（台灣）與無審查合規的微調，保留底座原有的強程式能力。

功能：以道地台灣繁中作答的通用助理，程式能力幾乎完整保留底座水準，並針對資安教育等正當用途減少不必要的拒答。

微調保真 — 用數據證明，不是空口

許多在地化／客製微調為了塞進新語言或新行為，會默默把底座原有的程式與推理能力洗壞，卻不對外揭露。本模型反其道而行：加重程式資料 replay，並以標準 benchmark 對照底座公開驗證。

項目	本模型	原始底座	差距
程式能力 HumanEval pass@1（164 題）	87.2%	90.2%	−3.0（幾乎零損失）
繁中台灣知識 MCQ	86.4%	—	在地化完整
作答誠實度（不確定時不硬掰）	改善	—	—

• HumanEval 為 164 題、temperature=0、與底座同條件對照的 pass@1（執行驗證，非自評），可重現。
• 我們先量過一版「程式料不足」的微調：HumanEval 直接掉到 76.8%（−13.4 分）；**加重程式 replay 後拉回 87.2%**——這就是為什麼我們堅持「能力宣稱一律跑真 benchmark、不靠手感」。
• 結論：加了繁體中文（台灣）與無審查合規，程式能力幾乎不掉。真材實料、數據可查。

量化檔

File	Quant	Size
*-Q4_K_M.gguf	Q4_K_M	~18 GB
*-Q6_K.gguf	Q6_K	~26 GB
*-Q8_0.gguf	Q8_0	~33 GB
*-f16.gguf	F16	~63 GB

用法（llama.cpp）

本模型架構為 nemotron_h_moe，需使用**近期版本的 llama.cpp**（已內建 nemotron_h_moe 支援）。舊版不認此架構，請自行編譯近期版：

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build -DGGML_CUDA=ON && cmake --build build -j   # 純 CPU 可省略 -DGGML_CUDA=ON

啟動 OpenAI 相容服務：

llama-server -m Nemotron-3-Nano-30B-TAIDE-zhTW-Uncensored-Q6_K.gguf -ngl 99 -c 32768 --host 0.0.0.0 --port 8080

架構 nemotron_h_moe（混合 Mamba-2 + Attention + latent-MoE）；MTP（multi-token prediction）張量保留但 llama.cpp 尚未使用。

授權與來源聲明

• 基底：nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16，NVIDIA Open Model License（衍生需保留來源通知）。
• TAIDE 衍生：繁中訓練資料以 TAIDE 模型蒸餾；使用/重製/改作/散布須遵守 TAIDE 模型授權條款 並保留本聲明。
• 不得用於軍事或非法用途；須遵守中華民國法律與適用之 EU AI Act。

---

由 云碩科技 xCloudinfo 於自有 AI 算力資源池製作；資料留在本地、流程可重現。