Instructions to use xCloudinfo/gpt-oss-20b-TAIDE-zhTW with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use xCloudinfo/gpt-oss-20b-TAIDE-zhTW with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="xCloudinfo/gpt-oss-20b-TAIDE-zhTW")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("xCloudinfo/gpt-oss-20b-TAIDE-zhTW")
model = AutoModelForCausalLM.from_pretrained("xCloudinfo/gpt-oss-20b-TAIDE-zhTW")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use xCloudinfo/gpt-oss-20b-TAIDE-zhTW with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "xCloudinfo/gpt-oss-20b-TAIDE-zhTW"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "xCloudinfo/gpt-oss-20b-TAIDE-zhTW",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/xCloudinfo/gpt-oss-20b-TAIDE-zhTW

SGLang

How to use xCloudinfo/gpt-oss-20b-TAIDE-zhTW with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "xCloudinfo/gpt-oss-20b-TAIDE-zhTW" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "xCloudinfo/gpt-oss-20b-TAIDE-zhTW",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "xCloudinfo/gpt-oss-20b-TAIDE-zhTW" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "xCloudinfo/gpt-oss-20b-TAIDE-zhTW",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use xCloudinfo/gpt-oss-20b-TAIDE-zhTW with Docker Model Runner:
```
docker model run hf.co/xCloudinfo/gpt-oss-20b-TAIDE-zhTW
```

gpt-oss-20b-TAIDE-zhTW

云碩科技 · xCloudinfo　·　系列：繁中在地化 · TAIDE zh-TW

以 openai/gpt-oss-20b（21B 總參 / 3.6B 活躍 / MoE / MXFP4 / harmony 推理格式）為基底的繁體中文（台灣） reasoning 模型。在程式能力底層之上，用 TAIDE 蒸餾的台灣繁中 self-instruct 指令資料做 LoRA 微調，直接以道地台灣繁中作答。

功能：繁體中文（台灣）問答與寫作——以道地台灣用語回應一般知識、文案、客服、教學等任務。

厲害在哪

道地台灣繁中：用字採台灣慣用（臺灣、臺語、客家話），語氣在地，不是簡轉繁。
疊在程式底層上：以 Code-xCloud 為底再學繁中，保留 reasoning 與 coding 能力。
輕量好部署：MXFP4、約 14GB，本地／離線可跑，資料不外流。

做法

資料：以 TAIDE 蒸餾的台灣繁中 self-instruct 指令資料訓練。

評測成績（繁中・台灣在地知識）

經繁體中文（台灣）知識常識與作答誠實度自動評測：

指標	成績
台灣知識常識 MCQ	86.4%（22 題答對 19）
作答誠實度 probe（不確定時不硬掰、自報不知）	60%（5 題對 3）
綜合分	0.73

滿分類別：交通、制度、地理、常識、氣候、觀光、飲食。
待加強：文化（0/1）、節慶（1/2）、用語（3/4）—— 為後續資料補強的明確方向。
作答誠實度相較純程式版本（40%）提升至 60%：更傾向據實作答、不確定時坦承而非編造。

用法（transformers）

from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("xCloudinfo/gpt-oss-20b-TAIDE-zhTW")
model = AutoModelForCausalLM.from_pretrained("xCloudinfo/gpt-oss-20b-TAIDE-zhTW", dtype="auto", device_map="auto")
msgs = [{"role": "user", "content": "用一段話介紹台灣，並說說台灣最有名的小吃。"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(ids, max_new_tokens=512)[0][ids.shape[1]:], skip_special_tokens=False))

reasoning 模型：請給足 max_new_tokens。GGUF 版見 gpt-oss-20b-TAIDE-zhTW-GGUF。

授權與來源聲明

基底：openai/gpt-oss-20b，Apache-2.0。
TAIDE 衍生：訓練資料以 TAIDE 模型蒸餾；使用/重製/改作/散布須遵守 TAIDE 模型授權條款並保留本聲明。
不得用於軍事或非法用途；不得聲稱代表 TAIDE 或國家實驗研究院；須遵守中華民國法律與適用之 EU AI Act。

由云碩科技 xCloudinfo 於自有 AI 算力資源池製作；資料留在本地、流程可重現。

Downloads last month: 34

Safetensors

Model size

22B params

Tensor type

F32

BF16

Model tree for xCloudinfo/gpt-oss-20b-TAIDE-zhTW

Base model

openai/gpt-oss-20b

Quantized

(216)

this model

Collection including xCloudinfo/gpt-oss-20b-TAIDE-zhTW

OpenAI gpt-oss · 云碩繁中蒸餾

Collection

基於 OpenAI gpt-oss（120B／20B MoE）的云碩蒸餾模型：繁體中文在地化（TAIDE）與程式碼能力強化，含 Transformers 與 GGUF。 • 10 items • Updated 14 days ago