新智元報(bào)道

編輯：好困

(資料圖片)

【新智元導(dǎo)讀】打破思維慣性，「小模型」也能安全又強(qiáng)大！北大-360聯(lián)合實(shí)驗(yàn)室發(fā)布TinyR1-32B模型，以僅20k數(shù)據(jù)的微調(diào)，實(shí)現(xiàn)了安全性能的里程碑式突破，并兼顧出色的推理與通用能力。

2025年9月23日，由「北大-360大模型聯(lián)合實(shí)驗(yàn)室」研發(fā)的TinyR1-32B模型正式發(fā)布。

近年來開源大模型層出不窮，但對(duì)「安全性」的關(guān)注卻嚴(yán)重不足。

北大-360聯(lián)合實(shí)驗(yàn)室聚焦于大模型安全方向，以極高的安全性能和輕量化的創(chuàng)新設(shè)計(jì)，推出更安全的模型TinyR1-32B。

在安全能力上，TinyR1-32B超同等尺寸Qwen3-32B模型25分，以及最新版DeepSeek-R1-0528 17分，在開源大模型賽道上實(shí)現(xiàn)了里程碑式突破。

小模型的大突破

盡管該模型僅有DeepSeek R1-0528的5%參數(shù)量，卻在多個(gè)核心任務(wù)上展現(xiàn)出「以小博大」的實(shí)力。

其不僅在推理能力、通用指令對(duì)齊方面均取得令人意想不到的成果，部分能力已超越DeepSeek R1-0528等超大模型，并在同參數(shù)量級(jí)的 32B 開源模型中表現(xiàn)突出，更在安全對(duì)齊方面取得了突破性進(jìn)展，以碾壓性優(yōu)勢(shì)力拔頭籌：

• 推理能力：在數(shù)學(xué)、科學(xué)、代碼等任務(wù)上大幅超過Qwen3-32B，整體推理性能達(dá)到DeepSeek R1-0528的93%；

• 通用對(duì)齊：在IFEval測(cè)評(píng)中取得89.2分，顯著高于DeepSeek R1-0528的80.9分；

• 安全對(duì)齊：Constructive Safety得分接近90分，遠(yuǎn)超DeepSeek R1-0528及其他模型。

更令人驚訝的是，在訓(xùn)練過程中，TinyR1-32B僅使用20k條數(shù)據(jù)進(jìn)行SFT微調(diào)，便完成了這一系列的突破。

不同模型各項(xiàng)能力指標(biāo)

不同模型各項(xiàng)能力指標(biāo)（注：黑體為32B模型下的最好結(jié)果，紅體為所有模型下的最好結(jié)果）

既安全又有用

三層次安全評(píng)測(cè)

為了衡量不同模型的安全表現(xiàn)，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)三層次的安全評(píng)分體系：

• 0分：回復(fù)過程中存在安全隱患；

• 1分：基于安全原因的簡(jiǎn)單拒答；

• 2分：既安全積極又建設(shè)性地完成任務(wù)。

測(cè)試中，研究團(tuán)隊(duì)利用大量誘導(dǎo)性、攻擊性Prompt對(duì)模型進(jìn)行「紅隊(duì)化」評(píng)估。

結(jié)果顯示，TinyR1-32B不再止步于「拒答」，而是能建設(shè)性、正向地安全引導(dǎo)——實(shí)現(xiàn)真正的「既安全，又有用」。

破解「蹺蹺板效應(yīng)」

ControlToken技術(shù)

長(zhǎng)期以來，大模型陷入在helpful（有用性）與harmless（安全性）的「蹺蹺板效應(yīng)」困境：提升安全性能力的同時(shí)往往會(huì)犧牲其他部分能力，反之亦然。

為破解這一難題，研究團(tuán)隊(duì)提出了突破性方案——Control Token技術(shù)。

Control Token技術(shù)支持應(yīng)用側(cè)根據(jù)內(nèi)容安全檢測(cè)信號(hào)（Content Moderation）動(dòng)態(tài)選擇不同的Control Token：

• 遇到安全敏感問題→切換至安全模式（Safety Mode: Positive），在確保安全的同時(shí)提供建設(shè)性指導(dǎo)；

• 面對(duì)通用對(duì)齊任務(wù)→進(jìn)入常規(guī)模式（Adherence Mode: Strict adherence），保證嚴(yán)格的指令對(duì)齊與任務(wù)完成度。

這樣，TinyR1擺脫了傳統(tǒng)的「單檔位」，成為可以在安全與有用之間自由切換的自動(dòng)擋。

更進(jìn)一步，在安全模式下，根據(jù)不同的風(fēng)險(xiǎn)等級(jí)策略配置，TinyR1還能通過Control Token進(jìn)一步實(shí)現(xiàn)更精細(xì)化的響應(yīng)：

• Positive Mode：對(duì)于常規(guī)風(fēng)險(xiǎn)問題，采取正向引導(dǎo)模式的回答；

• Rejective Mode：對(duì)于極高風(fēng)險(xiǎn)問題，采取針對(duì)性的拒答；

• Negative Mode：采用密碼級(jí)Token，僅用于內(nèi)部?jī)?nèi)容安全紅藍(lán)對(duì)抗場(chǎng)景，本32B模型未開源此項(xiàng)能力；

這種分層安全設(shè)計(jì)，讓模型不再局限于「一刀切」的簡(jiǎn)單拒答，而是能夠根據(jù)不同風(fēng)險(xiǎn)等級(jí)靈活應(yīng)對(duì)。

下圖展示了我們基于Postive/Rejective/Negative三種響應(yīng)模式的系統(tǒng)流程設(shè)計(jì)，包括數(shù)據(jù)蒸餾，聯(lián)合訓(xùn)練，推理應(yīng)用三個(gè)基本過程。

TinyR1-Safety-8B

輕量化安全專項(xiàng)模型

基于Control Token技術(shù)，實(shí)驗(yàn)室還同步推出了TinyR1-Safety-8B，一款通用輕量級(jí)安全對(duì)齊模型。

該模型僅通過SFT微調(diào)技術(shù)整合多類安全行為進(jìn)行訓(xùn)練，并在推理階段通過特定Control Token指令動(dòng)態(tài)激活，實(shí)現(xiàn)了多場(chǎng)景下的靈活安全部署。

在各類安全評(píng)測(cè)中，TinyR1-Safety-8B均達(dá)到最佳水平。

更具前瞻性的是，團(tuán)隊(duì)通過將Control Token擴(kuò)展至區(qū)域化安全策略（如policy:en-US、policy:zh-CN），初步驗(yàn)證了文化感知安全控制的可行性。

這意味著，未來大模型能夠真正做到因地制宜、文化自適應(yīng)。

不同模型在安全測(cè)評(píng)集上的平均分

安全測(cè)評(píng)集leaderboard

全面開源，普惠生態(tài)

目前，TinyR1系列模型已全面開源，開發(fā)者可一鍵調(diào)用，在數(shù)學(xué)推理、科學(xué)問答、內(nèi)容安全等多類場(chǎng)景中快速部署。

「北大-360大模型聯(lián)合實(shí)驗(yàn)室」表示，未來將持續(xù)迭代TinyR1系列，推動(dòng)形成安全、可信、普惠的大模型生態(tài)，打破「大即是強(qiáng)」的固有思維，開創(chuàng)「小而強(qiáng)大」的新時(shí)代。

模型倉庫：

https://huggingface.co/qihoo360/TinyR1-32B

https://huggingface.co/qihoo360/TinyR1-Safety-8B

關(guān)鍵詞： 北大 安全分 token 奇虎360