智东西

作家王涵

智东西5月28日音尘，近期，深圳河套学院（SLAI）AI教师平台方法团队，长入哈尔滨工业大学（深圳）、深圳大数据接洽院、华为GTS（民众时刻就业）团队与深智城AI算力平台，仅用1个月，共同基于昇腾910C国产算力集群杀青DeepSeek-V4-Pro全参数续教师/SFT巩固起初，完成长稳教师1500+步，教师MFU超30%，要道教师算子效力提高14%。

据公开贵寓，本责任是公开可查规模内业界首个由第三方机构基于国产算力集群完成的DeepSeek-V4-Pro全参数后教师工程实践。

深圳河套学院于2025年9月正经揭牌，其并非传统道理上的大学，而是老师部部署建筑的国度级东谈主工智能拔尖立异东谈主才培养试验区，与中关村塾院、上海创智学院比肩为三大AI外洋级学院。

一、DeepSeek-V4-Pro在昇腾集群完周全参数教师，MFU巩固达34.9%

DeepSeek-V4-Pro是1.6万亿参数级MoE开源旗舰模子，承袭DeepSeekMoE寥落夹杂大家结构，模子架构引入了CSA+HCA夹杂寥落贯注力、mHC连续等新机制。相较于DeepSeek-V3/R1等上一代旗舰MoE模子，DeepSeek-V4-Pro对国产教师框架、夹杂并行、大家通讯、算子效力、显存处分和长稳教师才调均提议挑战。

经过长入攻关，团队咫尺已杀青DeepSeek-V4-Pro在国产算力集群上的全参数教师巩固起初。同期，DeepSeek-V4-Flash的全参数续教师与SFT链路也已同步买通。

▲DeepSeek-V4-Pro@昇腾超节点教师，MFU最终巩固在34.9%

另外，该方法还考证了教师平台在垂直规模模子才调构建上的现实价值。团队围绕工业级自动化运筹建模场景，诓骗专科规模数据，在数周内完成从数据分娩、样本筛选、教师链路买通到效力评测的闭环考证，以较短周期和较低试错资本构建了面向垂直专科任务的模子增强才调。

据公开贵寓，咫尺业界走漏的DeepSeekV4国产算力发达，主要迷惑在V4-Pro推理适配、V4-Flash教师参考杀青及通用框架适配，尚未有第三方机构在国产算力集群上完成DeepSeek-V4-Pro全参数续教师/SFT巩固起初的公开信息。

因此，本责任可视为公开可查规模内，业界首个由第三方机构完成的国产算力集群DeepSeek-V4-Pro全参数后教师工程实践。

二、双场景巩固拘谨，微调后四项方针均超原模子

本次攻关面向DeepSeek-V4-Pro全参数教师链路考证，分别于LoRA、Adapter等极少参数微调，重心考证1.6万亿参数级MoE模子在国产算力集群上的端到端教师可行性、巩固性和效力提高空间。

长入团队酿成了4类要道才调：

一是1.6TMoE模子权重、梯度、激活、优化器景况的散播式承载才调；

二是数据并行、张量并行、活水并行、大家并行协同的夹杂并行才调；

三是面向长稳教师的loss、梯度、大家负载、显存和终点规复监控才调；

四是夹杂寥落贯注力、MoE路由、归一化、矩阵操办等要道教师算子的适配优化才调。

本次攻关以工业级自动化运筹建模场景动作后教师考证任务。该场景对模子复杂推理、记号抒发、长链路盘算、器用调用和收尾校验才调条目较高，不详锻练DeepSeek-V4-Pro在全参数后教师过程中的拘谨巩固性、基础才调保持情况和复杂任务适配后劲。

为了进一步考证DeepSeek-V4在昇腾集群上进行后教师的才调，本方法遐想了大模子增强专科数学建模才调的教师实验，搭建了一条SFT建模数据分娩workflow，产出了3000条高质地数学建模任务SFT样本，隐敝了4类方向任务和3种问题形态。

基于上述workflow生成的数据，长入团队对DeepSeek-V4进行了后教师，专业赛事推荐平台相应弧线如下图：

不错看出，LMloss和MTP-1loss在教师前半段快速下落，最终LMloss拘谨至0.2056，MTP-1loss拘谨至0.2538；梯度范数也从教师初期高位逐渐下落，莫得出现连续放大或loss失控。单步耗时合座巩固在27秒傍边，skippediterations和NaNiterations均为0。

本方法将原参数模子与本圭臬微调后模子在主流建模才调Benchmark下进行不雅察对比：

不错看到，DeepSeek-V4模子经后教师，在4项要道方针上均显耀跨越原模子。其中ORGEval的提高尤其昭彰，进一步确认了DeepSeek-V4在国产算力集群上进行后教师的可行性。

三、42名学生干预，从实在教师场景提高时刻才调

本次攻关亦然河套学院教师平台型东谈主才培养体系的一次迷惑子践。不同于传统课程式教师，本方法以万亿级模子教师攻关为牵引，把学生培养径直镶嵌国产算力实在教师场景。

死心咫尺，方法已组织培养学生42名，酿成了由后生教师引导、博士生中枢攻坚、工程团队撑持的协同培养机制。

在这一过程中，同学们不仅仅参与方法发达，而是围绕实在问题承担具体任务：有的负责教师数据构造和样现实量分析，有的负责散播式教师设置与并行政策考证，有的跟进教师巩固性监控和终点规复，有的负责模子评测、时刻敷陈和工程文档千里淀。

一次次教师启动、报错定位、参数调遣和收尾复盘，齐使同学们不详径直领略超大模子教师中模子结构、算力系统、通讯效力、显存处分和教师巩固性之间的复杂相关。

通过这种培养方式，学生才调提高体咫尺3个方面：

一是建立了对国产算力大模子教师全链路的系统性意志；

二是掌抓了从规模数据到模子才调增强的全过程才调；

三是在实在方法中酿成了问题拆解、实验遐想、教师复盘和团队融合才调。

▲方法团队开展时刻复盘与学生实战培养

四、改日进一步优化教师算子，同步鼓吹工程千里淀与AGI基础接洽

下一阶段，深圳河套学院将赓续长入哈尔滨工业大学（深圳）、深圳大数据接洽院、华为GTS（民众时刻就业）团队和深智城关联团队，在现存全参数续教师/SFT链路基础上，重心鼓吹3项任务：

一是连续优化教师框架和要道教师算子，进一步提高教师效力（MFU）；

二是撑持512K至1M超长落魄文教师，提高复杂专科任务中的长文档领略和长链路推理才调；

三是进一步冲突DeepSeek-V4-Pro强化学习后教师时刻，围绕数学建模优化、代码Agent、长落魄文推理等任务，构建rollout生成、器用扩充、reward/verifier、政策更新和评测响应闭环，酿成从SFT到AgenticRL的齐备后教师链路。

后续，方法将同步鼓吹时刻开源与东谈主才培养千里淀：一方面酿成可复现的时刻敷陈和开源工程实践，分阶段灵通教师设置、评测剧本、合成数据、时刻敷陈及关联模子与框架才调；另一方面，将方法中的实在教师任务、数据构造圭臬、故障排查案例和评测进程转机为课程案例、实训任务和学生科研方法；同期基于此教师场，开展新一代通用东谈主工智能的基础表面、新范式和新架构的接洽。

接洽团队还将赓续接洽新一代通用东谈主工智能的科学范式、基础表面、责任机理、可诠释性、连续学习、顾忌学习、智能体表面等基础科学时刻问题，接洽记号、连续和活动方针有机交融的东谈主工智能新框架，力争对信息寰球、物理寰球和东谈主类社会2026实时最新比赛数据与热门对阵分析，从单一智能体到群体智能到东谈主机交融进行灵验建模。