0次浏览 发布时间:2025-04-07 14:33:00
记者7日从第四范式获悉,公司一体机解决方案SageOne IA日前进行了全新升级,推出“模型弹性伸缩”技术,来应对流量波动。
第四范式是港股代表性AI公司。公司日前联合华为昇腾AI发布全新升级SageOne IA一体机解决方案,在支持DeepSeek V3/R1、QWen2.5、LLama3.3等主流大模型的基础上,企业可灵活在满血版和多个蒸馏模型之间切换。方案中集成了智能算力池化技术(vGPU)、大模型应用开发平台,以及开箱即用的AI应用套件。公司希望,通过构建从底层算力到上层应用的完整自主技术体系,为企业智能化转型提供新一代全栈式基础设施。
当前企业一般采用传统扩缩容方案,即当应用负载增加时,通过人工干预或系统按既定规则扩展计算节点,保证服务可用;当负载减少时释放多余的计算节点,这一定程度上增加了算力成本和IT运维复杂度。“模型弹性伸缩”是系统根据负载状况,自动灵活切换同一系列下不同参数大小的模型提供模型服务,无需额外扩展计算节点,节省算力成本,提升资源使用效率的同时还大大降低运维工作量。
公司相关人士举例说,在大模型推理场景下,负载较小时,满血版模型提供高精度的推理服务;进入高峰时段时,系统会自动将满血版降级为一个或多个蒸馏版/量化版模型实例,来处理大量并发请求。
由此,结合模型预加载等技术,可避免模型服务切换时,导致服务中断或输出质量波动问题,做到用户无感知的平滑切换;当流量回归常态后,系统再自动升级到满血版模型服务,并释放多余的较小参数模型实例。
同时,系统可预设多种基于负载的触发条件,如结合GPU使用率、请求队列长度、响应延迟等资源健康度指标,形成动态切换策略和任务路由机制,使弹性方案在实际应用中更贴近业务需求。
新事 | 多家国内药企回应“关税”问题 来源:健识局据新华社报道,美国总统特朗普近期在白宫签署所谓“对等关税”的行政令,其中美国对中国实施34%的对等关税,对印度实施26%的对等关税。虽然大部分医药产品在豁免之列,但全球股市恐慌情绪蔓延,生物医药股大跌。4月7日,多家A股医药企业对外界释放利好,表示公司未受关税问题影响。贝达药业在投资者互 2025-04-07 21:40:00
碧桂园:3月合同销售额约32.1亿元 每经AI快讯,4月7日,碧桂园发布公告,2025年3月单月,碧桂园控股及其附属公司,连同其合营公司和联营公司共实现归属本公司股东权益的合同销售金额约人民币32.1亿元,合同销售建筑面积约40万平方米。每日经济新闻 2025-04-07 19:38:00
AI不能这么用!在校大学生被抓 当你在用AI代码写论文,用算法优化实验时,可曾想过这项技术若被恶意利用,会成为刺向他人隐私的“数字利刃”?在互联网高度普及的当下,大学生作为网络世界的活跃群体,本应是网络文明的传播者,然而,却有极个别同学因法律意识淡薄,陷入了网络犯罪的深渊。在校大学生滥用AI批量发骚扰短信近日,公安网安部门侦破一起 2025-04-07 18:09:00
第四范式SageOne IA一体机升级 支持模型弹性伸缩 记者7日从第四范式获悉,公司一体机解决方案SageOne IA日前进行了全新升级,推出“模型弹性伸缩”技术,来应对流量波动。第四范式是港股代表性AI公司。公司日前联合华为昇腾AI发布全新升级SageOne IA一体机解决方案,在支持DeepSeek V3/R1、QWen2.5、LLama3.3等主流 2025-04-07 14:33:00
A股IPO,新动向! 沪深北交易所官网显示,从2025年初至3月31日,共有8家公司上会(其中上海主板4家、深圳主板1家、科创板1家、创业板1家、北交所1家),8家公司已全部审核通过,过会率100%。再看注册端,批文发放节奏明显提速,海阳科技、太力科技等多家公司从提交注册到获得注册批文,用时不超过10天。如何解读一季度的 2025-04-07 07:53:00