0次浏览 发布时间:2025-04-07 14:33:00
记者7日从第四范式获悉,公司一体机解决方案SageOne IA日前进行了全新升级,推出“模型弹性伸缩”技术,来应对流量波动。
第四范式是港股代表性AI公司。公司日前联合华为昇腾AI发布全新升级SageOne IA一体机解决方案,在支持DeepSeek V3/R1、QWen2.5、LLama3.3等主流大模型的基础上,企业可灵活在满血版和多个蒸馏模型之间切换。方案中集成了智能算力池化技术(vGPU)、大模型应用开发平台,以及开箱即用的AI应用套件。公司希望,通过构建从底层算力到上层应用的完整自主技术体系,为企业智能化转型提供新一代全栈式基础设施。
当前企业一般采用传统扩缩容方案,即当应用负载增加时,通过人工干预或系统按既定规则扩展计算节点,保证服务可用;当负载减少时释放多余的计算节点,这一定程度上增加了算力成本和IT运维复杂度。“模型弹性伸缩”是系统根据负载状况,自动灵活切换同一系列下不同参数大小的模型提供模型服务,无需额外扩展计算节点,节省算力成本,提升资源使用效率的同时还大大降低运维工作量。
公司相关人士举例说,在大模型推理场景下,负载较小时,满血版模型提供高精度的推理服务;进入高峰时段时,系统会自动将满血版降级为一个或多个蒸馏版/量化版模型实例,来处理大量并发请求。
由此,结合模型预加载等技术,可避免模型服务切换时,导致服务中断或输出质量波动问题,做到用户无感知的平滑切换;当流量回归常态后,系统再自动升级到满血版模型服务,并释放多余的较小参数模型实例。
同时,系统可预设多种基于负载的触发条件,如结合GPU使用率、请求队列长度、响应延迟等资源健康度指标,形成动态切换策略和任务路由机制,使弹性方案在实际应用中更贴近业务需求。
昆明军迷科普模型互动体验展开幕 7月8日,昆明军迷科普模型互动体验展在昆明市西山区海洪湿地公园对面莫奈花园开幕,吸引众多市民前来观展。据悉,此次展览将从7月8日持续至8月8日,为期一个月。8日上午9时,记者来到展览现场,首先感到震撼的是东风21D导弹模型,它直指云霄,看上去威力十足。不远处,歼20、歼10C、武直10等先进战机1: 2025-07-08 17:12:00
新里程董事长林杨林被留置并立案调查;芯朋微预计上半年归母净利润同比增长约104%|晚间公告精选 每经记者:王琳 每经编辑:陈柯名,董兴生业绩披露道通科技:上半年归母净利润同比预增19%~26.76%道通科技披露业绩预告,预计公司2025年上半年实现归母净利润4.6亿元~4.9亿元,同比增长19%~26.76%。芯朋微:预计上半年归母净利润同比增长104%左右芯朋微公告,预计2025年半年度实现 2025-07-07 00:52:00
商米科技IPO之前,需要回答的三个问题 文|节点财经提及商米科技,很多人并不了解,但在日常生活中,却随处能看到商米科技的产品,它就是支付宝刷脸支付、“碰一下”背后的企业。据港交所近日披露,上海商米科技集团股份有限公司向港交所主板提交上市申请。《节点财经》获悉,这并非商米科技首次IPO,2021年商米科技曾在上交所开启上市进程,但上交所在两 2025-07-03 11:46:00
中顺洁柔:已回购0.75% 成交总金额约6607万元 7月2日,中顺洁柔(002511)公告称,截至2025年6月30日,公司通过回购专用证券账户以集中竞价交易方式累计回购公司股份9,684,600股,占公司目前总股本的0.75%,其中,最高成交价为7.15元/股,最低成交价为6.01元/股,成交总金额为66,070,071元(不含交易费用)。 2025-07-02 10:31:00
上能电气总经理杨劲松因个人原因辞职 杨春明接任 来源:财中社7月1日,上能电气(300827)发布公告,因个人原因公司总经理杨劲松辞去职务,并在辞任后不再担任公司任何职务。截至公告披露日,杨劲松未持有公司股份,其辞职不会对公司的经营管理产生重大影响。公司董事会决定补选杨春明担任总经理,任期自董事会决议通过之日起至第四届董事会任期届满。杨春明目前为 2025-07-01 18:13:00