咨询电话: 027-88109788
第四范式申请模型服务的扩缩容专利提升资源分配精细程度!
发布于 2024-10-03 06:49 阅读()
金融界2024年9月30日消息,国家知识产权局信息显示,第四范式(北京)技术有限公司申请一项名为“模型服务的扩缩容方法、装置、设备及存储介质”的专利,公开号CN 118708349 A,申请日期为2024年6月。
专利摘要显示,本公开涉及一种模型服务的扩缩容方法、装置、设备及存储介质。预测未来词元负载,九游体育未来词元负载用于表征与未来一段时间内的全部请求对应的输入词元数量和/或输出词元数量;基于未来词元负载和模型服务的当前词元生成速度,确定扩缩容策略,扩缩容策略指示了对模型服务包括的当前服务实例数量进行增加或缩减的数量;按照扩缩容策略对模型服务包括的当前服务实例数量进行增加或缩减。本公开在对模型服务进行扩缩容时充分考虑了请求特性,从而可以提升资源分配的精细程度。并且,本公开能够针对未来负载提前进行资源分配,因此可以提前应对即将到来的请求高峰或低谷。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
最新!以色列外交部宣布已禁止联合国秘书长古特雷斯入境;伊朗总统:以若“再犯错误” 将遭更具毁灭性打击
外国人天安门看升国旗泪目:恁说我可能上辈子就是个中国人!网友:这口音还怪亲切
校园“奶头乐”现象盛行,不少学生深陷其中,透支着身体和未来,家长浑然不知还引以为豪……
《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律
机构认为Apple Intelligence将推动iPhone 16的销售 但目前还不是主要因素
新闻资讯
-
汉景熠晨申请基于人工智能的企业 12-13
-
湖北江城芯片中试服务申请光刻方 12-13
-
华创申请碳包覆复合镍钴锰酸锂锂 12-13
-
山东凯斯达取得原料分级设备分料 12-13
-
助力企业上市 长沙市知识产权局 12-13
-
上海东普申请电子证照扫码实名认 12-13
-
优农富景申请数字资产确权分发认 12-13
-
润芯微科技申请基于云端获取LO 12-13