股票配资免息 月之暗面发布“上下文缓存”技术 称最高可降本 90%
以“价格战”为代表的大模型降本仍在继续,但相比直接降价,北京月之暗面科技有限公司(简称“月之暗面”)提出了增效方案。7月2日,该公司对外宣布,其大模型Kimi正式开放平台正式公测新技术——上下文缓存技术(Context Caching)。月之暗面方称,这项技术将降低开发者使用长文本旗舰大模型的成本,最高可降本达90%。
上下文缓存(Context Caching)技术是指系统预先存储那些可能会被频繁请求的大量数据或信息。当用户再次请求相同信息时,系统可以直接从缓存中快速提供,而无需重新计算或从原始数据源中检索。
月之暗面发布长下文缓存技术
月之暗面以常见的固定文档大量提问场景为例举例称,一份近9万字的硬件产品说明书,一般售前支持人员需要在10分钟内对产品的功能/使用方式进行40次问答,每次的问题大概在100个字,回答在120字以内。在接入上下文缓存技术后,9万字的文档只需创建并存储一次缓存,40次问答将仅只收取问题的100字+回答的120字的费用,预计花费11.88元,相当于比之前节省了141.95元,费用降低90%左右。
从供给侧看,我国电影创作生产日益繁荣,实现了“量”“质”齐升。近年来,国产片不断涌现爆款佳作,既有高水平工业大片,又有高科技视觉奇效,也有原创性故事。国产片的观赏性、思想性、观众满意度不断上升,带动大众观影热情持续高涨。
有业内人士向澎湃科技指出,月之暗面此次通过降低开发者使用长文本大模型的成本,本质在于提高长本文大模型产品竞争力。近期,自OpenAI宣布从7月9日起对国内开发者断供API后,从6月25日开始股票配资免息,国内多家大模型厂商纷纷表态可提供免费的迁移方案。有投资界人士向澎湃科技表示,大模型厂商纷纷提供可免费的迁移方案的背后,反映出一个核心问题,即这些大模型厂商的模型能力暂无法与其他家模型拉开一定差距,大部分的模型能力都差不多,没有太大差距。