AI应用落地,算力不足仍是摆在众人面前的第一道槛。
这不,作为国产芯片设计公司,燧原科技成立时就碰上了这个老大难。
好在后来通过上云,其验证、benchmark测试效率从2周准备环境缩短至30分钟,算力充足加速了芯片研发。
△燧原科技副总裁任树峰
当下,云+AI基础设施已成为企业智能化转型的关键支撑。
在以生成式AI为代表的技术驱动下,互联网行业作为云+AI应用的先锋,已经找到了新的增长点。
具体是如何做到的呢??
9月6日,腾讯数字生态大会「互联网AI应用专场」在深圳拉开序幕,现场人从人…(头顶台风摩羯)
整场大会只做一件事,讲干货、讲干货、讲干货。例如:
作为C端消费玩家,值得买科技如何让AIGC内容点击率是用户生产内容的103% ?
作为国产算力先锋,燧原科技最初如何摆脱峰值算力供给难题?
作为和技术没那么近的文娱行业,猫眼娱乐如何完成几十上百TB动画渲染?
……
话不多说,这就挑重点为大家奉上。
关于用AI转型升级,他们有话说
在大会现场,大家达成了一个基本共识:
技术方案的选择将影响AI应用的效率。
至今为止,有3条技术路径成为趋势:
结合专业领域知识做RAG
Agent将成为应用落地的主要方式
云计算是夯实基础的重要底座
引用腾讯云副总裁许华彬的话来解释:
RAG结合企业自有知识,无需企业花费较多人力和算力,以及对大模型SFT精调,是当前企业级AI应用落地的成熟方案。
近期来多行业场景的AI Agent蓬勃发展,面向C端的原生应用,以及B端企业级业务流程自动化,将成为后续应用落地的主要方式。
云计算是夯实基础的重要底座,云原生技术助力企业实现敏捷开发,以新技术、新市场的创新,实现增长突破。
那么问题来了,不同行业/企业如何根据自身情况做选择?
下面有请几位代表性玩家为我们“现身讲案例”:
用户更喜欢点击AIGC内容了
作为聚焦消费领域的玩家,值得买科技分享了一个有意思的数据:
在最新内部测试中,通过AIGC生产的内容,它的点击率已经是用户生产内容的103%。
该公司CTO王云峰坦言,一般情况下,人们不太喜欢AI生产的内容(担心虚假信息),而现在,这一点击率已经打破了旧有印象。
why??
复盘背后的原因,王云峰首先分享了值得买对AI的不同认知:
AI不仅仅是一个技术,其实它本身也是一个生态。
按他的话说,如果AI纯粹是一个技术,那么AI应用落地可能意味着单纯使用通用模型;而实际上,AI不仅仅是生产力,很多时候它在重塑我们的生产流程。
放到消费领域的AI生态,一个明显特征让它区别于金融、医疗等领域。
在消费领域,经验远大于知识。
也就是说,不同于金融、医疗等领域有很多确定性的知识可供模型训练学习,用户消费主要凭借经验,个性化非常强。
概括下来,消费领域的特点主要包括:
内容场景灵活。用户消费更多凭借个人经验而非知识,且动态变化;
能力外延拓展。消费不单指买东西本身,还有之后的一系列体验,边界非常广;
消费需求复杂。消费需求复杂多样,个性化强;
认知有了,行业特点也理清了。
所以,AIGC内容之所以能逐渐赢得青睐,答案正式揭晓:
让AI在更大程度上帮助用户做功课。
值得买发现,让AI帮用户去做那些以前要做很多功课才能解决的问题,用户点击率和阅读效率、阅读时长都会比通过AI单纯生成内容要好很多。
具体而言,值得买的做法是:推出一套AI解决方案。
包括1个“值得买消费大模型”(自研13B消费模型),“商品库”和“内容库”2大数据库,AIUC分析引擎、AIGC生成引擎和AGENT调度引擎3个应用构建框架,以及提供针对性的AI解决方案的4类应用AI战略。
在这一方案中,上云是值得买战略的关键:
通过腾讯混元大模型等理解语音、视频、图像的多模态数据;
自购算力托管+多云算力,迅速进行模型训练和推理部署;
通过腾讯云容器场景GPU虚拟化,实现对单个GPU的更细粒度划分,提升资源利用率、减少资源和人力消耗;
实现10亿+条商品库与近百亿条内容库的数据处理;
芯片设计也能上云了
作为国产AI算力先行者,燧原科技副总裁任树峰一上台就回顾了创业初期面临的痛点:
对一家芯片设计创业公司来说,如何保证峰值算力供给一直是个难题。
据他介绍,一个芯片设计项目的研发周期大概在1~2年,不同时间对算力的需求呈现波峰波谷状态。
实际情况是,公司一般会集中在两三个月内做很复杂、压力很大的模拟仿真和各种运算。
与此同时,通常大家认为芯片设计就是写IP或者写代码,但实际上,一家芯片公司还需要建机房、买服务器,以及管理服务器。
那么问题来了,对当时的燧原来说:
面对扩容需求,公司需要买服务器,这个过程需要工程师等待算力;而且,整个机房的建设也属于一件很复杂的工程。
结果就是,千万级IT开销花出去了,工程师还是因为算力不够需要等物理扩容、等算力。
后来的解决方案是:上云。
据任树峰介绍,芯片设计上云在整个行业还不太常见,原因主要是相关数据过于敏感。
对此,燧原科技联合腾讯云打造了本地+上云的存算分离式新架构。
效果上,通过腾讯云保障燧原的峰值算力供给,燧原验证、benchmark测试效率从2周准备环境缩短至30分钟,提升作业并发100%、缩短仿真周期30%。
动画渲染更丝滑了
到了看似和技术没那么近的文娱行业,猫眼娱乐副总裁徐晓也揭露了业内痛点:
在动画电影制作时,涉及跨城市协作且数据量达到数十至上百TB时,使用传统网络进行传输非常缓慢。
这里要补充下,一般一个动画项目的服务公司和工作人员可能分散在全国各地,需要将四散的工程文件进行汇总并统一渲染。
通常情形是,大家只能依赖快递U盘或硬盘给对方,跨市传输至少需要1天,跨省则需2天,而跨国协作甚至可能拖延到十几天。
经过试验,猫眼基于腾讯云数据传输、数据存储安全方面能力打造了猫眼渲染平台。
让工作者全部用远程桌面登录到集群,集群上安装了常用工作软件。
如此一来,工作者只需远程在集群里制作,不仅省去了素材交换下载环节,还能更好保护版权方。
解决了这个大问题后,再用AI去做建模……
另外,关于猫眼AI转型之路,徐晓在会中透露:
(我们)没有基建建设能力,只能做一些垂类模型。
他重点分享了票房预测这一场景,当前,猫眼能够根据单个影片特征和同期大盘预估票房。
这里依托了基于腾讯云打造的大数据平台。具体包括:
基于腾讯云Wedata数据开发治理平台,提供数据集成,数据开发、数据资产管理等;
基于腾讯云DLC数据湖产品,提供Serverless方式使用存储计算资源,按需自动弹性扩缩容;
基于腾讯云DLC数据湖产品,提供统一湖格式存储、实时写入和更新数据入湖;
腾讯云BI提供查询加速能力,联合TCHouse-D提供的高性能查询和加载报表数据到缓存,提供秒级交互式分析能力;
数据显示,该平台可实现日均3万+离线数仓调度任务稳定运行,核心任务执行效率提升20%。
还有哪些看点
事实上,本次大会聚齐了SaaS、文娱、社交、营销、电商、招聘等多个泛AI应用场景,到场分享的企业还有金蝶云、趣丸科技、智谱、猎聘、筷子科技……
篇幅有限,下面只能分享部分嘉宾看法。
作为LLM的头部玩家,智谱企业商业技术中心总经理柴思远分享了:
把大模型真正变成企业生产力,有几件事值得思考。
具体而言,企业要选一个好的基座模型,同时内部最好也有类似业务BP的角色(懂模型价值、懂业务)。
更重要的是,最好发动全员去使用AI。
真正好的应用还是基于业务场景当中一些原生应用,而这些应用的创新肯定是来自于自下而上的组织内部的元素。
随着数据资产的沉淀和变现,企业可以构筑自身竞争优势。
今天我们在大模型上落地应用,大家做的所有的指令工程和SRT的内容,随着这个场景越来越深入的探索,这就会成为我们企业自身在大模型这个时代数据的资产或者是数据的壁垒。
最后是业务场景,前期可能适合将大模型嵌入已有工作流程;更长远的,企业需要找到一些新的场景和业务模式,然后把模型的能力使用进去。
另外,趣丸技术保障负责人刘亚丹分享了:
应用AI赋能工具要回答的3个问题。
展开来说,刘亚丹首先提醒AI转型也要讲ROI,即“愿意为AI转型花多少?想得到怎样的成果?”。
然后还要寻找切入点。按他的说法:
提升3到5倍效率的事情,我们才投资去做。
同时,基于以往向客户交付颠覆性东西的尝试,他还分享了一条经验教训:
在切入点上,不要改变现有的流程。
最后,腾讯混元高级AI策略产品经理张汉策分享了如何构建AI角色。
他们构建的《长相思》AI角色获得了成功:长相思AI角色对话总热度超3.7亿,“相柳” 单角色热度超2亿。
重点是,他详细介绍了不同训练方法踩过的坑,包括纯prompt法、RAG法,以及Agent法。
并最终总结了长相思采用的方法。
腾讯云:让企业更聚焦自身核心业务
相信大家也发现了一个华点:这些企业在AI转型升级中都用上了腾讯云。
据了解,腾讯云拥有广泛的全球基础设施,覆盖21个地区,运营58个可用区,全球服务器数量超过100万台,全球加速节点超过3200个,带宽储备达到200Tbps。
一直以来,腾讯云都以深厚的公有云实力和分布式云战略,持续推动各行各业的数字化转型。
截至目前,腾讯云AI产品已覆盖超过400家互联网头部企业,累计服务超过12万家互联网客户。
从AI应用落地面临的挑战出发,腾讯云行业架构副总监邱浩分享了腾讯云AI全栈解决方案。
从基础设施层、模型层、模型加速层、机器学习平台层、应用平台层和业务应用层阐述了腾讯云在计算、存储、网络,一站式AI开发平台腾讯云TI-ONE以及云原生产品等方面的能力,并给出了对应不同阶段AI应用开发的具体方案。
具体而言,腾讯云提供了如下开箱即用的产品:
腾讯混元大模型。企业和个人开发者,都可以通过API直接调用腾讯混元;
腾讯云TI平台。打通从数据获取到模型训练部署、最后到AI应用开发的全流程链路;
数据库TDSQL。涵盖金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系,支持数据库迁移;
大数据处理套件TBDS。可在公有云、私有云、非云化环境,根据不同数据处理需求组合合适的存算分析组件;
……
总之,一句话概括腾讯云的作用,那就是可以让企业更聚焦自身核心业务。
借用值得买科技王云峰的说法:
企业面临的不确定性不会消失,但可以让专业的人来解决。
BTW,就在大会前一天,腾讯混元发布了全新Turbo大模型,作为新一代的旗舰模型。
相比上一代混元pro,推理性能提升超过100%的情况下,成本降低了50%,效果对标GPT-4o。
此外,新模型也支持角色扮演、代码生成FunctionCall,以及全新推出的支持腾讯生态整合的AI搜索联网的能力。
对了,Turbo模型这一次的定价也降低了50%。
版权所有,未经授权不得以任何形式转载及使用,违者必究。