张向征:AIGC技术重塑数字人,释放新需求|2023 ChinaJoy AIGC大会
7月28日至7月31日第20届中国国际数码互动娱乐展览会(ChinaJoy)在上海举行。7月28日,由汉威信恒主办,钛媒体集团协办的2023 ChinaJoy AIGC大会正式召开。大会聚焦时下热议的AIGC行业,邀请国内外AIGC领域的行业代表专家、学者、企业大咖重磅参会,从技术层面、应用层面、价值投资层面,全生态视角探讨AIGC技术下的内容产业新业态。
(资料图)
360智脑总裁张向征发表了题为《从数字人到数智人:360智脑的解决方案》的演讲。
张向征指出,AIGC技术可以重塑数字人,释放新需求。大模型本身有强大的内容理解能力和用户需求理解能力、文本生成的能力,让传统的数字人可以和人进行实时智能的对话,满足人的各类需求,解决人的各种工具性问题。同时,在数字人生产和制作方面,文生图工具,包括图像生成、视频生成、跨模态语义理解和可控图像编辑工具,可以让数字人的创作更加高效。
新一代数字人不仅只有形象,有语音,而且可以学会人说话的方式,以及人的背景信息。张向征介绍,通过大模型的学习训练,数字人可以代替我们完成智能客服、进行直播、进行销售及进行培训,帮助我们提高各类工作的效率,经过训练的数字人甚至可以实现数字分身,在不方便出席或者没有时间出席的场合完成讲话。
以下是张向征在2023 ChinaJoy AIGC大会上的演讲全文(略经钛媒体App整理):
尊敬的各位来宾,大家上午好!
我是360的张向征,今天我跟大家分享360智脑在数字人领域的探索和应用。
AIGC技术的发展,尤其是大模型技术的出现,让娱乐行业拥有了大脑和灵魂,而且带来了需求和供给的双增量。在需求方面带来了新的应用场景,比如说数字人、数字永生。在解放生产力方面带来了新技术、新的AI工具,帮助内容创作者降低生产成本,提高生产效率。
AIGC技术可以重塑数字人,释放新需求。比如说因为大模型的出现,大模型本身有强大的内容理解能力和用户需求理解能力、文本生成的能力,可以让传统的数字人不再是工具人,而是可以和人进行实时智能的对话,满足人的各类需求,解决人的各种工具性问题。
在数字人生产和制作方面,文生图工具,包括图像生成、视频生成、跨模态语义理解和可控图像编辑工具,可以让数字人的创作更加高效。
AIGC技术无论在文字、图像、音频、视频多个领域,都可以全链条降本增效,帮助企业快速应用到自己的业务场景上。
在今年上半年,依托360过去多年在算法、数据、工程、架构各方面的积累,发布了360智脑的认知型通用大模型。模型集成了多个工具,包括360 GPT大模型,对标ChatGPT类似的做文本的理解和生成。同样有图像生成大模型、图像处理工具,也有360鸿图做复杂的文本图像治理,以及能够根据用户指令结合用户提交的图片、细节修改,定制化地对图像进行复杂处理。
360智脑具备十大核心能力,可以覆盖大模型应用的各种场景。比如说生成与创作能力,360智脑的生成与创作能力可以更好地理解用户角色的诉求,比如说制造了孙悟空的数字人,孙悟空说话需要有自己的特色和用语;制造了诸葛亮的数字人,需要用文言文的方式更好地回答各种用户的问答。
同样的道理,在更复杂的场景,需要多轮对话的能力,需要理解用户的前文上下文。阅读理解的能力,更好地理解用户的意图,知识问答的能力,更好地解决用户的需求,应用在广泛的应用场景上。
360大模型的开发,依托了以往多年在各个领域的积累,比如说在搜索原来,我原来是做搜索方向的,在搜索领域积累了海量中文网页及对中文网页进行内容抽取、数据清晰的能力。同样,在RP领域,已有的搜索技术需要跟踪各类大模型的新进展,以前Bard、GPT的出现我们也会在内部进行各种尝试和应用。
搜索服务本身也可以作为360智脑大模型的增强工具,作为一种外挂知识库,解决大模型的连接问题,提高大模型的内容实效性和实时性。
360智脑最大的问题是安全,有在模型基础框架和安全的积累,也有在内容安全下的积累,让输出的内容更加安全可控。
大模型驱动的数字人能够带来生产效率的提升,以及颠覆生产关系,新一代数字人不仅只有形象,有语音,而且可以学会人说话的方式,以及人的背景信息。通过大模型的学习训练数字人可以代替我们完成智能客服、进行直播、进行销售及进行培训,帮助我们提高各类工作的效率,经过训练的数字人可以实现数字分身,在不方便出席或者没有时间出席的场合完成讲话。
与传统的数字人相比,已有的影视级数字人成本极高,需要3A建模,需要专业的演员,需要专业的拍摄设备,投入动辄百万起,而已有的虚拟人在后续运维上也需要投入较大的成本。
已有的形象克隆数字人可以进行直播,也可以按照人提供的内容进行内容输出,比较直观和形象。但存在两个缺点:一是内容需要有人来写,而2个小时的直播需要提供海量的文本内容,需要经常性进行变化。二是念稿的机器人只是单向的,没有办法及时响应用户的需求和提问,导致用户有时候会觉得有点虚假和不真实。
360智脑机器人的核心优势是具备“最强外表+最强大脑”,有三个特点:
一是以人为本,多模态交互。360智脑大模型应用耗用、易用是关键,大模型技术很强,但很多人在用ChatGPT时并没有办法把ChatGPT最强的能力发挥出来。有些专业的问题有些人可以问出来很好的答案,但有有些人问出来的答案效果不够好。数字人背后已经有专业的人员定制了各种不同的角色,这些角色可以更好地让用户使用时就知道我们面对的是专业的律师、专业的医生、专业的营销顾问,在已有数据调研里,使用数字人的场景、数字通用大模型的场景,用户问答满意度提升超过10个百分点。数字人形象相比传统文本界面的交互,更直观,更形象,这种多模态交互更符合人更自然的交互,所以用户体验更好。
二是有灵魂有记忆,需要利用已有的通用引擎的技术,把数字名人、古圣先贤,他们有一系列的背景知识、著作、才华、发表过的文章,只靠简单的提示语没有办法很好地解决,需要有外挂的知识库进行个性化的定制,才能提供更好的符合人设定义的服务。
三是能联网、能学习。有很强的搜索及对话知识库存的定制服务,用户在使用的时候,可以及时联网解决有效性和测试性的问题。
数字人前期治理的步骤,首先依托于搜索本身文本处理的能力,及时把网络文本、文档文本抽取出来,结合语义积累进行分段处理、执行、摘要,提前生成Q&A的问题。存储阶段,有赖于已有的通用引擎,这是360的引擎的基础服务。
同时支持了基于关键词的传统搜索,以及基于向量的语义搜索,可以结合用户的使用场景平衡用户对精确性的要求、语义泛化性的要求。比如说在政府办事的智能客服里任何一点差错都不能犯,要给用户的信息要足够精准,只靠语义相关没有办法解决,需要用到传统搜索技术。
人机交互层面可以依赖于360智脑大模型语义理解能力,很好地对用户从知识库里检索出来的信息进行统一的汇总和输出,更符合与人对话的自然语言理解。
针对垂直的行业和数字人特定地收集语料加入到预训练和微调中,这样才能具有专业性,提供比通用大模型更优的结果。
在游戏领域简单的展示,只需要提供简单的角色资料,以及采集一部分人物照片信息,加上360智脑大模型的能力,就可以生成能看见、能听见、开放式问答的对话式数字人。
生成数字人之后还有提问,如果只靠大模型本身输出的结果很难给出人具体的观点,往往是大模型每次基于模型本深生成的结果有很大的随机性。但是当有了个性化、定制化的知识库之后,数字信息就会更多代表更符合人设,更符合他已有的观点,而不是用大模型本身去“胡说八道”。
在现场问答的场景,具体使用时,一种是直播场景,可以单向对外输出,另外一种是直观和用户进行问答(在线问答、实时问答),工具后台可以统一提供,可以用于直播场景,也可以用于实时问答场景。
360智脑数字人不止在平台上可以用,而且做了整体的服务包装,通过API和SDK很方便地挂载到第三方网站、第三方APP中,在用户使用其他工具的场景下,很方便地进入数字人的场景,提供智能客服或者一系列的咨询服务。
在其他应用场景也会有更复杂的场景,比如说大屏场景,需要的不止是简单的对话,而需要和其他系统做复杂交互。
这是和城市文旅场景结合的数字人,不止需要问答,也需要把原有系统中的数据结合用户问的问题,通过解析层具体的指令,获取对应的结果化数据,再通过大模型的加工处理,用更自然的形式反馈给用户。
除了大屏场景,还有数字分身,可以代表主人出席大会,如果有些人时间来不及的话,可以解决这一问题。另外可以用于直播间场景。
有人设,有记忆,有灵魂的数字人,最终的应用场景很多样。
1.数字伴侣。这种场景下人是需要有情感需求的,而里面不止是现在用大模型时的专业化回答,需要有闲聊的模式,能更反映角色对应的特点。比如说可以作为情感陪伴。
2.数字名人。我们自己做的“数字老周”也是类似的场景,需要和人对应的背景信息建设成个性化的知识库,很好地融入到大模型的使用场景,解决大模型的幻觉,反馈出人本身的背景知识,自己对问题的理解、个性的特点
3.数字专家。作为数字员工,比如说营销专家、法律专家,作为数字员工给企业提供服务,提供的方式比泛泛地问大模型得到的效果好很多,因为他们的partment都是经过精心设计的。
4.数字助手。大屏场景需要解决复杂的场景,需要和复杂的场景进行交互。
360智脑目前已经有了多层布局,可以批量化规模生产数字人,成本很低。另外提供了对外的API平台,很方便地对外提供服务。未来可能的应用方向可以做更多的探索,比如说用于AR、VR领域,希望有更多合作伙伴将来能一起探索更智能的未来。
谢谢大家!
关键词:
下一篇:最后一页
- 女童不慎掉入20米深井 18岁小姨三次下井成功营救
- 西安3个区域12月28日起每日开展全员核酸 官方提倡民众居家健身
- 浙江乐清一核酸检测结果异常人员 复采复检为阴性
- 浙江本轮疫情报告确诊病例490例 提倡“双节”非必要不出省
- 西安警方通报6起涉疫违法案件
- 西安新一轮核酸筛查日检测能力达160万管
- 西安市累计报告本土确诊病例811例
- 重庆曝光4起违反中央八项规定精神典型问题 警示党员干部清新过节
- 云南清水河边检站查获走私玉石和玉石毛料65公斤
- 吉林市政协原党组成员、副主席孙洪彬被开除党籍和公职
-
传祺E9北极上岗啦,中国黄河站科考人员再添好帮手
“其实,北极冰川消融远比电视里看到的还要严重。”“在来的过程中,已
-
相聚相知 绽放青春——成都世界大学生运动会开幕式侧记
“12,11,10……”焰火在夜空中打出倒计时数字。结束时,焰火集中绽放
-
相聚相知 绽放青春——成都世界大学生运动会开幕式侧记
7月28日晚,中国大学生体育代表团在成都大运会开幕式上入场。新华社记
-
吴井街道:防汛显担当 党员干部在一线挺起“红色脊梁”
点击上方“蓝字”关注我们吧!7月28日03时至08时,吴井街道辖区出现强
-
河南:密切关注台风“杜苏芮”对农业生产的影响,做好准备积极应对
河南:密切关注台风“杜苏芮”对农业生产的影响,做好准备积极应对,
-
如东:全面推进义务教育优质均衡发展,让少年儿童茁壮成长
近日,从江苏省教育厅传来喜讯,如东县被认定为“江苏省义务教育优质均
-
《莲花楼》引关注,成毅曾舜晞演绎武侠江湖,年度最佳武侠剧
《莲花楼》引关注,成毅曾舜晞演绎武侠江湖,年度最佳武侠剧,成毅,曾舜
-
奥迪中型车车型38万左右推荐,准备买车的朋友千万别错过!
手握38万左右,想购置一款奥迪中型车38万左右,市面上的车型那么多,到
-
叠加光威和国产颗粒双BUFF,天策弈系列DDR4成装机党内存新宠
暑假到了,很多朋友都准备DIY一台新电脑,用尽最少的资金打造更强大的
-
企业保险交多少年可以退休?怎么交?
最少交十五年可以享受退休金。 具体的答案会因企业政策、员工个人情况
X 关闭
张向征:AIGC技术重塑数字人,释放新需求|2023 ChinaJoy AIGC大会
密战演员表介绍石竹 密战演员表介绍
移动呼叫转移费用是怎么产生的_移动呼叫转移费用
海洋公园的缆车另收费吗?
“湘气四溢” 的常德米食文化,你惊艳到了吗?
X 关闭
得知西安疫情防控“升级” 男子夜骑共享单车回咸阳淳化
中国医生将任SIU主席背后:从追随者同行者到引领者
海南省通报政法队伍教育整顿成果
云南两地发现核酸阳性人员 西安实行最严格的社会面管控
广东梅州大埔中央红色交通线沿线发现多株百岁古树