小布虚拟人的多场景应用实践.docxVIP

小布虚拟人的多场景应用实践

OPPO小布助手首席架构师

万玉龙

一

小布助手

2

2

国内首个月活破亿的手机语音助手

2.5亿

覆盖设备数

1.3亿

月活跃用户数

20亿

月均交互次数

OPPO、OnePlus、Realme智能手机和IoT设备的内置AI助手包含语音、建议、指令、识屏和扫一扫5大能力模块

“机智”、“有趣”、“温暖”多设备、跨平台、多场景

3

3

不断成长中的小布

首次发布跨界合作更名小布助手月活破亿营销/媒介创新安全性/可靠性/隐私性多模态交互3周年IP升级

2018.122020.052020.122021.022021.062021.092021.12

4

4

二

虚拟数字人

5

5

线上用户需求分析

高级

基础

高级需求情感诉求

进阶需求智能、懂我

基础需求

方便、高效、解放双手

朋友

助手

工具

?形象拟人化，声音、动作、表情丰富自然

?对话交流直击用户内心，满足情感需求

?单指令执行APP二级指令复杂任务

?结合对情景智能和用户理解主动建议

?查天气，系统设置，播音乐等

?更多提高操作效率的功能

6

6

虚拟助手行业趋势

7

7

虚拟助手行业趋势

☆☆

☆

☆

8

8

智能交互技术发展

语音交互语音识别语音合成

语音交互

语音识别

语音合成

自然语言理解

知识图谱

?以语音形式与用户交互

?释放双手，一语即达

?通过VUI给予用户反馈

触屏交互

触屏

自然语言理解

知识图谱

?以触屏方式与用户交互

?依赖用户手部接触

?通过GUI给予用户反馈

文字交互

自然语言理解

知识图谱

?以文本形式与用户交互

?依赖用户双手输入文本

?以文本展示给予用户反馈

多模态交互

计算机视觉多模态驱动

语音识别

语音合成

自然语言理解

知识图谱

?以虚拟人形态与用户交互

?释放双手，一语即达

?通过语音、表情、手势、动作等给予用户反馈

9

9

虚拟数字人

虚拟非物理世界?设备：显示屏（2D/XR），

虚拟

非物理世界

?场景：虚拟助手，虚拟主播，数字员工

数字技术驱动?建模：数字建模（CG）

数字

技术驱动

?建模：数字建模（CG）

?驱动：动捕驱动，AI驱动

?形象：卡通-写实-超写实

?行为：动作、表情、声音等

?智能：能感知，可交互

10

人

外观/行为/智能

三

小布虚拟人

11

11

首个基于虚拟人多模态交互的手机智能助手

12

12

两套技术方案

真人驱动算法驱动

真人驱动

算法驱动

AI捕捉设备捕捉真人数据采集

AI捕捉

设备捕捉

真人数据采集

形象设计

形象设计

驱动参数训练

驱动参数训练

动作捕捉参数3D建模

动作捕捉参数

3D建模

语音合成驱动参数预测关键点绑定

语音合成

驱动参数预测

关键点绑定

录音采集

录音采集

驱动渲染

驱动渲染

虚拟人影像!

虚拟人影像

变声器

变声器

!

!

l

l虚拟人

13

13

主体制作

形象设计3D建模关键点绑定

14

14

真人驱动

惯性动捕动捕

惯性动捕

动捕软件

渲染引擎

渲染引擎

光学动捕

光学动捕

15

15

算法驱动

文本特征

WordEmbedding

WordEmbedding

“大家好，我是布美美”

语音

语音合成

动作预测模型

动作系数

渲染

渲染引擎

话术文本音频波形音频特征元辅音识别模型元/辅音Blendshape虚拟人驱动

16

16

知识图谱对话式虚拟人架构

知识图谱

语音唤醒

自然语言生成

自然语言生成

人声检测对话平台语音识别语义理解

人声检测

对话平台

语音识别