春节前夕,一项基于人工智能技术的公益活动在广州市天河消防驻地开展。通过这项活动,消防员们只需用日常的语气录制十几句话,就能够获得一份自己语音制作出的有声故事集。
“对于我们来说,大年夜值守保安全是我们的职责。”广州市天河区消防救援大队代理指挥员老裴表示,由于春节期间不能回家,很希望能用其他方法陪伴孩子和家人。录制音频后,自己的声音能在自己值守时陪伴孩子鼓励孩子,在孩子背古诗、读历史、学英语的时候能感受到家长的期待和关爱。老裴录制音频后,由京东云言犀语音合成生成的英文故事就能以老裴的声音播放,即便过年不回家,老裴也能成为孩子的英语启蒙老师。
京东云言犀团队研发人员介绍,目前依托言犀大模型,参与者只需录制10句话样本,即可在30分钟内完成模型自动化训练与部署,还原真人音色、音调、语气。为了更逼真地模仿参与者,AI定制语音还支持广东话、成都话等多种方言以及多种外语。
据介绍,大模型让人工智能的训练时间更短,模仿更真实。在训练阶段,机器通过学习捕捉每个人说话的特色,将真人采集的2—3分钟语音,自动切分为10秒内短句,通过语音识别技术将语音转化为对应文本,同时提取音频的声学特征频谱,以此为目标值对基础模型进行微调。在合成阶段,输入的故事文本被分段、切句,并被传入训练好的语音模型,通过语音合成技术,模型会依次反馈和播放语音,同时后端持续合成。
大模型不仅惟妙惟肖还原音色,还将丰富的情感注入到声音中。相关技术人员介绍,通过风格迁移技术,京东云言犀支持文本重读、语调修饰,还可调整合成音色的风格韵律,实现睡前故事的娓娓道来、带货主播的慷慨激昂、文学朗读者的抑扬顿挫等不同场景的语气语调,通过情感判断模型以及知识库语义挖掘,大模型还可在多轮交互的客服场景中精准识别用户喜怒哀乐,给出匹配相应情绪的回答。
据了解,京东云言犀语音模型,训练时融合近6亿用户每日超1000万次的智能服务交互,每月累积超200万小时通话语音,积累了3000万个高质量问答知识点,覆盖广泛的知识图谱。
京东云相关负责人介绍,几年前,新闻主播、演员等群体能够获得自己的人工智能合成声音,随着技术的发展,普通公众也可以拥有自己的合成声音。目前,京东云言犀全自研的语音语义技术广泛应用于零售智能外呼、多模态数字人、政务热线等多个场景,例如支持全国首个12355青少年综合服务智能平台、不间断服务芜湖12345热线,并助力搭建智慧养老平台,为天津市河西区5000多位独居老人每天呼出关怀电话。
除了消防员群体,这次活动还为极地科考者、电商客服等春节必须值守工作岗位的群体克隆音色并生成陪伴故事,让他们的声音“回家”过春节。