2023-08-18 15:38
导 读
《生成式人工智能服务管理暂行办法》近日正式施行。生成式人工智能作为在文本、图片、音频、视频等内容生成领域最先进的技术,该管理办法的出台将对广播电视和网络视听产生深远影响。本文简要梳理了当前行业中采用生成式人工智能(AIGC)的部分案例,探讨AIGC技术在音视频内容生产、影视创作、虚拟主播、内容审核、智能推荐等领域的潜在发展趋势。
AIGC+音视频生成:提高内容生产者创作效率
音视频生成技术在语音合成、智能音乐创作、自动化视频集锦、视频拆条、视频超分、游戏开发和虚拟现实等细分场景中拥有广泛的应用前景,且高效节省了人力时间成本。
2020年全国两会期间,人民日报社利用“智能云剪辑师”实现自动匹配字幕、人物实时追踪、画面抖动修复、横屏速转竖屏等技术操作,快速生成视频以适应多平台分发要求。
2022年冬奥会期间,科大讯飞的智能录音笔通过跨语种语音转写2分钟快速出稿,央视利用AI智能内容生产剪辑系统制作与发布冬奥会冰雪项目的视频集锦,极大地提高了制作效率,缩短发布周期。
整体来看,视频生成技术主要是通过大量学习视频中的空间、序列、时间、场景、物体和动作等信息,自动生成具备真实感和更加多样化的视频内容。同时,根据给定的输入条件,并通过视频去噪、色彩校正、边缘增强等后期处理,在保持视频逼真度的同时实现对生成视频的精细化控制和细节的修复与优化。
音频生成主要是利用深度神经网络模型对大量音频数据进行训练学习,自动生成高质量、逼真的多种音频类型,还可以根据特定场景或需求对生成的音频进行优化和定制,以满足不同用户的需求。
AIGC+虚拟主播:推动虚实融合多样化进程
近几年越来越多的虚拟主播正走向前台,如凯时KB88的“小小撒”和“AI王冠”,北京台的“时间小妮”、湖南台的“小漾”、东方卫视的“申雅”“东方嫒”、浙江卫视的“谷小雨”等等。这些虚拟主播好看的皮囊下,离不开AIGC技术的赋能。通过深度学习算法分析和学习大量人类主播的视频和音频数据,AIGC生成具有逼真、自然的语音和动作的虚拟主播。这些虚拟主播可以随时随地出现在直播、电视节目等各种形态中,极大地丰富了数字内容的形态和表现方式,为广播电视和网络视频领域注入更多的创意和活力。
多家媒体正在积极布局AI虚拟主播,并将其应用场景从新闻播报扩展至晚会主持、记者报道、天气预报等更广泛场景,为全国两会、冬奥会、冬残奥会等重大活动深度赋能。
如北京台的“时间小妮”经过情绪仿真引擎处理,其外貌、语音、口型、肢体动作与真人相似度达到97%,可用于营销宣传、新闻报道、教育教学、智能问答等多个领域。2022年两会期间,百度利用AIGC技术生成虚拟数字人主播“度晓晓”,通过多模态交互技术、3D数字人建模、机器翻译、语音识别、自然语言理解等技术,能够快速、准确地播报新闻内容,且具有自主学习能力。
AIGC+影视创作:赋能高效内容生产
在剧本创作和故事生成阶段,AIGC主要运用其文本生成功能,生成具有一定参考价值的剧本段落甚至完整剧本,特别是在情节演进和角色对话生成方面为创作者提供一定便利。越来越多的AI编写剧本产品已经出现在市场中,如2020年美国学生用OpenAI的大模型GPT-3创作剧本并制作的短片《律师》。目前,搭画快写AI、触站AI、轻微课AI等已经成为编剧领域具有一定代表性的AI辅助创作产品。
在内容创作阶段,AIGC可以完成从剧本到分镜的自动拆解与生成,从而缩短剧集的筹备周期。到画面生成阶段,AIGC可以根据数据和大量训练,依据给定的文本描述、图片和视频等智能地生成包括角色动作、场景布置和特效效果等的画面。目前Meta AI发布了文本生成视频的AI系统“Make-A-Video”,Google发布了Imagen Video和Phenaki。
Netflix公开了一部由AI参与制作的动画片《犬与少年》(The Dog and The Boy),时长3分钟,由Netflix日本、小冰公司日本分部(rinna)和WIT STUDIO共同创作。这是第一部AIGC技术辅助制作的发行级商业动画片,其所有动画场景绘制均由AI生成。在影片结尾,制作团队展示了AI辅助场景制作的大致过程,可以分为四步:布局、AI生成及进一步生成、成稿。
AIGC+内容审核:助力审核高效化发展
AIGC技术在视听内容审核方面发挥着重要作用。例如,通过语音识别和语义理解技术,AIGC技术可以检测和识别内容中的敏感词汇和暴力内容,从而对违规内容进行标记和删除。此外,AIGC技术还能够通过图像和视频分析技术监测、识别和过滤如色情和暴力画面等不良内容。
腾讯与虎牙共同成立的AI智能审核平台中,虎牙结合自研“AI智能识别、人工审核和网络志愿者”三位一体模式,腾讯则全面开放“AI+大数据”内容风控安全技术,共同优化内容识别能力,以应对直播平台内容风险和威胁,营造更为安全的内容生产环境。
百度提出“AI内容风控”概念,通过应用图像识别、富媒体识别、NLP、分类/聚类、关联挖掘、机器学习等技术,对违法违规、垃圾信息、内容质量差等情况进行风控,可实现对多种内容的跨场景判断,据称99%的信息在上线前能被自动拦截,减少了大量人工劳动。
然而,AIGC技术仍然无法完全替代人类审查,可能会漏检或误判某些内容。比如难以识别复杂的隐喻、讽刺等语言形式,难以理解某些具有特殊含义的图片、视频等内容。因此,在实际应用中,需要结合人工审核来提高审核的准确性和可信度。
AIGC+智能推荐:完善用户个性化体验
随着用户需求的日益个性化和多样化,在内容智能推荐领域,AIGC技术同样蕴藏了诸多可能性。比如,通过对用户的观看行为、视频偏好等数据进行分析,AIGC能建立完整的用户画像,智能推荐符合用户兴趣的音视频内容,还可以生成个性化的新闻播报、广告宣传等音视频内容。
目前,央视视频、芒果TV、腾讯视频、爱奇艺、优酷、今日头条等平台均结合AIGC技术分析用户行为和兴趣偏好,分析用户观看历史、搜索记录、点赞、评论等细粒度数据,为用户提供针对性更强、内容更加精准的视频推荐。这不但能促进视频内容的多样化、个性化,还有助于增强广播电视和网络视听领域的用户黏性和平台竞争力。
未来,随着数据规模快速膨胀、算力性能不断提升以及人工智能算法不断发展,AIGC能够替代内容创作者完成更多内容挖掘、素材查询调用等基础性劳动,在视音频制作、内容审核、个性推荐等方面发挥更大作用。同时,也需要全行业加强多维互动合作、共同研究,推动制定相关的规范、标准和政策,以保证AIGC技术在视听领域的合法合规合理使用与可持续发展。
内容来源于:国家广电智库 国家广电总局发展研究中心彭锦、曹思和据公开资料整理