基于图像和视频的全智能艺术创作系统

发布日期:2023-03-27 浏览量:1

字号:

【项目概况】  

新媒体社会引领的读图时代的到来,使得色彩丰富、种类繁多的图片内容备受用户的热捧,用户对自己拍下的照片美化编辑、分享交流、贴标指示、贴图渲染等的需求不断扩大,图像、视频的再创作成为了一种新的时尚潮流。

目前市面上具备艺术化风格的应用软件普遍存在着一些很明显的弊端,比如,图像合成质量不高、合成痕迹明显,提供的迁移风格过于单一,不能对图像进行合理形变从而更适应风格图像特征等。这是因为大多数图像处理类软件的市场定位在于美颜、修图等,并且,传统的风格迁移方法在图像质量和泛化性方面都不能做得很好。这些图像艺术化软件拘泥于市场导向,没有将AI与艺术创作进行深度融合,因而很难保持长久的用户粘性;另外,目前已经出现在应用市场上的产品还从未涉及对视频的风格化处理。

基于上述背景,该团队研发了基于图像和视频的全智能艺术创作系统,其目的是打造一款功能完善的AI软件产品,使它能完成包括图像风格迁移、漫画生成、视频风格迁移等在内的各种艺术创作任务。它生成的艺术作品,一方面可以保留原内容的完整细节,另一方面兼备风格图的纹理风格和艺术美感。它的重要价值及意义在于,使AI成为丰富人们娱乐生活的落地性技术,推动AI平民化,使AI和艺术创作过程深度融合,真正降低艺术创作的门槛,缩短艺术创作的时间,减少艺术创作的成本,提高艺术创作的水平。

【关键技术】  

全智能艺术创作系统主要以三个艺术迁移算法为核心技术

基于内容和风格图像语义对齐的艺术风格迁移算法提出了一种将风格迁移视为流形对齐问题的新颖观点,用于对齐多流形分布以解决内容图和风格图(参考图像)局部语义对齐的风格迁移问题。同时,算法可以被拓展为允许用户在风格迁移中进行编辑或使用语义图作为指导,进一步发挥了用户的创造性,提升了用户参与感。


图片


基于几何形变的漫画生成算法通过人脸关键点和漫画关键点获取合理夸张多样的形变风格,并且完成基于神经网络优化的语义级风格迁移,能够在对原图像进行合理几何扭曲的基础上合成丰富的纹理细节。用户评分实验表明,这种方法生成的漫画视觉效果逼真有趣,得分普遍优于同类技术,效果完全可以媲美真实手绘漫画。


图片


基于知识蒸馏的高压缩视频风格迁移模型包含了一种新颖的特征转换模块(FTM),可以在非常有效的前馈通道中保持时间一致性,而无需计算光学流或使用任何其他损耗。基于这种方法可以获得模型尺寸为2.67 MB的高压缩的风格迁移模型,这是目前最小和最快的轻量级网络,能并以166.67 fps的速度执行视频风格任务,完成实时、稳定的视频风格迁移。


图片


【应用领域和市场前景】  

新媒体时代,人们不再满足于使用自然拍摄的照片,而倾向于独立地参与图像或视频创作,以彰显自己的艺术造诣和审美水平。与此同时,深度学习技术在各种场景下不断落地,开始越来越广泛地应用到社会的各个领域。计算机视觉让人工智能与艺术交叉激烈碰撞,诞生了风格迁移和图像转换以及视频风格迁移等一系列的技术,这类基于AI的深度学习技术为艺术创作智能化奠定了基石。

以这些技术为基础的各种图像处理软件和滤镜应用吸引了海量用户,用户通过一键点击改变原始的照片风格,通过简单的操作就能达到用户想要的效果,图像风格迁移技术不仅完美地简化了复杂的图像处理过程,而且使艺术创作呈现自动化、智能化的发展趋势。

基于图像和视频的全智能艺术创作系统作为一款功能完善的AI软件产品,能完成包括图像风格迁移、漫画生成、视频风格迁移等在内的各种艺术创作任务,让艺术图像创作及视频重渲染过程高度智能化,为用户提供个性化、可交互的友好接口,打造便捷、开放、智能、灵活、多样的SaaS艺术图像生成及艺术视频生成服务,能在很大程度上弥补目前应用市场上潜在的不足,具有良好的发展潜力和发展前景。


上一篇:高活性低粘... 下一篇:真空射频连接器的国产化及其应用

相关推荐

咨询电话:15849357649