当前位置:新闻首页 > 热点访谈 > 浏览文章

达摩院AI技术让古画中的人物“复活”被央视点赞

2021-09-22
      (原标题:达摩院AI技术让古画中的人物“复活”被央视点赞 记者:沈积慧)
      宋画《归去来辞书画图》中,诗人陶渊明正在画中“朗读”自己的《归去来兮辞》,眉宇间的表情与动作,和真人一模一样,仿佛从画中又活了过来。
      昨天,又是传统中秋佳节,杭州图书馆馆藏文献及古籍里的人物因为“复活”而登上了《新闻联播》。
      昨天的杭州图书馆,电子屏上《月夜拨阮图》《韩熙载夜宴图》《卢鸿草堂十志图》《归去来辞书画图》等十多幅宋画的主人公集体开口说话,在画中活灵活现地“朗读”古诗,吸引了很多人的驻足。
      杭州图书馆副馆长梁亮说,杭州图书馆里有很多馆藏文献以及古籍,记录着南宋的文化和生活。这次,通过与达摩院合作的方式,将古籍与AI技术相结合,原本固化的古籍插图变成有声有色的动态图片。
      比如《归去来兮辞》,是南宋佚名画家描绘了陶渊明解甲归田的豪言壮语。同时,选取了馆藏古籍中的一部分内容,包括像《红楼梦》中的人物画像,让贾宝玉自己来朗读文中赞美的词句,在书中眨眼、开口。
      “希望通过新技术,让更多的后代熟知宋代历史文化,让宋韵文化传承下去。”梁亮说。
      达摩院AI工程师唐铭谦说,“古籍会说话”这个项目,通过AI技术,将古籍或者插画中的人物能够拥有像真人一样的表情动作和语言。里面涉及了两项AI技术:人像的动态建模和视频生成技术。“首先需要一张古籍的原图,和朗诵者的一个驱动视频。AI做的事情就是分别提取驱动视频和古籍的原图,并做人像动态建模,然后将两者对齐与合成。”
      为了实现这个目的,需要去对插画和驱动视频进行人像的动态建模,提取中间人物和视频中间的关键点序列。利用这些关键点序列去合成新视频,在合成新视频中,既要保存合成视频,又要保持古籍中间的细节纹理。
      不过,这并不是一件容易的事。“在这个过程中间,因为古籍本身的清晰度不太够,质量相对来说比较低,所以要同时进行超分辨率重建,使得生成的视频既保留它的韵味,又能够像一个真人一样有他的表情动态和语言,同时又是一个相对高质量的视频效果。”唐铭谦说。
      这里面涉及两个难点,一是让古籍书画“活”起来需要一段真人朗诵视频,但朗诵者头部运动幅度较大,容易导致生成视频变得模糊;此外,因为古籍书画的清晰度较低,AI算法既要保持原有的古风古韵,也要为图画增加逼真的五官动作、表情。
      古籍活起来这个项目,是唐铭谦和其他几个达摩院的工程师利用业余时间做的一个AI公益项目。
      梁亮说,为了打造集智慧化文化服务于一体的文化综合体,从去年年中,杭州图书馆与达摩院开始接触联系。“传承历史文化,让更多的历史不再是限于纸上,而是科技化地呈现在市民读者的眼前。这可以增加现在人们不同的阅读方式,适应更多人的阅读习惯。”
      达摩院AI算法工程师唐铭谦表示:“通过AI技术让古籍古画‘活’起来,以一种新的方式呈现宝贵的历史资料,这是一次科技和文物领域的碰撞和交流,未来AI在文物保护和典籍传承上将发挥更大的作用。

来源:都市快报 责编: 

关键字 : AI技术,AI复活古人

[声明]:文章仅供学习交流,如涉及版权问题请及时与我们联系【纠错】,感谢所有提供文章的媒体和作者。

最新发布
热门文章

手机版

微信公众号