leyu乐鱼

说（shuō）到神经网（wǎng）络，你第一个想到的什么，有（yǒu）不少人（rén）第一个想到的应（yīng）该是前段时间大火（huǒ）的换脸 APP 「 ZAO 」，神经（jīng）网络（luò）在图片领域堪称「魔法」的应（yīng）用（yòng）第一次（cì）展现在（zài）每一个普通用户面前。

不少用户在使（shǐ）用过 ZAO 后，对神经网络产生了「技术恐惧」，担心 ZAO 会（huì）对自己（jǐ）的（de）肖像权产生（shēng）侵害（hài），ZAO 也因（yīn）为种种原因（yīn）迅速（sù）下架，成为技术应（yīng）用（yòng）的「负面典型」。

但神经网络还有另一种（zhǒng）用法，那就是对（duì）图像进行增（zēng）强。

▲ 1895 年的电影《火车进站》图片来自（zì）：wiki

神经网络翻新（xīn）老（lǎo）电（diàn）影

最近，国外一个 YouTuber 发布了通过神经网络（luò）增（zēng）强的 1895 年拍摄的纪录片《火车（chē）进站》，整部电影只有 45 秒长度，由路易 · 卢米埃和奥古斯特 · 卢米埃拍摄于法（fǎ）国（guó）一沿海城（chéng）市。

▲ 经过（guò）神经（jīng）网络增强的《火车（chē）进（jìn）站》电影

传说放（fàng）映（yìng）到火（huǒ）车驶向镜头的时候，大量观众惊恐的从剧院跑出，展现（xiàn）了当时人们对（duì）新技术的好奇和恐惧。当然（rán），这些往事都已经成为了都市传说。

不（bú）过（guò）由（yóu）「新技（jì）术」的神经（jīng）网络（luò）对这部（bù）电影进（jìn）行翻（fān）新（xīn），也（yě）有着深远（yuǎn）的意义。

1895 年（nián）拍摄的《火车进站（zhàn）》采用 35mm 格（gé）式（shì）胶片（piàn）制作，由（yóu）于（yú）当（dāng）时的放映机（jī）由手摇进行驱动，我们（men）可以粗（cū）略的认为其原始帧率在 16 帧到（dào） 24 帧之（zhī）间。

▲ 1895 年拍（pāi）摄的《火（huǒ）车进站（zhàn）》原片

由于当（dāng）时的胶片技术（shù）尚未成熟，我（wǒ）们可以看到画面（miàn）景物都（dōu）是比较模糊（hú）的，火车在驶来的同时还带有明显的（de）拖影。

但（dàn）经（jīng）过了神经网络的画面（miàn）分辨率增强和插帧之后，这部老（lǎo）电影获得了 4K ~ 60fps 的画（huà）质。如果不是电影（yǐng）黑白的画面和胶片（piàn）电影独有（yǒu）的画（huà）面（miàn）抖动，画面流畅度和（hé）清晰度（dù）几乎可以与（yǔ）现在（zài）的智能手机相媲美。

是什么让神经网络（luò）在图像增强和插帧上有着这样的效果呢？

我（wǒ）们知道（dào），数字视频（pín）的清（qīng）晰度一般由分辨（biàn）率和帧率决定（暂且不考虑影响图像（xiàng）压缩质量的码率（lǜ））。神经网络（luò）对视频的增强，也主要集中在这两种参数上。

分辨率增（zēng）强

首先我们来谈（tán）谈分辨（biàn）率（lǜ）增强，想（xiǎng）要（yào）将一张低分辨率的图（tú）片变成（chéng）高分辨（biàn）率（lǜ）的图片，我们就需要猜测放大产生的（de）未（wèi）知像素。通常情况下，我们会采用某种（zhǒng）插值算法进行计算（suàn），在图像边缘（yuán）的（de）模糊（hú）和锯齿（chǐ）间获得平衡，这种计算通常无法（fǎ）增加图像细节，即使放（fàng）大了图像，依（yī）旧显得很模（mó）糊。

▲ waifu2x SRCNN 算法与传统算法（fǎ）的对（duì）比

神（shén）经网络在增（zēng）强分辨率上就有着独到的优势，或（huò）许（xǔ）你之前曾经听说过一个（gè）软件 waifu2x ，动漫爱好者们经常用它来放大动漫插图。当然，它同样（yàng）可以用作照片放大（dà）。

waifu2x 的核心方（fāng）法就（jiù）是通过机器学习，训练一个（gè）端到（dào）端（duān）的网络（luò），使用低分辨率（lǜ）的图（tú）像作（zuò）为输（shū）入得到对应的（de）高分辨率结果图像，最（zuì）后得到的（de）结（jié）果在图（tú）像的（de）锯齿与模糊程度有较好（hǎo）表（biǎo）现，其（qí）训练（liàn）的原（yuán）理类似（sì）于 FCN 模型。