本期文章为大家讲解关于上下采样的一些知识。主要从手机是如何做上下采样、一些常见的上下采样画质问题等几个方向进行简单的介绍。
上下采样定义
缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：
- 使得图像符合显示区域的大小。
- 生成对应图像的缩略图。
对图像的缩放操作并不能带来更多关于该图像的信息, 因此图像的质量将不可避免地受到影响。然而，确实有一些缩放方法能够增加图像的信息，从而使得缩放后的图像质量超过原图质量的。
下采样原理：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，当然s应该是M和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值。
上采样原理：放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上。图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。
无论缩放图像（下采样）还是放大图像（上采样），采样方式有很多种。如最近邻插值，双线性插值，均值插值，中值插值等方法。在AlexNet中就使用了较合适的插值方法。各种插值方法都有各自的优缺点。
为什么需要上下采样
配适不同的显示设备
如果我们不进行上下采样，那么我们看到图片可能如下：
所以当屏幕分辨率与图片不符合时，一定需要重采样。
保存图片/视频时不需要fullsize
我们的视频通常分辨率是1080p。为什么手机保存视频的分辨率通常是1080p呢？
有两点原因：
- 1080p 的视频分辨率和屏幕视频相似。大部分中端机屏幕为1080p~2k。
- 视频体积合适。不会过度占用内存。
手机是如何做上下采样的
Binning mode
Binning mode 是将几个像素合并为一个像素点输出，相当于做了下采样。
这种模式下，相邻的像素会被合并，取它们的平均值。这种方式可以减少坏点的影响，因为坏点会被周围好的像素值所平均。
Skip mode
Skip mode的好处：
- 通过减少像素数量，可以降低处理图像所需的计算量，从而提高处理速度。
- 减少数据传输和存储的需求，适用于资源受限的设备。
- 在视频处理中，下采样可以使得设备能够以更高的帧率输出视频。
四合一技术
这是一种图像处理技术，能够将4800万像素的图像处理后输出为1200万像素的图像，提高了图像的输出效率。
如果想让4800万像素的sensor 输出 4800w怎么办？
对于一个4800万像素的传感器，如果要输出一个4800万像素的图像，需要通过特定的算法处理。对于1亿像素的传感器和视频，也需要相应的处理来输出1亿像素的图像。
传感器的贝尔排列与常见的RGB排列不同，需要通过RE马赛克算法将贝尔排列的像素点模拟成RGB排列。这个过程涉及到重新计算每个像素点，使用周围像素点的均值和差值计算来模拟颜色。
上下采样算法
上采样：是将图像分辨率提高的过程。主流的上采样算法使用卷积，参考周围9个像素点来模拟新的像素点。
下采样：是将图像分辨率降低的过程。一个好的下采样算法需要保证采样点均匀且排列有序，以避免图像失真。
采样点的重要性：无论是上采样还是下采样，采样点的数量和排列顺序都对图像质量有重要影响。如果采样点不均匀或排列不当，都会导致图像失真。
常见的上下采样画质问题
清晰度差
锯齿
图像在显示时边缘出现的不平滑现象，这在图像处理中是一个常见的问题。锯齿问题可能是由于多种原因造成的，比如采样率不足、分辨率不匹配、图像缩放算法不当等。
摩尔纹
摩尔纹在电视或视频上特别常见，尤其是在视频处理过程中，如果采样率不足或处理不当，就可能产生摩尔纹。例如，如果一个穿衬衫的人在录制时没有问题，但在后期处理中不断下采样，就可能在某个环节出现混叠，导致摩尔纹的产生。
伪像多
下面两张截图在初步观察时清晰度相近，但当放大后，其中一张的右下角叶脉和页码细节变得不清晰。不清晰的截图使用了某种binningmode进行图像输出，这种模型在前置处理阶段就进行了下采样，导致细节轮廓不清晰。
（以上部分资料来自网络，侵删）
作者：抖音评测实验室
原文：https://mp.weixin.qq.com/s/tccEYugUweHOS4OHzNeRFA
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
