1. 问题背景
最近和网友聊天时被问道绿屏问题，所以趁着端午节在家和ChatGPT来了一次深度教学，也着实爽了一把。
类似这样的效果：
2. 问题分析
其实绿屏本质就是yuv数据为0了，导致yuv转换为rgb时候成为全绿的颜色。
YUV和RGB的转换:
Y = 0.299 R + 0.587 G + 0.114 B
U = -0.1687 R - 0.3313 G + 0.5 B + 128
V = 0.5 R - 0.4187 G - 0.0813 B + 128
R = Y + 1.402 (V-128)
G= Y - 0.34414 (U-128) - 0.71414 (V-128)
B= Y + 1.772 (U-128)如果将yuv都是0带入到上面公式：
R = 1.402 * (-128) = -126.598
G = -0.34414(-128) - 0.71414(-128) = 44.04992 + 91.40992 = 135.45984
B = 1.772 * (-128) = -126.228差不多就是R = -126, G = 135, B = -126
其中RGB有取值范围, 都是[0, 255]
所以最后就是R=0, G=135, B=0
查看颜色表：rgb(0,135,0) 差不多就是绿色
而我们解码时yuv初始化就是默认都是0值，这个就是绿屏的显示主要原因。
所以我们要解决绿屏问题主要两个方向：
（1）yuv数据为0时，不显示绿屏，而显示黑屏
（2）排查解码失败的原因。
其中第二个原因由于部分是平台硬解，特别是解码问题需要厂商硬件支持，如果没有软硬件配合，就无法解决问题。但是硬件方面通常涉及到很多问题，需要与厂商沟通和合作，因此这个过程可能需要一定的时间。所以优先从yuv检测着手进行：
之前和小伙伴讨论，可以检测yuv数据是否全0值来判断：如果输入的YUV数据中确实包含了像素值为0的情况，那么检测数据是否全0值可能有一定的参考价值。例如，如果一个视频帧中所有像素的亮度、色度和红色通道的值都为0，则该视频帧可能被视为无效或不良的帧。
为了快速验证，所有的方案都是通过ChatGPT不断修改提示语完成相关内容的生成，节省不少编码时间（马上就要被AI替代了）。
3. 解决方案
3.1. opencv检测
针对该问题和新来的小伙伴讨论了一下，他们公司之前也有类似检测机制，不过他们的检测是在opencv中完成的，
具体实现如下：
-
将输入图像从YUV色彩空间转换到BGR色彩空间。
-
选取图像中心区域（100×100像素），并计算其中绿色像素的数量。
-
计算绿色像素占总像素数的比例，并与阈值0.8进行比较。如果大于阈值，则判定输入图像为绿屏图像。
-
如果判定为绿屏图像，则输出日志信息并返回true；否则返回false。
其相关代码如下：
3.2. 图像全域检测
针对一帧图像，一次判断每个像素点的值，如果全零或者一定阈值个数为0，即判断该帧图像为绿屏帧，进行丢弃，相关代码：
这个方法检测效率太低了，一帧图像需要几百毫秒，不满足实时性要求，所以增加一个阈值500，达到阈值之后就判断为绿屏，相关代码如下：
该方案原则上要检测所有图像数据，大概需要检测500左右个像素。
然后这个方法也有缺陷，如果绿屏刚好在500个像素之后才发生呢？就无法起到检测后面绿屏的视频帧了。
3.3. 固定角落检测
针对上述问题进行改进：依次判断左上，右上，左下，右下，边长为10的正方形的数据，对于每个正方形，使用两重循环遍历像素，并计算出在一维数据中的索引。然后判断该索引处的像素值即可。该方法可以大幅度提升检测的效率。仅需要检测400个像素点即可。
3.4 四角检测优化版
后来我们在四角监测机制上又做了改进：涉及4个角落，10*10的正方向，上述算法检测效率太低了，所以增加了一个改进型的4角检测机制，目前检测仅需要100个像素点即可。
3.5 随机检测
为了减少检测像素的数量，想到可以用随机检测两个10*10正方向的方案进行 ，相关代码如下：
虽然现在仅需要检测200个像素点即可，但是经过讨论该方案可能存在一定缺陷：
如果随机的两个正方向都在某半部分，而绿屏是在另外部分，那检测就会失效了，例如：
3.6 增强随机检测
在上面问题基础上，重新优化了一轮：将一帧图像划分为两部分，上下各一半；然后在其中一般随机选择10*10的部分进行检测，相关代码如下：
4. 问题总结
针对一个问题，我们可以采用不同的方案来解决它。为了提高方案的效率和健壮性，我们可以执行以下步骤：
-
分析问题：对于一个问题，我们需要深入分析其特性、难点和局限性等，以便确定合适的解决方案。在分析过程中，可以考虑使用实验、模拟、仿真、数据分析等方法来验证和评估不同方案的优缺点。
-
设计和测试方案：基于分析结果，设计出可行的解决方案，并进行测试和评估。在测试时，可以采用一些标准测试用例或者真实场景数据来模拟和检测不同方案的性能和功能。
-
优化方案：基于测试结果，对不同方案进行优化和改进，以提高方案的效率和健壮性。优化方案的方法包括但不限于算法优化、代码优化、并行化等。
-
多种方案比较：最终，我们需要比较不同方案的性能、可靠性、扩展性、可维护性等指标，并选择最佳的解决方案。比较时，还需要结合实际应用场景和需求来进行判断和权衡。
5. 参考文献
1. https://blog.csdn.net/yun6853992/article/details/120503536
2. https://blog.csdn.net/ssllkkyyaa/article/details/109729964
3. https://zhuanlan.zhihu.com/p/27222932
以上只是自己的一个尝试，并不是最佳方案，或许您有更优解，欢迎评论区给出你的答案，或者加关注下方公众号，加我VX，一起讨论。
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
评论列表（1条）
非常不错的方案，之前项目拉流开头遇到绿屏，在ffmpeg的readframe中读到I帧再开始解码还是绿屏，没解决方法后面就强制丢了2s的数据，没想到还有这种角度解决。