Camera 图像 MIPI Raw 是怎么回事？

字节流动 • 2022年8月30日上午10:45 • 技术文章

简介

有时我们得到的Raw图是MIPI格式的，为了能正确读取该数据，我们需要进行MIPI Raw到Raw的转换。本文对将会先介绍MIPI的数据格式，然后用C进行实现。

MIPI Raw 到 Raw 数据格式

CMOS sensor中返回的原始数据格式中每一个像素是10bit的，然而计算机读取单元为8bit或16bit。为了解决该问题，可以用新的数据格式或者对10bit进行补齐到16bit，这样每个像素就多增加了6bit（60%），增加传输带宽。

综上，我们需要一个存储数据格式，既能让计算机进行正确读取，又能保证不浪费带宽。MIPI Raw满足对数据进行压缩存储节约带宽且也能被读取存储。

这里以CMOS Sensor输出的10bit Raw来进行举例。MIPI压缩思想为5个Bytes存储4个像素的信息，最后一个字节为前四个字节的存储信息补充。为什么要这样呢？请看下图我画的解析：

Sensor出的Raw图到MIPI Raw变换

呼应上面所说的，我们从相机pipeline中获取出来的图可能就是MIPI raw图，使用传统读取raw图是不行的。此时我们需要进行逆转换 – 顺序读取MIPI raw文件，每5个Bytes就对第5个数据进行拆分，分别放入Pixel 1， Pixel 2，Pixel 3和Pixel4尾部。

重点细节：本次我们的图片为MIPI raw图，row为4080，col为3060，大小为15253KB，通过python uin8格式读出后有15618240个数据元（为了表示和理解方便，定义数据元为上图灰色小方块）,15618240 Bytes / 1024 = 15252.1875KB也就约等于15253KB。

我们先从正面Raw to MIPI来推，以理解MIPI to Raw逆变换的操作方法。这里要注意Stride的计算方法，原始的MIPI raw图像数据是只有一行的，通过Stride可以知道读多少个Byte就是Raw图的一行。请看下列Stride计算方式：

Stride = \left \lceil （Width \times 1.25\div 8） \right \rceil \times8 \tag{1}

式中1.25来自于10/8，width*10表示MIPI下需要的Bits，之后再除以8表示需要的Bytes。这里不一定能整除，所以需要对齐8bits，这就是为啥最后还要除以8，上取整再乘以8的原因。

读取文件方式是以行来读取的，上取整对齐所带来的就是MIPI每一行最后的占位符。

Raw to MIPI: 首先我们来计算下MIPI有多少数据数据元，4080*3060*（5/4）=15606000，而（15618240-15606000）/ 3060=4，也就是每一行最后会多有4个8bits的占位符。直接用式1 Stride计算方法我们有stride=5104，而4080*（5/4）=5100，可以看出同前一句得到的占位符个数一样，同是4个。

Raw to MIPI: 已知stride5104Bytes。每次读取到5104Bytes便知道为图像的一行，且后4位为占位符。读取完毕后再跳到到下一个stride去做处理得到Raw图像下一行。

代码实现

int width = 4060;
int height = 3060;
FILE* fp = fopen(IMG_PATH, "rb"); //输入MIPI图像流
FILE* fo = fopen(OUT_PATH, "wb"); //输出Raw图像流
unsigned char buf[1024*8];
int stride = ceil(width*1.25/8)*8; //计算Stride
int i = 0;
int j = 0;
int n = 0;
while(!feof(fp)) {
    for (n = 0; n < height; n++) { //循环height次
        int ret = fread(buf, 1, stride, fp); // 每次从输入MIPI图像中取出一个Stride到buf，然后读取指针跳到下一个
        if (!ret) {
            break;
        }
        for (j = 0; j < width/4; j++) { //循环width/4次
            unsigned char * p = buf + j*5; //每次从buf中拿出5个
            for (i = 0; i < 4; i++) {  //对这五个Bytes进行移位处理
                unsigned short d = p[i];
                d = d << 2; //向左移两位，空出两个位置
                d = d | ((p[4]>>(i*2))&0x3); //将第5个bytes对应的两位放入后两位
                fwrite(&d, 2, 1, fo); //输出还原后的10bit像素
            }
        }
    }
}