SDL播放音频PCM

SDL 是一个很好用跨平台多媒体开发库，可以方便的使用 SDL 来学习音视频，本文将介绍如何使用 SDL 播放 PCM 数据，主要内容如下：

SDL介绍

SDL（Simple DirectMedia Layer）是一套开放源代码的跨平台多媒体开发库，使用 C 语言编写，SDL 提供了数种控制图像、声音、输出入的函数，让开发者只要用相同或是相似的代码就可以开发出跨多个平台（Linux、Windows、Mac OS X等）的应用软件，目前 SDL 多用于开发游戏、模拟器、媒体播放器等多媒体应用领域，其架构图如下：

后续主要是借助 SDL 来测试音频、视频的播放功能，后面中提到的 SDL 都是用的 SDL2 版本。

SDL_AudioSpec

SDL_AudioSpec 是 SDL 中表示音频输出格式的一个结构体，同时也包含当前音频设备需要更多数据时调用的回调函数，其定义如下：

 1 /**
 2  *  The calculated values in this structure are calculated by SDL_OpenAudio().
 3  *  For multi-channel audio, the default SDL channel mapping is:
 4  *  2:  FL FR                       (stereo)
 5  *  3:  FL FR LFE                   (2.1 surround)
 6  *  4:  FL FR BL BR                 (quad)
 7  *  5:  FL FR LFE BL BR             (4.1 surround)
 8  *  6:  FL FR FC LFE SL SR          (5.1 surround - last two can also be BL BR)
 9  *  7:  FL FR FC LFE BC SL SR       (6.1 surround)
10  *  8:  FL FR FC LFE BL BR SL SR    (7.1 surround)
11  */
12 typedef struct SDL_AudioSpec{
13    int freq;                   /**< DSP frequency -- samples per second */
14    SDL_AudioFormat format;     /**< Audio data format */              
15    Uint8 channels;             /**< Number of channels: 1 mono, 2 stereo */ 
16    Uint8 silence;              /**< Audio buffer silence value (calculated) */
17    Uint16 samples;             /**< Audio buffer size in sample FRAMES (total samples divided by channel count) */
18    Uint16 padding;             /**< Necessary for some compile environments */
19    Uint32 size;                /**< Audio buffer size in bytes (calculated) */
20    SDL_AudioCallback callback; /**< Callback that feeds the audio device (NULL to use SDL_QueueAudio()). */
21    void *userdata;             /**< Userdata passed to callback (ignored for NULL callbacks). */
22} SDL_AudioSpec;

SDL_AudioSpec具体信息如下：

freq：音频采样率，即每秒采样数，单位 Hz，采样率越高，音频质量越好，但占用的带宽和存储空间也越大。
format：音频数据格式。
channels：音频通道数，常见的如 1 表示单声道，2 表示立体声。
silence：表示静音音量值，常为 0。
samples：采样帧的音频缓冲区大小，以采样数量为单位，可以看[[关于采样的理解]]。
padding：内部填充字段，不需要使用，一般用于兼容。
size：音频缓冲区总大小，以字节数为单位。用于表示缓冲区能够容纳的音频数据的最大量，这个字段的值通常等于 samples * channels * format / 8。
callback：填充音频缓冲区的回调函数。

SDL_AudioCallback

SDL_AudioCallback是SDL_AudioSpec结构体中的回调函数，在音频设备需要数据的时候回调该函数，定义如下：

typedef void (SDLCALL * SDL_AudioCallback) (void *userdata, Uint8 * stream,int len);

SDL_AudioCallback 回调函数参数如下：

userdata：用户自定义数据。
stream：该指针指向需要填充的音频缓冲区，回调函数需要通过填充这个缓冲区中的数据来提供音频信息。
- 对于播放音频而言，缓冲区中的数据需要被播放出来。
- 对于录制音频而言，数据则需要被写入到音频文件中。
len：音频缓冲区大小，以字节为单位，回调函数需要在这个缓冲区中填充 len 个字节的音频数据。

SDL_AudioCallback 回调函数的简单实现见下文案例。

FFmpeg提取PCM数据

先使用 FFmpeg 提取用来测试的 PCM 数据，通过如下命令从 mp4 文件中提取 20s 的 pcm 音频数据，如下：

ffmpeg -i xxx.mp4 -t 20 -codec:a pcm_s16le -ar 44100 -ac 2 -f s16le 44100_16bit_2ch.pcm

提取完毕后使用 ffplay 验证是否可以播放：

ffplay -ar 44100 -ac 2 -f s16le 44100_16bit_2ch.pcm

确认播放正常后可以使用 SDL 播放 PCM 音频了。

播放本地PCM文件

下面使用 SDL 来读取本地 PCM 文件来播放，主要步骤如下：

1. 打开PCM文件：

FILE *pcmFile = fopen(path, "rb");

2. 初始化SDL为音频场景：

SDL_Init(SDL_INIT_AUDIO);

3. 填充SDL_AudioSpec音频参数：

SDL_AudioSpec audioSpec;
audioSpec.freq = 44100;  
audioSpec.format = AUDIO_S16SYS;  
audioSpec.channels = 2;  
audioSpec.samples = 1024;   // 1024/44100 = 0.0232199546485261 约等于23.2ms,也就是23.2ms至少回调一次  
audioSpec.silence = 0;  
audioSpec.callback = sdl_fill_pcm;  
audioSpec.userdata = NULL;

这里的callback就是上文中的SDL_AudioCallback。

4. 使用初始化好的SDL_AudioSpec打开音频设备：

SDL_OpenAudio(&audioSpec, NULL);

5. 播放音频：

SDL_PauseAudio(0);

6. 循环从本地读取 PCM 数据：

 1   // 数据读取,记录读取的总数据
 2  uint64_t dataCount = 0;
 3  while (1) {
 4    // 从文件中读取PCM数据
 5    read_buf_len = fread(audio_buf, 1, PCM_BUFFER_SIZE, pcmFile);
 6    if (read_buf_len == 0) {
 7        break;
 8    }
 9    // 统计读取的总字节数
10    dataCount += read_buf_len;
11    // 更新数据读取结束位置
12    audio_end = audio_buf + read_buf_len;
13    // 更新数据读取开始位置
14    audio_pos = audio_buf;
15
16    while (audio_pos < audio_end) {
17        // 等待PCM数据消耗
18        SDL_Delay(10);
19    }
20  }

7. 实现 SDL_AudioCallback回调函数如下：

 1    void sdl_fill_pcm(void *userdata, Uint8 *stream, int len) {
 2    SDL_memset(stream, 0, len);
 3    if (audio_pos >= audio_end) {
 4        return;
 5    }
 6    // 数据不够直接读完，否则只读取一定长度的数据
 7    int remain_buf_len = audio_end - audio_pos;
 8    len = (remain_buf_len > len) ? len : remain_buf_len;
 9    // 拷贝数据到stream并设置音量
10    SDL_MixAudio(stream, audio_pos, len, SDL_MIX_MAXVOLUME / 3);
11    audio_pos += len;
12    }

8. 释放资源：

1 SDL_CloseAudio();
2 if (audio_buf) {  
3    free(audio_buf);  
4 }  
5 if (pcmFile) {  
6    fclose(pcmFile);  
7 }  
8SDL_Quit();

最后附上 Clion 工程的 CMakeLists.txt 文件，其内容如下：

1 cmake_minimum_required(VERSION 3.26)
2 project(sdf_pcm C)
3 set(CMAKE_C_STANDARD 11)
4 include_directories(E:/msys64/mingw64/include/SDL2)
5 link_directories(E:/msys64/mingw64/lib)
6 add_executable(sdl_pcm main.c)
7 target_link_libraries(sdl_pcm mingw32 SDL2 SDL2main)

到此，SDL播放音频 PCM 基本流程结束。