Bark：一种GPT风格的TTS

大家知道，我们一直在探索在FreeSWITCH里实现ASR和TTS的各种方案。这一次，我们遇到了Bark。

一、Bark介绍

Bark是一个GPT风格的模型。因此，它能在生成音频过程中增加一些创造性，相比传统的TTS有更高的差异性。它还有一些新特性如：音乐模式、背景噪音和一些音效，如大笑、叹气等。

项目目前比较活跃，更新也是很频繁。不过，对中文的支持暂时一般，生成的音频音色比较怪异，让人有一种外国友人说普通话的感觉。同时，中文的大笑音效也有问题。

上面简单介绍了下Bark项目以及笔者的使用体验，下面发下它在GitHub的项目地址：https://github.com/suno-ai/bark

Bark是安装是很简单的，但是因为项目在外网的原因，以及在第一次使用过程中需要从外网下载训练数据，所以安装很容易失败。这里如果你只是想尝鲜试用下，建议看下文的Colab快速体验版。如果你想完整的部署一套离线的Bark，那么建议你在本地环境开启全局代理，然后参考Bark本地部署。

二、在Colabe上快速体验Bark

Bark的作者很贴心的分析了一套Colabe环境，这样可以让大家快速的搭建一套体验环境。

Colaboratory 简称“Colab”，是Google Research 团队开发的一款产品。在Colab 中，任何人都可以通过浏览器编写和执行任意Python 代码。它尤其适合机器学习、数据分析和教育目的。从技术上来说，Colab 是一种托管式Jupyter 笔记本服务。

由于Colabe是Google的产品，所以在使用它之前，首先要确保你有一个Google账号，同时能正常登录Google。如果这些条件你都满足了，那么在浏览器中打开下面地址即可：https://colab.research.google.com/drive/1eJfA2XUa-mXwdMy7DoYKVYHI1iTd9Vkt?usp=sharing

打开后，你将看到一个在线的Jupyter Notebook环境，它有下面三大部分：

Install
Basics
Advanced examples

在Install类目下，找到下文的代码部分：

# install bark as well as pytorch nightly to get blazing fast flash-attention
!pip install git+https://github.com/suno-ai/bark.git && \
  pip uninstall -y torch torchvision torchaudio && \
  pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118

可以点击前方的▶️符号运行，也可以单击代码部分再按Ctrl+Enter运行。运行过程的输入，可以在代码下方的输出栏实时看到，若看到Successfully installed字样则代表安装成功。另外，在安装中会有个pip的依赖错误，笔者测试时是没有影响，可以忽略它。

安装部分结束后，就可以依次跑Basics部分和Advanced examples部分的用例了。其中在执行preload_models()部分代码时，会下载大约12G的样本数据，时间会较久需要耐心等待。这部分成功运行完成后，就可以继续执行下方的generate_audio了。除了跑作者提供的示例，也可以自己改下代码运行测试。

三、Bark本地部署

上文的尝鲜测试其实也包括了安装命令，只是环境是在Google上的，接下来说下本地的Bark安装和使用。Bark是Python写的项目，同时它需要Python3.8及以上版本。如果你本地没有此Python3.8及以上环境，就需要自行安装，这部分就不再赘述。

在安装好Python环境后，打开命令行，使用git命令拉取代码并进行安装：

git clone https://github.com/suno-ai/bark
cd bark 
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple .

看到Successfully installed字样，就是成功安装了。我们创建一个测试代码文件test-demo.py：


from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
# download and load all models
preload_models()

# generate audio from text
text_prompt = """
     欢迎致电烟台小樱桃网络科技有限公司。
"""
audio_array = generate_audio(text_prompt)
# save to wav
write_wav("test.wav", SAMPLE_RATE, audio_array)

不过在第一次运行preload_models()时，也需要从外网下载12G左右的样本数据，这时要保证全局开启了代理。上述代码正常运行完成后，会生成一个test.wav音频文件。可以播放下它试试，如果能正常听到想要的内容，就是部署成功了。

上文跑了一个简单的例子，如果你想生成一个长文本的音频，那么恭喜你踩到第一个坑：不支持长文本。Bark目前算法模型还不支持长文本，如果想要转换长文本需要用一些自然语言断句工具，将其转换为短句，分批次生成音频数据，然后合并成一个长音频。示例如下：


from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
import numpy as np
# download and load all models
preload_models()
# generate audio from text
text_1 = """
    欢迎致电烟台小樱桃网络科技有限公司。
    烟台小樱桃是高新技术企业，坐落于美丽的黄海之滨。
"""
audio_array_1 = generate_audio(text_1, history_prompt="zh_speaker_0")

text_2 = '''
    让互联互通更顺畅、让实时互动更高效。
    烟台小樱桃将竭诚为您服务。
    感谢致电，再见。
'''
audio_array_2 = generate_audio(text_2, history_prompt="zh_speaker_0")
# merge numpy.ndarray
audio_array = np.concatenate((audio_array_1, audio_array_2))
# save to wav
write_wav("test-1.wav", SAMPLE_RATE, audio_array)

上文中除了合并长文本，还增加了音色指定为zh_speaker_0。当然这些还只是普通的文本转音频，Bark特色的地方是增加了下面这些特性：

[laughter]
[laughs]
[sighs]
[music]
[gasps]
[clears throat]
— or ... for hesitations
♪ for song lyrics
capitalization for emphasis of a word
MAN/WOMAN: for bias towards speaker

上面这些特性主要是针对英文，笔者试了中文的支持并不是很好。

四、踩过的坑

Bark提供了10种音色，它们分别是zh_speaker_0 ~ zh_speaker_9。不过笔者测试其中zh_speaker_5生产的音频文件是有问题的，播放的都是杂音。
Bark还有一些音频特效，这些试了英文转换的音频表现很好，但是中文的不是想要的效果。比如[laughs] 在中文转换后是类似叹气的一个短音。
本地部署部分没有细说GPU支持部分，是因为CUDA套件部署相对很麻烦，而且对硬件要求较高。一般本地测试，只使用CPU去运算也是可以的，只是会相对慢许多。
目前Bark还不支持长文本，它生成生成的音频最多在13秒左右。