开源编解码器 SOLO 源码解读(一) - 带宽扩展

image
SOLO 在 Silk 的基础上扩展了带宽扩展模块,用来分别处理低频信息(0-8kHz 采样部分)和高频信息(8-16kHz 采样部分),在编码端,两者使用两套耦合的分析编码系统进行码流生成。在解码端,利用低频信号和高频信息,SOLO 可以解码出宽带信号。SOLO 使用带宽扩展主要有两个原因,首先,带宽扩展可以让更多的码率分配到更重要的低频部分,提升编码效率;第二个原因是带宽扩展可以减少进入到信号分析模块的采样点数,从而减少信号分析部分的复杂度(之前需要分析全部的信号,现在只需要分析低频部分)。在减少了原有复杂度的前提下,SOLO 才能够在低频部分额外增加较多计算以选取最佳的多描述编码状态(详细内容可见下一篇源码解析),让编解码音质达到预期。

编码端

SOLO 编码端的大部分操作都是在下述函数中完成的:

image

首先,输入的16kHz 采样率的语音帧会先进入到一个正交镜像滤波器组(QMF)里进行频带的划分:
image
该函数的输出的是两个时域帧,分别包含低频信息和高频信息。低频信息和高频信息会在后续分别进行处理,其中,低频信息会通过函数 SKP_Silk_SDK_Encode 进行分析和编码,这部分内容我们会在下一期 SOLO 代码解析里进行详细解读。

SKP_int SKP_Silk_SDK_Encode(
void*encState, /* I/O: State */
const SKP_SILK_SDK_EncControlStruct *encControl, /* I: Control structure */
const SKP_int16 *samplesIn, /* I: Input samples */
SKP_int nSamplesIn, /* I: Number of samples */
SKP_uint8 *outData, /* O: Encoded output */
SKP_int16 *nBytesOut /* I/O: I: Max bytes O:out bytes */
)

高频信息的编码以线性滤波分析为基础,同时为了减少码率,部分依赖于低频信号的残差信息,因此在进行高频信息编码之前,需要通过下述函数提取低频编码信息中的残差信息:
image

SKP_int32 AGR_Bwe_encode_frame_FLP(
AGR_Sate_HB_encoder_control_FLP *hbEncCtrl,
AGR_Sate_encoder_hb_state_FLP *psHBEnc,
NovaBits*bits, /* I bitstream operator */
SKP_float *high,
SKP_int32 *residue,
SKP_int16 *nBytesOut /* I/O: Number of bytes in outData (input: Max bytes) */
)

首先高频信息通过 AGR_Sate_find_HB_LPC_FLP 进行分析得到自身的 8 阶 LPC 系数,并将其转化为编码误差较小的 LSP 系数:

SKP_int32 AGR_Sate_find_HB_LPC_FLP(
AGR_Sate_encoder_hb_state_FLP *psEnc, /* I/O Encoder state FLP */
AGR_Sate_HB_encoder_control_FLP *hbEncCtrl, /* I/O HB Encoder control FLP */
SKP_int32 hb_subfr_length, /* I subframe length */
SKP_int32 hb_lpc_order, /* I high band lpc order */
SKP_int32 first /* I */
)

随后通过 AGR_Sate_lsp_quant_highband 进行双码本量化:

  1. SKP_int32 AGR_Sate_lsp_quant_highband(
  2. SKP_float *lsp, /* I/O lsp coefficients */
  3. SKP_int32 order /* I lpc order */
  4. )

量化后,编码器会将 LSP 系数转化为 1 个 index 来表示:

idx1 =lsp_weight_quant(qlsp, quant_weight1, AGR_Sate_highband_lsp_cdbk1, HB_LSP_CB1,order);
idx2 = lsp_weight_quant(
qlsp, quant_weight2,AGR_Sate_highband_lsp_cdbk2, HB_LSP_CB2, order);
idx = (idx2<<8)+idx1;

随后,该帧被分为 4 个子帧,计算各个子帧的残差信号,并计算其对应窄带残差信号子帧的增益,共计4个,使用单码本量化。量化后的 LSP index 和 gain 使用下述函数写入独立码流。

void AGR_Sate_bits_pack(NovaBits*bits, int data,int nbBits)

其中,LSP index 使用 12 bits 编码,每个子帧 gain 使用 5 bits 编码,所以高频信息的码流共计 12+4*5=32 bits,即 4 bytes,该段码流位于窄带码流之后,和窄带码流中的第二组多描述码流绑定在一起组包。

解码端

解码器可以看做编码器的镜像,解码器收到码流后,首先会通过下述函数解码得到 0-8kHz 采样率的低频信息,这部分也会在下一期 SOLO 代码解析里进行详细解读。

1. `SKP_int SKP_Silk_SDK_Decode(`
2. `void*                               decState,       /* I/O: State                  */`
3. `    SKP_SILK_SDK_DecControlStruct*      decControl,     /* I/O: Control structure      */`
4. `    SKP_int                             lostFlag,       /* I:   0: no loss, 1 loss     */`
5. `const SKP_uint8                     *inData,        /* I:   Encoded input vector   */`
6. `const SKP_int16                     nBytesIn[],     /* I:   Number of input Bytes  */`
7. `    SKP_int16                           *samplesOut,    /* O:   Decoded output         */`
8. `    SKP_int16                           *nSamplesOut    /* I/O: Number of samples      */`
9. `)`

随后,解码器通过下述函数得到低频残差信息以用来解码 8-16kHz 的高频信息。

SKP_int SKP_Silk_SDK_Get_Decoder_Residue(void*decState, SKP_int32 *r)

同时,解码器会使用以下函数来进行高频信息的解码。

SKP_int32 AGR_Bwe_decode_frame_FLP(
AGR_Sate_HB_decoder_control_FLP *hbDecCtrl,
AGR_Sate_decoder_hb_state_FLP *psHBDec,
NovaBits*bits, /* I bitstream operator */
SKP_float *OutHigh,
SKP_int32 *residue_Q10,
SKP_int32 lostflag /* I lost falg */
)

该函数内的处理整体上可以分成两种 case,第一种是没有正常接收到包含高频信息的多描述码流,这种情况下会复用上一帧解码出的 LSP index 和子帧增益;如果正常接收到了包含高频信息的多描述码流,则会从 4 bytes 的高频信息中解码、反量化出所需的 LPC 滤波器系数和 4 个子帧增益。
恢复高频信号使用的残差信号是乘上子帧增益后的低频残差信号。使用高频残差再加上高频 LPC 系数,通过以下函数就可以解码得到高频信号。

1. `void AGR_Sate_LPC_synthesizer(`
2. `    SKP_float    *output,            /* O    output signal           */`
3. `    SKP_float    *ipexc,             /* I    excitation signal       */`
4. `    SKP_float    *sLPC,              /* I/O  state vector            */`
5. `    SKP_float    *a_tmp,             /* I    filter coefficients     */`
6. `    SKP_int32    LPC_order,          /* I    filter order            */`
7. `    SKP_int32    subfr_length        /* I    signal length           */`
8. `)`

随后,低频信息和高频信息会进入到以下函数中,进行高低频的合成,函数输出的是 16kHz 采样率的宽带信号。

1. `void AGR_Sate_qmf_synth(`
2. `constspx_word16_t*x1,                       /* I   Low band signal           */`
3. `constspx_word16_t*x2,                       /* I   High band signal          */`
4. `constspx_word16_t*a,                        /* I   Qmf coefficients          */`
5. `spx_word16_t*y,                              /* O   Synthesised signal        */`
6. `    SKP_int32     N,                              /* I   Signal size               */`
7. `    SKP_int32     M,                              /* I   Qmf order                 */`
8. `spx_word16_t*mem1,                           /* I/O Qmf low band state        */`
9. `spx_word16_t*mem2,                           /* I/O Qmf high band state       */`
10. `    SKP_int8     *stack`
11. `)`

至此,解码端就完成了将窄带信号扩展成宽带信号的操作。
如有疑问,可在 RTC 开发者社区与我们交流。

推荐阅读
作者信息
AgoraTechnicalTeam
TA 暂未填写个人简介
文章
108
相关专栏
开源技术
74 文章
本专栏仅用于分享音视频相关的技术文章,与其他开发者和 Agora 研发团队交流、分享行业前沿技术、资讯。发帖前,请参考「社区发帖指南」,方便您更好的展示所发表的文章和内容。