【移动应用开发技术】怎么在Android中实现音频合成功能

【移动应用开发技术】怎么在Android中实现音频合成功能

这期内容当中在下将会给大家带来有关怎么在Android中实现音频合成功能，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。情景一假设A音频40秒，B音频20秒，B音频数据拼接到A音频后面，得到60秒的C音频文件。这种情况最简单了，新建音频文件C，将A音频的PCM数据复制到C音频文件上，再将B音频的PCM数据复制到C音频文件上，然后为C音频写上wav文件头信息，得到可播放的WAV文件。情景二假设A音频40秒，B音频20秒，B音频数据插入到A音频10秒的地方，得到60秒的C音频文件。这种情况稍微复杂点，新建音频文件C，将A音频前10秒的PCM数据复制到C音频文件上，再将B音频的PCM数据复制到C音频文件上，再将A音频后30秒的PCM数据复制到C音频文件上，最后为C音频写上wav文件头信息，得到可播放的WAV文件。情景三假设A音频40秒，B音频20秒，B音频5至15秒的数据插入到A音频10秒的地方，得到50秒的C音频文件。这种情况更复杂，也是最常见的插入场景，裁剪B音频并插入到A音频的某个位置，这里涉及到B音频数据的裁剪，当然原理其实也是简单的，计算出B音频5秒和10秒对应的文件数据位置，然后复制这个区间的数据到C上，针对A文件的数据，也是同样道理。情景四A音频和B音频中多段数据相互拼接这种情况，原理同上面一样，只要知道指定时间对应的数据是什么，就可以实现自由拼接了。音频拼接的实现参考我的Github项目AudioEdit，这里我就不贴具体代码了。音频混合音频混合是指一段音频和另一段音频合在一起，能够同时播放，比如最常见的人声录音和背景音乐的合成，可以得到一首人声歌曲。音频混合的原理是音频混合原理:量化的语音信号的叠加等价于空气中声波的叠加。音频混合原理:量化的语音信号的叠加等价于空气中声波的叠加。也就是说将输入的每段音频的某个时间点的采样点数值进行相加，即可将声音信号加入到输出的音频中。音频采样点数值的大小是（-32768，32767），对应short的最小值和最大值，音频采样点数据就是由一个个数值组成的的。如果单纯叠加，可能会造成相加后的值会大于32767，超出short的表示范围，也就是溢出，所以在音频混合上回采用一些算法进行处理。下面列举下简单的混合方式。直接叠加法A（A1,A2,A3,A4）和B（B1,B2,B3,B4）叠加后求平均值，得到C（（A1+B1）,（A2+B2）,（A3+B3）,（A4+B4））这种情况，输出的音频中A和B音频数据都可以以相同声音大小播放，但是可能出现溢出的情况。假设A音频指定时间点的某段采样数据是（23,67,511,139,307），B音频对应该时间点的采样数据是（1101,300,47,600,22），那么两者直接叠加的话，得到的采样数据是（1124,367,558,739,329），这个短采样数据就是两者声音混合的数据了。叠加后求平均值A（A1,A2,A3,A4）和B（B1,B2,B3,B4）叠加后求平均值，得到C（（A1+B1）/2,（A2+B2）/2,（A3+B3）/2,（A4+B4）/2）这样可以避免出现溢出的情况，但是会出现两者声音会比之前单独的声音小了一半，比如人声和背景音乐混合，导致输出的音频中，人声小了一半，背景音乐也小了一半，这种情况可能就不是想要的效果，特别是多段音频混合的情况。权值叠加法A（A1,A2,A3,A4）和B（B1,B2,B3,B4）权值叠加，A权值为x，B权值为y，得到C（（A1*x+B1*y）,（A2*x+B2*y）,（A3*x+B3*y）,（A4*x+B4*y））这样可以更方便条件A和B的音量的大小，比如A的权值为1.2，B的权值为0.8，那么A的声音相对提高了，B的声音相对减弱了。严格来说，直接叠加法和叠加求平均值法都属于该类型。此外还有各种更复杂的混合算法，如动态权值法，A和B的权值会根据当前时刻采样点数值的大小进行动态变化，得到一个动态增益和衰减的混合方式。下面是直接叠加法的实现，需要注意short值要按大端存储的方式计算，存储时按大端方式存储。

/**

*

叠加合成器

*

@author

Darcy

*/

private

static

class

AddAudioMixer

extends

MultiAudioMixer{

@Override

public

byte[]

mixRawAudioBytes(byte[][]

bMulRoadAudioes)

{

if

(bMulRoadAudioes

==

null

||

bMulRoadAudioes.length

==

0)

return

null;

byte[]

realMixAudio

=

bMulRoadAudioes[0];

if(bMulRoadAudioes.length

==

1)

return

realMixAudio;

for(int

rw

=

0

;

rw

<

bMulRoadAudioes.length

;

++rw){

if(bMulRoadAudioes[rw].length

!=

realMixAudio.length){

Log.e("app",

"column

of

the

road

of

audio

+

"

+

rw

+"

is

diffrent.");

return

null;

}

}

//row

代表参与合成的音频数量

//column

代表一段音频的采样点数，这里所有参与合成的音频的采样点数都是相同的

int

row

=

bMulRoadAudioes.length;

int

coloum

=

realMixAudio.length

/

2;

short[][]

sMulRoadAudioes

=

new

short[row][coloum];

//PCM音频16位的存储是大端存储方式，即低位在前，高位在后，例如(X1Y1,

X2Y2,

X3Y3)数据，它代表的采样点数值就是(（Y1

*

256

+

X1）,

（Y2

*

256

+

X2）,

（Y3

*

256

+

X3）)

for

(int

r

=

0;

r

<

row;

++r)

{

for

(int

c

=

0;

c

<

coloum;

++c)

{

sMulRoadAudioes[r][c]

=

(short)

((bMulRoadAudioes[r][c

*

2]

&

0xff)

|

(bMulRoadAudioes[r][c

*

2

+

1]

&

0xff)

<<

8);

}

}

short[]

sMixAudio

=

new

short[coloum];

int

mixVal;

int

sr

=

0;

for

(int

sc

=

0;

sc

<

coloum;

++sc)

{

mixVal

=

0;

sr

=

0;

//这里采取累加法

for

(;

sr

<

row;

++sr)

{

mixVal

+=

sMulRoadAudioes[sr][sc];

}

//最终值不能大于short最大值，因此可能出现溢出

sMixAudio[sc]

=

(short)

(mixVal);

}

//short值转为大端存储的双字节序列

for

(sr

=

0;

sr

<

coloum;

++sr)

{

realMixAudio[sr

*

2]

=

(byte)

(sMixAudio[sr]

&

0x00FF);

realMixAudio[sr

*

2

+

1]

=

(byte)

((sMixAudio[sr]

&

0xFF00)

>>

8);

}

return

realMixAudio;

}

}注意事项音频的拼接和混音，有一些是需要注意和处理的。1.需要确保A音频和B音频的采样位数一致。例如A音频是16位采样位数，B音频是8位采样位数，那么这时是不能直接拼接的，需要转换成相同的采样位数，才能做后续操作。2.需要确保A音频和B音频的采样率一致。这个在录音和歌曲拼接时要特别注意，假如录音的音频频率是16000，歌曲的音频是44100，那么两者也是不能直接拼接的，需要转换成相同的采样率，转换采样率可以使用resample库。3.需要确保A音频和B音频的声道数一致。当然这个并不是指单声道和双声道的音频不能合成了，事实上录音音频通常是单声道的，而歌曲通常是双声道的。单声道和双声道音频合成，一般是按双声道为基准，需要将单声道音频转换成双声道音频，转换原理也简单，将单声道的采样点数据多复制一份，比如将单声道的ABCD数据转换成双声道的AABBCCDD数据。那么我们可能会有疑问，如果A音频和B音频的采样率位数，