Android audio介紹

開始這篇文章之前，需要先了解<Linux音頻編程>

1. 架構

在Android中，audio以分層的方式實現，從上到下依次為

- 應用框架: 提供android.media API

音頻管理器: AudioManager
音頻采集: MediaRecoder, AudioRecord
音頻播放: SoundPool, MediaPlayer, AudioTrack
音頻編解碼: MediaCodec

- JNI: 通過調用libmedia庫實現android.media所需的接口，在libandroid_runtime.so中體現
…
- HAL層: 實現audio_hw_device和audio_policy_hal, 實現與ALSA的音頻接口, 實現音頻路徑的創建和連接

2. Audio HAL

Audio HAL架構使用的是比較復雜，混合了HIDL和Legacy HAL，筆者看的也是一頭霧水
可參考<Android O Treble架構下Hal進程啟動及HIDL服務注冊過程>

2.1 HAL接口

Audio HAL提供的接口(以2.0為例)主要包括

// 音頻設備
IDevice.hal
  |- initCheck()
  |- setMasterVolume(float): 設置除voice call外其他音頻活動的音量
  |- getMasterVolume():      獲取主音量
  |- setMicMute(bool):       設置麥克風靜音狀態
  |- getMicMute():           獲取麥克風靜音狀態
  |- setMasterMute(bool):    設置靜音狀態
  |- getMasterMute(bool):    獲取靜音狀態
  |- getInputBufferSize(AudioConfig): 獲取音頻輸入緩沖區大小
  |- openOutputStream(*):    創建和打開音頻硬件輸出流
  |- openInputStream(*):     創建和打開音頻硬件輸入流
  |- supportsAudioPatches(): 判斷HAL是否支持AudioPatch
  |- createAudioPatch(*):    為SRC和SINK創建AudioPatch
  |- releaseAudioPatch(*):   釋放一個AudioPatch
  |- getAudioPort(*):        獲取指定音頻端口屬性
  |- setAudioPortConfig(*):  配置音頻端口
  |- getHwAvSync():          獲取設備的硬件同步源
  |- setScreenState(bool):   設置屏幕狀態
  |- getParameters(vec<string>): 獲取廠商定義的參數值
  |- setParameters(vec<ParameterValue>): 設置廠商定義的參數值

// 音頻代理
IDevicesFactory.hal
  |- openDevice(Device):     打開一個音頻設備

// 主音頻設備
IPrimaryDevice.hal
  |- setMasterVolume(float): 設置voice call音量
  |- setMode(AudioMode):     設置音頻模式
  |- getBtScoNrecEnabled():  獲取藍牙ECNR使能狀態
  |- setBtScoNrecEnabled():  設置藍牙ECNR使能狀態
  |- getBtScoWidebandEnabled():     獲取藍牙Wideband使能狀態
  |- setBtScoWidebandEnabled(bool): 設置藍牙Wideband使能狀態
  |- getTtyMode():           獲取當前TTY模式
  |- setTtyMode():           設置當前TTY模式
  |- getHacEnabled():        獲取HearingAid使能狀態
  |- setHacEnabled():        設置HearingAid使能狀態

// 音頻流
IStream.hal
  |- getFrameSize():         獲取幀大小
  |- getFrameCount():        獲取緩沖區幀數
  |- getBufferSize():        獲取流的緩沖區大小
  |- getSampleRate():        獲取采樣率(Hz)
  |- getSupportedSampleRates():  獲取流支持的支持的采樣率(Hz)
  |- setSampleRate(uint32_t):    設置流的采樣率
  |- getChannelMask():       獲取流的channel mask
  |- getSupportedChannelMasks(): 獲取流支持的channel mask
  |- setChannelMask():       獲取流的channel mask
  |- getFormat():            獲取流的音頻格式
  |- getSupportedFormats():  獲取流支持的音頻格式
  |- setFormat():            設置流的音頻格式
  |- getAudioProperties():   獲取流參數
  |- addEffect():            添加音效到流
  |- removeEffect(uint64_t): 從流上停止某音效
  |- standby(uint64_t):      讓硬件輸入輸出進入standby模式
  |- getDevice():            獲取流連接的設備
  |- setDevice():            連接設置到流
  |- setConnectedState():    通知設備連接狀態
  |- setHwAvSync(AudioHwSync):   設置硬件同步源
  |- getParameters(vec<string>): 獲取廠商參數
  |- setParameters(vec<ParameterValue>):  設置廠商參數
  |- start():                開始流操作(mmap模式)
  |- stop():                 停止流操作
  |- createMmapBuffer():     獲取audio mmap緩沖區信息
  |- getMmapPosition():      讀取audio mmap緩沖區讀寫位置
  |- close():                關閉和釋放流

// 音頻輸入流
IStreamIn.hal
  |- getAudioSource():       獲取輸入流的source描述
  |- setGain():              設置音頻驅動的輸入增益
  |- prepareForReading():    設置必需的傳輸層以從驅動接收音頻緩沖區
  |- getInputFramesLost():   獲取丟失的輸入幀的數量
  |- getCapturePosition():   獲取接收到的音頻幀數與時鍾時間。

// 音頻輸出流
IStreamOut.hal
  |- getLatency():           獲取硬件傳輸延遲(毫秒)
  |- setVolume(float, float):    設置音量, 用於混音后
  |- prepareForWriting():    設置必需的傳輸層將音頻緩沖區傳遞給驅動
  |- getRenderPosition():    獲取音頻DSP寫入DAC的音頻幀數
  |- getNextWriteTimestamp():    獲取下一次寫入音頻驅動時間(微秒)
  |- setCallback():          設置回調接口, 用於非阻塞模式
  |- clearCallback():        清楚回調
  |- supportsPauseAndResume():   HAL是否支持暫停和恢復流
  |- pause():                暫停流
  |- resume():               恢復流
  |- supportsDrain():        ???
  |- drain():                ???
  |- flush():                刷新流
  |- getPresentationPosition():  獲取音頻幀數

// 音頻輸入流回調
IStreamOutCallback.hal
  |- onWriteReady():         非阻塞寫入已完成
  |- onDrainReady():         Drain(?)完成
  |- onError():              出錯

2.2 HIDL服務

/*
 * Code:   hardware/interfaces/audio/common/all-versions/default/service/service.cpp
 * Output: /vendor/bin/hw/android.hardware.audio@2.0-service
 */
main()
   // 連接至vndservicemanager
   android::ProcessState::initWithDriver("/dev/vndbinder") 
   android::ProcessState::self()->startThreadPool()

   registerPassthroughServiceImplementation<audio::V4_0::IDevicesFactory>()
   registerPassthroughServiceImplementation<audio::V2_0::IDevicesFactory>()

   registerPassthroughServiceImplementation<audio::effect::V4_0::IEffectsFactory>()
   registerPassthroughServiceImplementation<audio::effect::V2_0::IEffectsFactory>()

   registerPassthroughServiceImplementation<soundtrigger::V2_1::ISoundTriggerHw>()
   registerPassthroughServiceImplementation<soundtrigger::V2_0::ISoundTriggerHw>()

   registerPassthroughServiceImplementation<bluetooth::a2dp::V1_0::IBluetoothAudioOffload>()

   android::hardware::joinRpcThreadpool()

# cat /vendor/etc/init/[e-mail]
service vendor.audio-hal-2-0 /vendor/bin/hw/android.hardware.audio@2.0-service
    class hal
    user audioserver
    oneshot
    interface android.hardware.audio@4.0::IDevicesFactory default
    interface android.hardware.audio@2.0::IDevicesFactory default

# /vendor/etc/vintf/manifest.xml
<manifest version="1.0" type="device" target-level="3">
...
    <hal format="hidl">
        <name>android.hardware.audio</name>
        <transport>hwbinder</transport>
        <version>4.0</version>
        <interface>
            <name>IDevicesFactory</name>
            <instance>default</instance>
        </interface>
    </hal>
...
</manifest>

2.3 libaudiohal

libaudiohal封裝了audio HIDL的接口，以libaudiohal.so的形式供AudioFlinger使用，而libaudiohal又使用了libaudiohal@4.0和libaudiohal@2.0兩個庫

# tree frameworks/av/media/libaudiohal
.
+--- 2.0
|   +--- Android.bp   -- libaudiohal@2.0
+--- 4.0
|   +--- Android.bp   -- libaudiohal@4.0
+--- Android.bp       -- libaudiohal

/*
 * DevicesFactoryHalInterface提供了create和openDevice兩個方法
 */
DevicesFactoryHalInterface::create()
    /*
     * 這里僅僅分析了V2_0版本, V4_0類似
     * 提供了兩種方式來訪問audio hardware
     *   - HIDL:   即DevicesFactoryHalHidl, 用於primary, usb和remote_submix
     *   - Legacy: 即DevicesFactoryHalLocal, 用於a2dp
     */
    new DevicesFactoryHalHybrid()
        new DevicesFactoryHalLocal()
        new DevicesFactoryHalHidl()
            hardware::audio::V2_0::IDevicesFactory::getService()

DevicesFactoryHalInterface::openDevice(char *name, DeviceHalInterface *device)
    DevicesFactoryHalHybrid::openDevice(name, device)
        // 針對hearing_aid和a2dp設備
        DevicesFactoryHalLocal::openDevice(name, device)
            load_audio_interface(name, audio_hw_device_t **dev)
            new DeviceHalLocal(dev)
        // 針對其他設備, 包括primary, usb, remote_submix設備
        DevicesFactoryHalHidl::openDevice(name, device)
            // 獲取HIDL接口名
            nameFromHal(name, IDevicesFactory::Device &)
            IDevicesFactory::openDevice()
                new DeviceHalHidl(IDevice)

/* 這里暫不做分析 */
EffectsFactoryHalInterface::create()

3. Native Audio

3.1 介紹

Native Audio服務在Android N之前存在於mediaserver中，Android N之后以audioserver形式存在

audioserver啟動了兩個Native binder服務

- AudioFlinger:      音頻系統策略的執行者, 負責音頻流設備的管理及音頻流數據的處理傳輸
- AudioPolicyService: 音頻系統策略的制定者, 負責音頻設備切換的策略抉擇、音量調節策略等

值得注意的AudioFlinger和AudioPolicyService提供了binder服務，然后Java層並不是直接使用這些服務，而是Native層將這些binder服務封裝為C++ android::media::*接口，然后通過JNI的方式提供給Jave層使用

// android::media::*  <===> frameworks/av/media/libaudioclient/
// JNI                <===> frameworks/base/core/jni
-----------------------------------------------------
| android::media::* | JNI                           |
-----------------------------------------------------
| AudioSystem.cpp   | android_media_AudioSystem.cpp |
| AudioRecord.cpp   | android_media_AudioRecord.cpp |
| AudioTrack.cpp    | android_media_AudioTrack.cpp  |
-----------------------------------------------------

audioserver的啟動的詳細過程如下

/*
 * frameworks/av/media/audioserver/audioserver.rc
 */
# cat audioserver.rc
service audioserver /system/bin/audioserver
    class core
    user audioserver
    onrestart restart vendor.audio-hal-2-0
    onrestart restart audio-hal-2-0
/*
 * Code:   frameworks/av/media/audioserver/main_audioserver.cpp
 * Output: /system/bin/audioserver
 */
main()
    AudioFlinger::instantiate()
        BinderService::instantiate()
            BinderService::publish()
                IServiceManager sm = defaultServiceManager()
                sm::addService("media.audio_flinger", new AudioFlinger())
                    AudioFlinger::onFirstRef()
                        new PatchPanel(this)
                        gAudioFlinger = this;

    AudioPolicyService::instantiate()
                sm::addService("media.audio_policy", new AudioPolicyService())
                    AudioPolicyService::onFirstRef()
                        // Tone播放線程
                        new AudioCommandThread("ApmTone", this)
                            AudioCommandThread::onFirstRef()
                                Thread::run()
                                    AudioCommandThread::threadLoop()
                        // Audio命令線程
                        new AudioCommandThread("ApmAudio", this)
                        // 輸出命令線程
                        new AudioCommandThread("ApmOutput", this)
                        new AudioPolicyClient(this)
                        createAudioPolicyManager()
                            new AudioPolicyManager(mAudioPolicyClient)
                                AudioPolicyManager::AudioPolicyManager()
                                    /*
                                     * 當定義了USE_XML_AUDIO_POLICY_CONF = 1
                                     * 加載/odm/etc/audio_policy_configuration.xml
                                     *     /vendor/etc/audio_policy_configuration.xml
                                     *     /system/etc/audio_policy_configuration.xml
                                     * 否則加載
                                     *     /system/etc/audio_policy.conf
                                     *     /vendor/etc/audio_policy.conf
                                     */
                                    AudioPolicyManager::loadConfig()
                                        deserializeAudioPolicyXmlConfig()
                                    // FIXME: Do a lot of things
                                    AudioPolicyManager::initialize()
                        new AudioPolicyEffects()
                        new UidPolicy(this)
                        UidPolicy::registerSelf()
    // Oboe Service
    AAudioService::instantiate()
    SoundTriggerHwService::instantiate()

3.2 AudioFlinger

AudioFlinger服務通過binder服務方式提供對外提供了服務

// 接口定義
frameworks/av/include/media/IAudioFlinger.h 

// 實現AudioFlinger本地端
libaudioflinger <==> frameworks/av/services/audioflinger/* 

// 實現AudioFlinger遠程端
libaudioclient <==> frameworks/av/media/libaudioclient/*

AudioFlinger主要提供了如下接口

3.3 AudioPolicyService

// 接口定義
frameworks/av/include/media/IAudioPolicyService.h

// 實現AudioPolicyService本地端
libaudiopolicyservice <==> frameworks/av/services/audiopolicy/* 

// 實現AudioPolicyService遠程端
libaudioclient <==> frameworks/av/media/libaudioclient/*

4. Java Audio

在Java層把Audio從功能上分為三類接口

AudioSystem: API為AudioManager，負責的是Audio系統的綜合管理功能
AudioTrack: 負責音頻數據的輸出，即播放
AudioRecorder: 負責音頻數據的輸出和輸入，即錄制

4.1 AudioService

AudioService由SystemServer啟動，繼承自IAudioService.Stub(通過IAudioService.aidl自動生成的)，AudioService位於IAudioService的Bn端；

AudioManager擁有IAudioService的Bp端，是AudioService在客戶端的一個代理，幾乎所有客戶端對AudioManager進行的請求，最終都會交由AudioService實現

AudioService的功能實現依賴AudioSystem類，AudioSystem是Java層到native層的代理；AudioService將通過AudioSystem與AudioPolicyService以及AudioFlinger進行交互

IAudioService  -   frameworks/base/media/java/android/media/IAudioService.aidl)

SystemServer::startOtherServices()
    SystemServiceManager::startService(AudioService.Lifecycle.class)
        new AudioService()
        AudioService::onStart()
            publishBinderService(Context.AUDIO_SERVICE, new AudioService());
                // 向servicemanager注冊服務
                ServiceManager.addService( , , , )
        AudioService::onBootPhase(SystemService.PHASE_ACTIVITY_MANAGER_READY)
            AudioService::systemReady()
                AudioHandler::handleMessage(MSG_SYSTEM_READY)
                    AudioService::onSystemReady()
                        AudioHandler::onLoadSoundEffects()
                        // Bluetooth releated config
                        AudioService::onIndicateSystemReady()
                            // 位於android_media_AudioSystem.cpp
                            android_media_AudioSystem_systemReady()
                                // 位於AudioSystem.cpp
                                AudioSystem::systemReady()

AudioService主要是作為AudioManager的后端服務存在

@SystemService(Context.AUDIO_SERVICE)
public class AudioManager {
    ...
    private static IAudioService getService()
    {
        if (sService != null) {
            return sService;
        }
        IBinder b = ServiceManager.getService(Context.AUDIO_SERVICE);
        sService = IAudioService.Stub.asInterface(b);
        return sService;
    }
    ...
}

AudioService/AudioManager的功能主要包括下面三個方面

- 音量控制
- 音頻IO設備的管理
- 音頻焦點機制

4.2 AudioTrack

Java層的AudioTrack通過JNI的方式使用android_media_AudioTrack.cpp封裝的接口，然后調用到libaudioclient中的的android::media::AudioTrack

111

4.3 AudioRecord

Java層的AudioRecord通過JNI的方式使用android_media_AudioRecord.cpp封裝的接口

OpenSL ES 和 AAudio

https://www.jianshu.com/p/a676d4d959ae

https://source.android.google.cn/devices/audio/implement

https://blog.csdn.net/Ciellee/article/details/101980726

https://blog.csdn.net/shell812/article/details/73467010

https://www.jianshu.com/p/cf98b3cc6767

https://blog.csdn.net/u013928208/article/details/81667162