OP-TEE驅動篇----驅動編譯，加載和初始化（一）【轉】

轉自：https://blog.csdn.net/shuaifengyun/article/details/72934531

    歷經一年多時間的系統整理合補充，《手機安全和可信應用開發指南:TrustZone與OP-TEE技術詳解 》一書得以出版，書中詳細介紹了TEE以及系統安全中的所有內容，全書按照從硬件到軟件，從用戶空間到內核空間的順序對TEE技術詳細闡述，讀者可從用戶空間到TEE內核一步一步了解系統安全的所有內容，同時書中也提供了相關的示例代碼，讀者可根據自身實際需求開發TA。目前該書已在天貓、京東、當當同步上線，鏈接如下(麻煩書友購書時能給予評論，多謝多謝)：

京東購買地址

當當購買地址

天貓購買地址

非常感謝在此期間大家的支持以及各位友人的支持和幫助！！！。

為方便和及時的回復讀者對書中或者TEE相關的問題的疑惑，也為了大家能有一個統一的交流平台。我搭建了一個簡單的論壇，網址如下：

https://www.huangtengxq.com/discuz/forum.php

關於您的疑問可在“相關技術討論“”中發帖，我會逐一回復。也歡迎大家發帖，一起討論TEE相關的一些有意思的feature。共同交流。同時該論壇中也會添加關於移動端虛擬化的相關技術的板塊，歡迎各位共同交流學習

　

　OP-TEE驅動主要作用是REE與TEE端進行數據交互的橋梁作用。tee_supplicant和libteec調用接口之后幾乎都會首先通過系統調用陷入到kernel space，然后kernel根據傳遞的參數找到OP-TEE驅動，並命中驅動的operation結構體中的具體處理函數來完成實際的操作，對於OP-TEE驅動，一般都會觸發SMC調用，並帶參數進入到ARM cortex的monitor模式，在monitor模式中對執行normal world和secure world的切換，待狀態切換完成之后，會將驅動端帶入的參數傳遞給OP-TEE中的thread進行進一步的處理。OP-TEE驅動的源代碼存放在linux/drivers/tee目錄中，其內容如下；

1. OP-TEE驅動的加載

　　OP-TEE驅動的加載過程分為兩部分，第一部分是創建class和分配設備號，第二部分就是probe過程。在正式介紹之前首先需要明白兩個linux kernel中加載驅動的函數：subsys_initcall和module_init函數。OP-TEE驅動的第一部分是調用subsys_initcall函數來實現，而第二部分則是調用module_init來實現。整個OP-TEE驅動的初始化流程圖如下圖所示：

1.1 OP-TEE驅動模塊的編譯后的存放位置和加載過程

　　OP-TEE驅動通過subsys_initcall和module_init宏來告知系統在初始化的什么時候去加載OP-TEE驅動，subsys_initcall定義在linux/include/init.h文件中，內容如下：

 

1.  
   #define __define_initcall(fn, id) \
2.  
   static initcall_t __initcall_##fn##id __used \
3.  
   __attribute__((__section__(".initcall" #id ".init"))) = fn;
4.  
    
5.  
   #define core_initcall(fn) __define_initcall(fn, 1)
6.  
   #define core_initcall_sync(fn) __define_initcall(fn, 1s)
7.  
   #define postcore_initcall(fn) __define_initcall(fn, 2)
8.  
   #define postcore_initcall_sync(fn) __define_initcall(fn, 2s)
9.  
   #define arch_initcall(fn) __define_initcall(fn, 3)
10.  
    #define arch_initcall_sync(fn) __define_initcall(fn, 3s)
11.  
    #define subsys_initcall(fn) __define_initcall(fn, 4)
12.  
    #define subsys_initcall_sync(fn) __define_initcall(fn, 4s)
13.  
    #define fs_initcall(fn) __define_initcall(fn, 5)
14.  
    #define fs_initcall_sync(fn) __define_initcall(fn, 5s)
15.  
    #define rootfs_initcall(fn) __define_initcall(fn, rootfs)
16.  
    #define device_initcall(fn) __define_initcall(fn, 6)
17.  
    #define device_initcall_sync(fn) __define_initcall(fn, 6s)
18.  
    #define late_initcall(fn) __define_initcall(fn, 7)
19.  
    #define late_initcall_sync(fn) __define_initcall(fn, 7s)

　　使用subsys_initcall宏定義的函數最終會被編譯到.initcall4.init段中，linux系統在啟動的時候會執行initcallx.init段中的所有內容，而使用subsys_initcall宏定義段的執行優先級為4.

 

module_init的定義和相關擴展在linux/include/linux/module.h文件和linux/include/linux/init.h中，內容如下：

 

1.  
   #define device_initcall(fn) __define_initcall(fn, 6)
2.  
   #define __initcall(fn) device_initcall(fn)
3.  
   #define module_init(x) __initcall(x);

　　由此可見，使用module_init宏構造的函數將會在編譯的時候被編譯到initcall6.init段中，該段在linux系統啟動的過程中的優先等級為6.

 

　　結合上述兩點看，在系統加載OP-TEE驅動的時候，首先會執行OP-TEE驅動中使用subsys_init定義的函數，然后再執行使用module_init定義的函數。在OP-TEE驅動源代碼中使用subsys_init定義的函數為tee_init，使用module_init定義的函數為optee_driver_init。

1.2 tee_init函數初始化設備號和class

　　該函數定義在linux/drivers/tee/tee_core.c文件中，主要完成class的創建和設備號的分配，其內容如下：

1.  
   static int __init tee_init(void)
2.  
   {
3.  
   int rc;
4.  
    
5.  
   /* 分配OP-TEE驅動的class */
6.  
   tee_class = class_create(THIS_MODULE, "tee");
7.  
   if (IS_ERR(tee_class)) {
8.  
   pr_err( "couldn't create class\n");
9.  
   return PTR_ERR(tee_class);
10.  
    }
11.  
     
12.  
    /* 分配OP-TEE的設備號 */
13.  
    rc = alloc_chrdev_region(&tee_devt, 0, TEE_NUM_DEVICES, "tee");
14.  
    if (rc) {
15.  
    pr_err( "failed to allocate char dev region\n");
16.  
    class_destroy(tee_class);
17.  
    tee_class = NULL;
18.  
    }
19.  
     
20.  
    return rc;
21.  
    }

設備號和class將會在驅動執行probe的時候被使用到

 

1.3 optee_driver_init函數執行

　　linux啟動過程中會執行moudule_init宏定義的函數，在OP-TEE驅動的掛載過程中將會執行optee_driver_init函數，該函數定義在linux/drivers/tee/optee/core.c文件中，其內容如下：

1.  
   static int __init optee_driver_init(void)
2.  
   {
3.  
   struct device_node *fw_np;
4.  
   struct device_node *np;
5.  
   struct optee *optee;
6.  
    
7.  
   /* Node is supposed to be below /firmware */
8.  
   /* 從device tree中查找到firware的節點 */
9.  
   fw_np = of_find_node_by_name( NULL, "firmware");
10.  
    if (!fw_np)
11.  
    return -ENODEV;
12.  
     
13.  
    /* 匹配device tree中firmware節點下節點為linaro,optee-tz內容的節點 */
14.  
    np = of_find_matching_node(fw_np, optee_match);
15.  
    of_node_put(fw_np);
16.  
    if (!np)
17.  
    return -ENODEV;
18.  
     
19.  
    /* 使用查找到的節點執行OP-TEE驅動的probe操作 */
20.  
    optee = optee_probe(np);
21.  
    of_node_put(np);
22.  
     
23.  
    if (IS_ERR(optee))
24.  
    return PTR_ERR(optee);
25.  
    /* 保存初始化完成之后OP-TEE的設備信息到optee_svc中，以備在卸載的是使用 */
26.  
    optee_svc = optee;
27.  
     
28.  
    return 0;
29.  
    }

 

2. OP-TEE驅動初始化時的probe操作

　　OP-TEE驅動在optee_driver_init函數來完成probe操作。該函數首先會通過device tree找到OP-TEE驅動設備信息，然后將獲取到的信息傳遞給optee_probe函數執行probe操作。optee_probe函數內容如下：

 

 

1.  
   static struct optee *optee_probe(struct device_node *np)
2.  
   {
3.  
   optee_invoke_fn *invoke_fn;
4.  
   struct tee_shm_pool *pool;
5.  
   struct optee *optee = NULL;
6.  
   void *memremaped_shm = NULL;
7.  
   struct tee_device *teedev;
8.  
   u32 sec_caps;
9.  
   int rc;
10.  
     
11.  
    /* 獲取OP-TEE驅動在device tree中節點描述內容中定義的執行切換到monitor模式的接口 */
12.  
    invoke_fn = get_invoke_func(np);
13.  
    if (IS_ERR(invoke_fn))
14.  
    return (void *)invoke_fn;
15.  
     
16.  
    /* 調用到secure world中獲取API的版本信息是否匹配 */
17.  
    if (!optee_msg_api_uid_is_optee_api(invoke_fn)) {
18.  
    pr_warn( "api uid mismatch\n");
19.  
    return ERR_PTR(-EINVAL);
20.  
    }
21.  
     
22.  
    /* 調用到secure world中獲取版本信息檢查是否匹配 */
23.  
    if (!optee_msg_api_revision_is_compatible(invoke_fn)) {
24.  
    pr_warn( "api revision mismatch\n");
25.  
    return ERR_PTR(-EINVAL);
26.  
    }
27.  
     
28.  
    /* 調用到secure world中獲取secure world是否reserved share memory */
29.  
    if (!optee_msg_exchange_capabilities(invoke_fn, &sec_caps)) {
30.  
    pr_warn( "capabilities mismatch\n");
31.  
    return ERR_PTR(-EINVAL);
32.  
    }
33.  
     
34.  
    /*
35.  
    * We have no other option for shared memory, if secure world
36.  
    * doesn't have any reserved memory we can use we can't continue.
37.  
    */
38.  
    /* 判定sercure world中是否reserve了share memory，如果沒有則報錯 */
39.  
    if (!(sec_caps & OPTEE_SMC_SEC_CAP_HAVE_RESERVED_SHM))
40.  
    return ERR_PTR(-EINVAL);
41.  
     
42.  
    /* 配置secure world與驅動之間的share memory，並進行地址映射建立共享內存池 */
43.  
    pool = optee_config_shm_memremap(invoke_fn, &memremaped_shm);
44.  
    if (IS_ERR(pool))
45.  
    return (void *)pool;
46.  
     
47.  
    /* 在kernel space內存空間中分配一塊內存用於存放OP-TEE驅動的結構體變量 */
48.  
    optee = kzalloc( sizeof(*optee), GFP_KERNEL);
49.  
    if (!optee) {
50.  
    rc = -ENOMEM;
51.  
    goto err;
52.  
    }
53.  
     
54.  
    /* 將驅動用於實現進入monitor模式的接口賦值到optee結構體中的invoke_fn成員中 */
55.  
    optee->invoke_fn = invoke_fn;
56.  
     
57.  
    /* 分配設備信息，填充被libteec使用的驅動文件信息和operation結構體並創建/dev/tee0文
58.  
    件,libteec將會使用該文件來使用op-tee驅動 */
59.  
    teedev = tee_device_alloc(&optee_desc, NULL, pool, optee);
60.  
    if (IS_ERR(teedev)) {
61.  
    rc = PTR_ERR(teedev);
62.  
    goto err;
63.  
    }
64.  
    optee->teedev = teedev; //libteec使用的驅動文件信息填充到optee中的teedev成員中
65.  
     
66.  
    /* 分配設備信息，填充被tee_supplicant使用的驅動文件信息和operation結構體並創
67.  
    建/dev/teepriv0文件,tee_supplicant將會使用該文件來使用op-tee驅動 */
68.  
    teedev = tee_device_alloc(&optee_supp_desc, NULL, pool, optee);
69.  
    if (IS_ERR(teedev)) {
70.  
    rc = PTR_ERR(teedev);
71.  
    goto err;
72.  
    }
73.  
    //將tee_supplicant使用的驅動文件信息填充到optee中的supp_teedev成員中
74.  
    optee->supp_teedev = teedev;
75.  
     
76.  
    /* 將被libteec使用的設備信息注冊到系統設備中 */
77.  
    rc = tee_device_register(optee->teedev);
78.  
    if (rc)
79.  
    goto err;
80.  
     
81.  
    /* 將被tee_supplicant使用的設備信息注冊到系統設備中 */
82.  
    rc = tee_device_register(optee->supp_teedev);
83.  
    if (rc)
84.  
    goto err;
85.  
     
86.  
    mutex_init(&optee->call_queue.mutex);
87.  
    INIT_LIST_HEAD(&optee->call_queue.waiters);
88.  
     
89.  
    /* 初始化RPC操作隊列 */
90.  
    optee_wait_queue_init(&optee->wait_queue);
91.  
     
92.  
    /* 初始化被tee_supplicant用到的用於存放來自TA的請求的隊列 */
93.  
    optee_supp_init(&optee->supp);
94.  
     
95.  
    /* 填充optee中的共享內存地址信息和共享內存池信息成員 */
96.  
    optee->memremaped_shm = memremaped_shm;
97.  
    optee->pool = pool;
98.  
     
99.  
    /* 使能共享內存的cache */
100.  
     optee_enable_shm_cache(optee);
101.  
      
102.  
     pr_info( "initialized driver\n");
103.  
     return optee;
104.  
     err:
105.  
     if (optee) {
106.  
     /*
107.  
     * tee_device_unregister() is safe to call even if the
108.  
     * devices hasn't been registered with
109.  
     * tee_device_register() yet.
110.  
     */
111.  
     tee_device_unregister(optee->supp_teedev);
112.  
     tee_device_unregister(optee->teedev);
113.  
     kfree(optee);
114.  
     }
115.  
     if (pool)
116.  
     tee_shm_pool_free(pool);
117.  
     if (memremaped_shm)
118.  
     memunmap(memremaped_shm);
119.  
     return ERR_PTR(rc);
120.  
     }

 

2.1 獲取切換到monitor模式的接口

 

　　normal world穿透到secure world是通過在monitor模式下設定SCR寄存器中的NS位來實現的，OP-TEE驅動被上層調用時，最終會通過出發smc切換到monitor，見數據發送給secure world來進行處理。而用戶出發smc請求的接口函數將在驅動初始化的時候被填充到OP-TEE驅動的device info中，在OP-TEE驅動中通過調用get_invoke_func函數來獲取，該函數的內如如下：

 

1.  
   static optee_invoke_fn *get_invoke_func(struct device_node *np)
2.  
   {
3.  
   const char *method;
4.  
    
5.  
   pr_info( "probing for conduit method from DT.\n");
6.  
    
7.  
   /* 獲取op-tee驅動在device tree中的節點中的method屬性的值 */
8.  
   if (of_property_read_string(np, "method", &method)) {
9.  
   pr_warn( "missing \"method\" property\n");
10.  
    return ERR_PTR(-ENXIO);
11.  
    }
12.  
     
13.  
    /* 判定op-tee驅動是使用smc的方式還是使用hvc的方式來實現進入monitor模式的操作，
14.  
    根據method的值與hvc還是smc匹配來決定那種切換方法，並將用於切換到monitor的
15.  
    接口 */
16.  
    if (!strcmp("hvc", method))
17.  
    return optee_smccc_hvc;
18.  
    else if (!strcmp("smc", method))
19.  
    return optee_smccc_smc;
20.  
     
21.  
    pr_warn( "invalid \"method\" property: %s\n", method);
22.  
    return ERR_PTR(-EINVAL);
23.  
    }

以optee_smccc_smc為例，該函數的內容如下：

 

 

1.  
   static void optee_smccc_smc(unsigned long a0, unsigned long a1,
2.  
   unsigned long a2, unsigned long a3,
3.  
   unsigned long a4, unsigned long a5,
4.  
   unsigned long a6, unsigned long a7,
5.  
   struct arm_smccc_res *res)
6.  
   {
7.  
   arm_smccc_smc(a0, a1, a2, a3, a4, a5, a6, a7, res);
8.  
   }

　　也即是函數get_invoke_func執行完成之后會返回arm_smccc_smc函數的地址。arm_smccc_smc函數就是驅動用來將cortex切換到monitor模式的函數，該函數是以匯編的方式編寫，定義在linux/arch/arm/kernel/smccc-call.S文件中。如果是64位系統，則該函數定義在linux//arch/arm64/kernel/smccc-call.S目錄中，本文以32位系統為例，該函數內容如下：

1.  
   /*
2.  
   * Wrap c macros in asm macros to delay expansion until after the
3.  
   * SMCCC asm macro is expanded.
4.  
   */
5.  
   /*SMCCC_SMC宏,觸發smc*/
6.  
   .macro SMCCC_SMC
7.  
   __SMC( 0)
8.  
   .endm
9.  
    
10.  
    /*SMCCC_HVC宏,觸發hvc*/
11.  
    .macro SMCCC_HVC
12.  
    __HVC( 0)
13.  
    .endm
14.  
     
15.  
    /* 定義SMCCC宏，其參數為instr */
16.  
    .macro SMCCC instr
17.  
    /* 將normal world中的寄存器入棧，保存現場 */
18.  
    UNWIND( .fnstart)
19.  
    mov r12, sp
20.  
    push {r4-r7}
21.  
    UNWIND( .save {r4-r7})
22.  
    ldm r12, {r4-r7}
23.  
    \instr /* 執行instr參數的內容，即執行smc切換 */
24.  
    pop {r4-r7} /* 出棧操作，恢復現場 */
25.  
    ldr r12, [sp, #( 4 * 4)]
26.  
    stm r12, {r0-r3}
27.  
    bx lr
28.  
    UNWIND( .fnend)
29.  
    .endm
30.  
     
31.  
    /*
32.  
    * void smccc_smc(unsigned long a0, unsigned long a1, unsigned long a2,
33.  
    * unsigned long a3, unsigned long a4, unsigned long a5,
34.  
    * unsigned long a6, unsigned long a7, struct arm_smccc_res *res)
35.  
    */
36.  
    ENTRY(arm_smccc_smc)
37.  
    SMCCC SMCCC_SMC
38.  
    ENDPROC(arm_smccc_smc)

 

2.2 校驗API的UID和OP-TEE的版本信息

 

　　驅動加載過程中獲取到REE與TEE之間進行交互的接口函數(調用get_invoke_func函數返回的函數地址)之后，op-tee驅動會對API的UID和版本信息進行校驗。上述操作是通過調用optee_msg_api_uid_is_optee_api函數和optee_msg_api_revision_is_compatible函數來實現的。兩個函數的內容如下：

1.  
   static bool optee_msg_api_uid_is_optee_api(optee_invoke_fn *invoke_fn)
2.  
   {
3.  
   struct arm_smccc_res res;
4.  
    
5.  
   /* 調用執行smc操作的接口函數，帶入的commond ID為OPTEE_SMC_CALLS_UID */
6.  
   invoke_fn(OPTEE_SMC_CALLS_UID, 0, 0, 0, 0, 0, 0, 0, &res);
7.  
    
8.  
   /* 比較返回的UID的值與在驅動中定義的UID的值是否匹配 */
9.  
   if (res.a0 == OPTEE_MSG_UID_0 && res.a1 == OPTEE_MSG_UID_1 &&
10.  
    res.a2 == OPTEE_MSG_UID_2 && res.a3 == OPTEE_MSG_UID_3)
11.  
    return true;
12.  
    return false;
13.  
    }
14.  
     
15.  
    static bool optee_msg_api_revision_is_compatible(optee_invoke_fn *invoke_fn)
16.  
    {
17.  
    union {
18.  
    struct arm_smccc_res smccc;
19.  
    struct optee_smc_calls_revision_result result;
20.  
    } res;
21.  
     
22.  
    /* 調用執行smc操作的接口函數，帶入的commond ID為OPTEE_SMC_CALLS_REVISION*/
23.  
    invoke_fn(OPTEE_SMC_CALLS_REVISION, 0, 0, 0, 0, 0, 0, 0, &res.smccc);
24.  
     
25.  
    /* 比較返回的版本信息的值與驅動中定義的版本值是否匹配 */
26.  
    if (res.result.major == OPTEE_MSG_REVISION_MAJOR &&
27.  
    ( int)res.result.minor >= OPTEE_MSG_REVISION_MINOR)
28.  
    return true;
29.  
    return false;
30.  
    }

 

 

 

2.3 判定secure world是否預留了驅動與secure world之間的共享內存空間

 

　　驅動與secure world之間需要進行數據的交互，而進行數據交互則需要一定的共享內存來保存sercure world和驅動之間共有的數據。所以在驅動初始化的時候需要檢查該共享內存空間是否被預留出來。通過獲取secure world中的相關變量的值並判定該flag是否相等來判定secure world是否預留了共享內存空間，在OP-TEE OS啟動的時候，執行MMU初始化的時候會初始化該變量。在驅動端通過調用optee_msg_exchange_capabilities函數來獲取該變量的值，其內容如下：

1.  
   static bool optee_msg_exchange_capabilities(optee_invoke_fn *invoke_fn,
2.  
   u32 *sec_caps)
3.  
   {
4.  
   union {
5.  
   struct arm_smccc_res smccc;
6.  
   struct optee_smc_exchange_capabilities_result result;
7.  
   } res;
8.  
   u32 a1 = 0;
9.  
    
10.  
    /*
11.  
    * TODO This isn't enough to tell if it's UP system (from kernel
12.  
    * point of view) or not, is_smp() returns the the information
13.  
    * needed, but can't be called directly from here.
14.  
    */
15.  
    if (!IS_ENABLED(CONFIG_SMP) || nr_cpu_ids == 1)
16.  
    a1 |= OPTEE_SMC_NSEC_CAP_UNIPROCESSOR;
17.  
     
18.  
    /* 調用smc操作接口，獲取secure world中的變量 */
19.  
    invoke_fn(OPTEE_SMC_EXCHANGE_CAPABILITIES, a1, 0, 0, 0, 0, 0, 0,
20.  
    &res.smccc);
21.  
     
22.  
    if (res.result.status != OPTEE_SMC_RETURN_OK)
23.  
    return false;
24.  
     
25.  
    *sec_caps = res.result.capabilities; //將返回值中的變量賦值為sec_caps
26.  
    return true;
27.  
    }

　　當驅動獲取到sec_caps的值之后會查看該值是否為宏OPTEE_SMC_SEC_CAP_HAVE_RESERVED_SHM定義的值BIT(0)，如果該值不為BIT(0)，則會報錯，因為在secure world端都沒有預留share memory空間，那驅動與secure world之間也就沒法傳輸數據，所以有沒有驅動也就沒有必要了。

 

下一章節將介紹驅動與secure world之間share memory的配置，共享池的設置以及OP-TEE驅動加載的剩下部分