1. 概述
截止2021年11月25日，clang9完成sdk/gtest/dsopt模块的编译。
参照下面的脚本下载了所有[TR-16607] clang9交叉编译工具链制作和验证 - Enflame Company JIRA相关的修改，包含merged和当前还是open状态的修改：
怎么从gerrit批量导出详细的patch - 周荣华_Ronghua - enflame wiki
特地说明一下，gerrit的query命令里面不能有括号，所以实际如果存在多个条件的复杂联合时，默认是AND运算，如果想使用OR运算的话，需要把多个可选表达式用OR连接起来。
简单统计了一下，新增3924行代码，删除4164行代码：
PS D:\code> grep "^+[^+]" .\diffrecord.txt |wc 3924 24785 152346 PS D:\code> grep "^-[^-]" .\diffrecord.txt |wc 4164 23159 147430
前期修改的时候，由于打开了-Werr选项，所以有一些是不太重要的告警，由于告警实在太多，后期将-Werr临时先关闭了，只保留了部分特定的Werr选项。
另外，由于tops下面的代码中从大的整型向小的整型隐式转换的非常多，后面还用-Wno-c++11-narrowing临时关闭了相关告警。
2. 问题发现和解决的方法
如果每次发现一个问题之后，修改完之后，再走全量编译，通常非常耗时，下面的方法可以获取单个的编译或者链接命令，便于针对性验证。
2.1. cmake的编译命令获取
cmake有编译字典，在cmake_build(敲cmake命令的目录，可能是其他目录)目录下会生成一个“compile_commands.json”文件，里面记录了所有.c/.cc/.cpp生成.o的目录和完整命令，例如想知道
hlir_utils_test.cc的编译命令，可以用下面的途径获取：
grep hlir_utils_test.cc compile_commands.json "command": "/opt/efb/clang9/bin/clang++ -DLLVM_DISABLE_ABI_BREAKING_CHECKS_ENFORCING -D_GLIBCXX_USE_CXX11_ABI=0 -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/bazel-out/k8-opt/bin/external/sdksrc/include/_virtual_includes/include -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/bazel-out/k8-opt/bin/external/sdksrc/include/_virtual_includes/include/dtu -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/bazel-out/k8-opt/bin/lib/umd/include/_virtual_includes/include -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/bazel-out/k8-opt/bin/external/ef_log/include/_virtual_includes/include -I/home/ronghua.zhou/clang1_build/tops/sdk -I/home/ronghua.zhou/clang1_build/tops/sdk/lib -I/home/ronghua.zhou/clang1_build/tops/sdk/lib/cpu_ops -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/external/llvm-project/llvm/include -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/external/llvm-project/mlir/include -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/external/org_tensorflow -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/external/eigen_archive -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/external/com_google_absl -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/external/com_google_protobuf/src -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/external/dtu_sdk/bazel-bin -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/external/llvm-project/llvm/utils/unittest/googlemock/include -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/external/com_googlesource_code_re2 -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/bazel-out/k8-opt/bin -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/bazel-out/k8-opt/bin/lib -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/bazel-out/k8-opt/bin/external/org_tensorflow -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/bazel-out/k8-opt/bin/external/llvm-project/llvm/include -I/home/ronghua.zhou/clang1_build/tops/../test_sdk_build/execroot/dtu_sdk/bazel-out/k8-opt/bin/external/llvm-project/mlir/include -isystem /home/ronghua.zhou/clang1_build/tops/3rdparty/googletest/include -isystem /home/ronghua.zhou/clang1_build/tops/3rdparty/googletest -O3 -g0 -DNDEBUG -fPIE -m64 -march=x86-64 -mtune=generic -Werror=array-bounds -Werror=empty-body -Werror=format-extra-args -Werror=incompatible-pointer-types -Werror=array-bounds-pointer-arithmetic -Werror=c++-compat -Werror=shift-count-overflow -Werror=sizeof-pointer-memaccess -Werror=for-loop-analysis -Werror=unused-label -Werror=delete-incomplete -Werror=empty-translation-unit -Werror=unused-local-typedef -Werror=gnu-case-range -Werror=mismatched-new-delete -Werror=infinite-recursion -Werror=unreachable-code -Werror=sometimes-uninitialized -Werror=c++14-binary-literal -Werror=implicit-fallthrough -Werror=constant-logical-operand -Werror=exceptions -fcxx-exceptions -Werror=extra-tokens -Werror=format -Werror=format-security -Werror=header-guard -Werror=literal-conversion -Werror=null-conversion -Werror=pointer-bool-conversion -Werror=shift-overflow -Werror=tautological-constant-out-of-range-compare -Werror=tautological-pointer-compare -Werror=varargs -Wdouble-promotion -Wno-error=extern-c-compat -Wall -Wno-c++11-narrowing -Wextra -fsanitize=address -fno-omit-frame-pointer -std=gnu++14 -std=gnu++14 -o sdk/tests/hlir/cc_tests/CMakeFiles/hlir_utils_test.dir hlir_utils_test.cc.o -c /home/ronghua.zhou/clang1_build/tops/sdk/tests/hlir/cc_tests/hlir_utils_test.cc", "file": "/home/ronghua.zhou/clang1_build/tops/sdk/tests/hlir/cc_tests/hlir_utils_test.cc"
2.2. bazel的编译命令获取
•https://github.com/vincent-picaud/Bazel_and_CompileCommands
上面这个开源项目提到可以用–experimental_action_listener=//tools/actions:generate_compile_commands_listener到bazel命令的方式来实现接收编译命令，但我用了几次没有成功，最终改为在编译过程中用原始的ps命令来获取，例如想获取hlir_utils_test.ccbian编译命令可以用下面的命令：
ps -elf |grep hlir_utils_test.cc
另外，bazel命令后面加上-s参数也可以达到获取后续编译命令的效果。
2.3. 链接命令的获取
如果知道链接的具体目标文件，可以参照2.2的方法用ps命令获取，例如要链接libdtu_sdk.so，可以用下面命令获取链接命令：
ps -elf |grep libdtu_sdk.so
如果不清楚链接的具体目标，在链接对象不多的情况下可以用“ps -elf”获取一个全集，从全集里面可以看到很多“ld @/tmp/response-xxx.txt”的进程，将当前所有的/tmp/response*拷贝到别的目录下，研究下这些文件用来链接生成什么目标的，这些文件里面会有完整的链接命令和参数，通过这个文件可以得到链接命令。
3. 实际修改分类
3.1. 编译选项的修改
3.1.1. 增加的选项
-fcxx-exceptions ：因为dsopt使用了异常，clang的异常处理默认关闭，需要打开。
-Wno-c++11-narrowing ：tops下面的代码中从大的整型向小的整型隐式转换的非常多，临时关闭，等各个组件消除了相关问题之后再打开，clang里面把从大整型到小整型的隐式转换当做错误处理。
3.1.2. 删除的选项
-Werror ： 告警实在太多，要求消除所有告警不现实，临时先删除该选项。
3.1.3. 修改的选项
set (CMAKE_CXX_STANDARD 14) ：原来的默认标准是17，和TensorFlow的默认标准14冲突，也和gcc的默认标准14冲突，改成c++14。
-fno-canonical-system-headers ：这个参数仅gcc支持，clang不支持，所以把它从所有编译器都打开，改到仅gcc打开。
3.1.4. bazel的选项说明
bazel的编译选项分copt/cxxopt/conlyopt，其中copt是c和c++公用的选项，cxxopt是仅c++才是用的选项，conlyopt是仅c才有的选项，如果用错了，会出现很多告警。
3.1.5. CMAKE的CMAKE_TOOLCHAIN_FILE变量在rerun的时候，有一定概率会把搜索路径下的工具链配置文件加上全路径，导致直接STREQUAL判断失败
解决方案是用MATCHES代替STREQUAL，通配是否增加全路径的情况：
3.2. 模板相关错误
3.2.1. use 'template' keyword to treat 'cast' as a dependent template name
clang里面对在一个模板实例化后的对象中调用一个需要动态翻译的函数，需要使用template显示说明，否则会报错。参照ISO C++03 14.2/4：
When the name of a member template specialization appears after . or -> in a postfix-expression, or after nested-name-specifier in a qualified-id, and the postfix-expression or qualified-id explicitly depends on a template-parameter (14.6.2), the member template name must be prefixed by the keyword template. Otherwise the name is assumed to name a non-template.
例如hlir的SinkTransposeWithScalarBroadcast类里面调用了mlir::RankedTensorType、mlir::ShapedType的cast方法
注意，如果不是模板实例化的函数，不需要加template，同一个类里面也存在不需要处理的函数调用，例如同一个文件里面的ss对象是非模板实例化的，类型是固定的mlir::Operation*，ss在调用存在多态的cast函数时就不需要使用temple进行前置声明：
mlir::Operation* ss = op.getOperation(); auto new_operand_ty = getTransposedType(operand_ty, prePermutation); auto new_source_ty = getTransposedType(source_ty, prePermutation); auto new_result_ty = getTransposedType( ss->getResult(0).getType().cast<mlir::RankedTensorType>(), prePermutation);
同样的问题也存在于factor模块的factor_profiler_pass.cc中：
3.2.2. 二义性
部分模板实例化的时候，如果同一个调用用模板函数A和模板函数B都能正常匹配到，clang会报二义性错误，gcc不报错。
例如下面的EraseHelp，原来的版本定义了两种原型，其实对存在多个模板类型需要使用TypeSequence进行原型定义的时候，编译器其实不知道是该先把Last抽出来计算，还是先把Inner抽出来计算，如果这2个函数的实现逻辑不一样的话，在gcc里面居然没报错，不知道是随机找到一个匹配的原型就调用，还是用第一个或者最后一个原型来调用。
constexpr static auto EraseHelp(TypeSequence<Left...>, TypeSequence<Last>);
constexpr static auto EraseHelp(TypeSequence<Left...>, TypeSequence<Inner, Right...>);
3.3. 类型不匹配
3.3.1. 大整型向小整型的隐式转换
例如sdk/tests/llir/dataflow1_pingpang_buffer_test.cc里面定义的func_entry是int64_t类型，但实际调用函数的时候，函数原型要求的入参是uint32_t，会触发int64_t → uint32_t的隐式转换：
其他类似的有：
sdk/tests/llir/dataflow1_test.cc
sdk/tests/llir/dataflow2_test.cc
sdk/tests/llir/dataflow3_test.cc
sdk/tests/llir/dataflow5_test.cc
sdk/tests/llir/dataflow5_test_1xcdma.cc
sdk/tests/llir/dataflow7_test.cc
sdk/tests/llir/llir2assembler_leo_test.cc
sdk/tests/llir/utils/llir_test_util.cc
sdk/tests/llir/utils/llir_test_util.h
3.3.2. 有符号向无符号的隐式转换
-1转换为无符号整型：
其他主要体现在迭代器定义的是int类型，但实际使用过程中需要和很多uint32_t进行比较，导致了隐式的int → uint32的转换：
其他文件：
sdk/lib/spm/src/buddy_policy.c
system_test/tools/vpd_cycle/vpd_cycle.c
sdk/lib/spm/include/spm.h
sdk/tests/llir/llir2assembler_leo_test.cc
sdk/tests/llir/dataflow5_test_1xcdma.cc
sdk/tests/llir/dataflow5_test.cc
sdk/tests/llir/llir2assembler_leo_test.cc
sdk/tests/llir/utils/llir_test_util.cc
sdk/tests/llir/utils/llir_test_util.h
对sdk/lib/umd/tools/kernel_code_processor/dturt.inc的修改要麻烦一点，___leo_runtime___和___x_runtime___定义的时候是char[]，但初始化有可能大于127，会导致溢出，但使用该变量的函数，以及二级引用的函数，都要求它是char[]，最终修改是定义改成unsigned char[]，但在一级引用的函数中做一次强制转换。
diff --git a/sdk/lib/umd/tools/kernel_code_processor/kernel_code.h b/sdk/lib/umd/tools/kernel_code_processor/kernel_code.h index d193a8823ac..f61d048cfd6 100644 --- a/sdk/lib/umd/tools/kernel_code_processor/kernel_code.h +++ b/sdk/lib/umd/tools/kernel_code_processor/kernel_code.h @@ -128,7 +128,10 @@ class Kernel { struct __target__ : public KernelCode<__target__>, public Kernel { \ using KernelCode<__target__>::KernelCode; \ static const llvm::StringRef GetArch() { return #__arch__; } \ - static const char* GetRTBuffer() { return ___##__arch__##_runtime___; } \ + static const char* GetRTBuffer() { \ + return static_cast<char*>(static_cast<void*>( \ + const_cast<unsigned char*>(___##__arch__##_runtime___))); \ + } \ static int GetRTBufferSize() { return ___##__arch__##_runtime_size___; } \ }; \ template class KernelCode<__target__>
3.3.3. 浮点向整型的隐式转换
小数点直接转没了，非0值立即成了0值：
其他类似修改：
sdk/tests/op/hlir/pavo/bert/hlir_div_test.cc
3.3.4. double向float的隐式转换
其他类似修改：
sdk/tests/op/hlir/pavo/resnet50/hlir_general_resize_test.cc
3.3.5. 指针向bool的隐式转换
3.3.6. 不同类型隐式转换
fixed_size_mem_pool.h直接将dtu_status和int相互赋值，虽然dtu_status是个enum类型，和int类型很类似，但clang是强类型检查，直接报错。
dtu_status的定义：
typedef enum dtu_status_code { DTU_SUCCESS = 0, DTU_ERROR_INVALID_PARAMETER = -100, DTU_ERROR_INVALID_MEM_TYPE = -101, DTU_ERROR_OUT_OF_MEMORY = -102, DTU_ERROR_OUT_OF_RESOURCES = -103, DTU_ERROR_NOT_INITIALIZED = -104, DTU_ERROR_INVALID_CTX_OBJ = -105, DTU_ERROR_INVALID_CLUSTER_OBJ = -106, DTU_ERROR_INVALID_SIP_OBJ = -107, DTU_ERROR_INVALID_MEM_OBJ = -108, DTU_ERROR_INVALID_CMD_QUEUE_OBJ = -109, DTU_ERROR_INVALID_CMD_DESC_OBJ = -110, DTU_ERROR_INVALID_PROGRAM_OBJ = -111, DTU_ERROR_INVALID_FUNCTION_OBJ = -112, DTU_ERROR_INVALID_EVENT_OBJ = -113, DTU_ERROR_CLUSTER_BUSY = -114, DTU_ERROR_SIP_BUSY = -115, DTU_ERROR_IN_DRM = -116, DTU_ERROR_IN_IOCTRL = -117, DTU_ERROR_GEM_CREATE = -118, DTU_ERROR_GEM_CLOSE = -119, DTU_ERROR_GEM_MMAP = -120, DTU_ERROR_GEM_UNMMAP = -121, DTU_ERROR_CMD_QUEUE_SYNC = -122, DTU_ERROR_CMD_QUEUE_EMIT = -123, DTU_ERROR_CLUSTER_ACQUIRE = -124, DTU_ERROR_CLUSTER_RELEASE = -125, DTU_ERROR_NOT_MATCH = -126, DTU_ERROR_NOT_RELEASE_REF = -127, DTU_ERROR_GET_DEVICE_HDL = -128, DTU_ERROR_ALLOC_HOST = -129, DTU_ERROR_ALLOC_HBM = -130, DTU_ERROR_ALLOC_CLUSTER = -131, DTU_ERROR_FREE_HOST = -132, DTU_ERROR_FREE_HBM = -133, DTU_ERROR_FREE_CLUSTER = -134, DTU_ERROR_CMD_QUEUE_EMITED = -135, DTU_ERROR_OPEN_FILE = -136, DTU_ERROR_READ_FILE = -137, DTU_ERROR_WRITE_FILE = -138, DTU_ERROR_INVALID_BIN_TYPE = -139, DTU_ERROR_LOAD_BIN_FILE = -140, DTU_ERROR_LOAD_BIN_IMAGE = -141, DTU_ERROR_FUNCTION_NOT_FOUND = -142, DTU_ERROR_INVALID_OPERATION = -143, DTU_ERROR_EVENT_GET_ID = -144, DTU_ERROR_EVENT_WAIT_STATUS = -145, DTU_ERROR_EVENT_SIGNAL_STATUS = -146, DTU_ERROR_EVENT_TYPE = -147, DTU_ERROR_EVENT_NOT_SUBMIT = -148, DTU_ERROR_EVENT_DESTROYED = -149, DTU_ERROR_EVENT_SIGNAL_TWICE = -150, DTU_ERROR_MEMORY_OVERLAP = -151, DTU_ERROR_THREAD_POOL_QUEUE_OVERFLOW = -152, DTU_ERROR_PCI_BUS_SCAN = -153, DTU_ERROR_ALLOC_USERPTR = -154, DTU_ERROR_FREE_USERPTR = -155, DTU_ERROR_DUMP_CMEM = -156, DTU_ERROR_LOAD_CMEM = -157, DTU_ERROR_DUMP_SMEM = -158, DTU_ERROR_LOAD_SMEM = -159, DTU_ERROR_READ_REGISTERS = -160, DTU_ERROR_WRITE_REGISTERS = -161, DTU_ERROR_ALLOC_SIP = -162, DTU_ERROR_FREE_SIP = -163, DTU_ERROR_UNKNOWN = -164, DTU_ERROR_ALLOC_HUGE = -165, DTU_ERROR_INVALID_USR_IRQ_OBJ = -166, DTU_ERROR_LINK_CCIX_IO = -167, DTU_ERROR_PLACEHOLDER_NOT_FEED = -168, DTU_ERROR_LAUNCH_DMA = -169, DTU_ERROR_INVALID_PROFILE_MAGIC = -170, DTU_ERROR_INVALID_TIMESTAMP = -180, DTU_ERROR_INVALID_CONFIG = -181, DTU_ERROR_CHILD_NOT_SUBMIT = -182, DTU_ERROR_ALREADY_FORKED = -183, DTU_ERROR_LABEL_USED = -184, DTU_ERROR_LABEL_NOT_VALIDATED = -185, DTU_ERROR_COMMAND_TYPE_MISMATCH = -186, DTU_ERROR_VECTOR_NUMBER = -187, DTU_ERROR_VECTOR_FLAG_MISMATCH = -188, DTU_ERROR_DEVICE_RESET = -189, DTU_ERROR_EXECUTABLE_CRC_VERIFY = -190, DTU_ERROR_EXECUTABLE_DEVICE_VERIFY = -191, DTU_ERROR_INVALID_TS_OBJ = -192, DTU_ERROR_ALLOC_VDEV = -193, DTU_ERROR_FREE_VDEV = -194, DTU_ERROR_VDEV_BUSY = -195, } dtu_status;
NULL和0的值虽然一样，但前者的类型是void*，后者类型是int，差别很大的。
3.3.7. 函数原型中的const隐式转换
3.3.8. void*向char*的隐式转换
很多模块直接对void*指针多算术运算，void*指向的对象大小是未知的，一般如果把它作为地址进行+或者-运算，实际上是自己先做了一次隐式的void* → char*的转换，clang中不允许这样做：
其他类似修改：
sdk/tests/hlir/cc_tests/hlir_corner_test.cc
sdk/tests/hlir/cc_tests/hlir_press_test.cc
sdk/tests/tops/tops_dot_test.cc
sdk/tests/op/hlir/pavo/bert/hlir_broadcast_test.cc
sdk/tests/op/hlir/pavo/resnet50/hlir_transpose_test.cc
sdk/tests/op/hlir/pavo/resnet50/hlir_test_header.h
sdk/tests/op/hlir/pavo/resnet50/hlir_slice_test.cc
sdk/tests/op/hlir/pavo/resnet50/hlir_select_and_scatter_test.cc
sdk/tests/op/hlir/pavo/resnet50/hlir_select_and_scatter_non4c_test.cc
sdk/tests/op/hlir/pavo/resnet50/hlir_pad_test.cc
sdk/tests/op/hlir/pavo/resnet50/hlir_dynamic_update_slice_test.cc
sdk/tests/op/hlir/pavo/resnet50/hlir_dynamic_slice_test.cc
sdk/tests/op/hlir/pavo/resnet50/hlir_concat_test.cc
sdk/tests/op/hlir/pavo/resnet50/hlir_broadcast_test.cc
sdk/tests/op/hlir/pavo/dnn/hlir_test_header.h
sdk/tests/op/hlir/hlir_test_header.h
sdk/tests/runtime/executable_test.cc
3.3.9. string类型到char*的隐式转换
3.4. switch中break缺失
3.4.1. 语义上确实需要break的场景，增加break
例如parser.hpp里面在最后的default分支之前没有加break，虽然由于default分支当前是空的，所以实际上不影响功能，但万一后面default分支增加了任何处理，就会出问题：
其他类似修改：
sdk/sdk.bzl
sdk/third_party/inja.patch
3.4.2. 语义上确实不需要break的场景，增加编译指示，让编译器忽略检查
这样的问题比较普遍。
其他类似修改：
sdk/tests/runtime/mem_manager_test.cc
sdk/tests/runtime/mem_pool_test.cc
sdk/tools/dtu_compiler/dtu_compiler.cc
sdk/lib/umd/tests/sample/tinyxmlparser.cc
另外，C++17开始支持fallthrough的attribute，可以比较简单的告诉编译器需要fallthrough:C++ attribute: fallthrough (since C++17) - cppreference.com
3.5. format不匹配问题
3.5.1. 不匹配，但实际上不影响功能
format的string和后面实际传递的参数不一致的情况下，有可能导致严重问题，不过tops下面的代码很多是ll类型传递了64位数据，实际上对功能影响不大，但如果后面有128位处理器，可能ll就是实际上128位，就可能导致堆栈异常。
diff --git a/sdk/tests/runtime/chunk_allocator_test.cc b/sdk/tests/runtime/chunk_allocator_test.cc index e63568ddc63..78896778a21 100644 --- a/sdk/tests/runtime/chunk_allocator_test.cc +++ b/sdk/tests/runtime/chunk_allocator_test.cc @@ -426,7 +426,7 @@ TEST_F(ChunkAllocatorTest, basic_stress_test) { if (allocated_size < allocated_size_pass) { char str_buf[256]; snprintf(str_buf, sizeof(str_buf), - "allocated_size: %llx, allocated_chunks.size(): %lu", + "allocated_size: %lx, allocated_chunks.size(): %lu", allocated_size, allocated_chunks.size()); EXPECT_TRUE(false) << str_buf; break;
其他文件：
sdk/lib/umd/tests/sample/mm_test.cc
sdk/include/driver/mem_handle.h
sdk/include/runtime/command_packet.h
sdk/include/driver/mem_handle.h
sdk/tests/runtime/mem_pool_test.cc
sdk/lib/umd/tests/sample/performance_test.cc
sdk/tests/profile/test_zebu.cc
sdk/runtime/tests/top_scheduler/loop_task_utils.h
3.5.2. 不匹配，并且影响功能
下面本意是打印uint16_t*的指针指向的数据，错误传递成指针，相当于打印的是一个地址，而不是值，幸好只是一句打印，但实际上%hu对应的是32位，而入参指针在64位机器上是64位，还是会破坏堆栈：
3.6. 有定义无使用
3.6.1. 未使用变量
其他文件：
sdk/tests/spm/basic.cc
sdk/lib/spm/src/best_fit_policy.c
3.6.2. 未使用参数
非常多，尤其涉及一些第三方组件，还要专门制作patch的方式修改，后面忍不住把Werr关掉主要也是因为这个告警：
diff --git a/sdk/lib/umd/tests/sample/callback_multi_ctx_test.cc b/sdk/lib/umd/tests/sample/callback_multi_ctx_test.cc index abd50ad4e81..1b39f594406 100644 --- a/sdk/lib/umd/tests/sample/callback_multi_ctx_test.cc +++ b/sdk/lib/umd/tests/sample/callback_multi_ctx_test.cc @@ -16,6 +16,7 @@ #include "dtu/umd/dtu.h" #include "dtu/umd/dtu_base_obj.h" #include "dtu/umd/dtu_log.h" +#include "dtu/umd/dtu_utils.h" #include "lib/umd/src/dtu_memory.h" #include "lib/umd/tests/sample/sample.h" #include "lib/umd/tests/sample/sample_assert.h" @@ -26,6 +27,7 @@ std::mutex mtx; void event_callback_func_1(dtu_callback callback, void *user_data, u32 engine_id) { + MAYBE_UNUSED(callback); std::unique_lock<std::mutex> lock(mtx); *(int *)user_data = 1; DTU_ERROR_LOG(TEST, "event callback_1 call[%d]\n", engine_id); @@ -33,6 +35,7 @@ void event_callback_func_1(dtu_callback callback, void *user_data, void event_callback_func_2(dtu_callback callback, void *user_data, u32 engine_id) { + MAYBE_UNUSED(callback); std::unique_lock<std::mutex> lock(mtx); *(int *)user_data = 1; DTU_ERROR_LOG(TEST, "event callback_2 call[%d]\n", engine_id);
其他文件：
tools/logging/lib/logging/log.cc
tools/logging/lib/logging/to/file.cc
tools/logging/lib/logging/to/std_err.cc
tools/logging/lib/util/signal_handler.cc
tools/logging/tests/logging/log_to_test.h
sdk/lib/umd/include/dtu_utils.h
sdk/lib/umd/include/reference_obj.h
3rdparty/protobuf-3.8.0/src/google/protobuf/arena.h
sdk/lib/umd/tests/sample/device_reset.cc
sdk/lib/umd/tests/sample/usr_irq.cc
sdk/lib/umd/tests/sample/callback_test.cc
3rdparty/protobuf-3.8.0/src/google/protobuf/map_type_handler.h
3rdparty/protobuf-3.8.0/src/google/protobuf/parse_context.h
kmd/utils/ktest/kmd-test.cpp
sdk/lib/spm/src/buddy_policy.c
sdk/lib/umd/include/dtu_command_obj.h
sdk/lib/umd/include/dtu_context_obj.h
sdk/lib/umd/include/dtu_dqm_obj.h
sdk/lib/umd/include/dtu_driver.h
system_test/tools/vpd_cycle/vpd_cycle.c
sdk/lib/spm/src/buddy_policy.c
sdk/lib/spm/src/interface.c
sdk/lib/spm/src/rbtree.c
sdk/lib/umd/include/dtu_device.h
sdk/lib/umd/include/dtu_driver.h
另外，tools/logging/include/logging/check.h里面的未使用变量比较特殊，实际上是要用的，不过接口调用错了，导致信息传递中丢失了：
3.6.3. 未使用label
3.6.4. 执行不到的代码
下面代码开发解释是当前不支持，又不想删除，先加个注释：
sdk/tests/tops/tops_customop_upsample_nearest_test.cc也会报未使用代码，主要是因为Co当前是固定值，导致第一层if判断永远未false，实际上后面这层循环也兼容了Co为1的场景，完全可以去掉：
3.6.5. 未被调用的inline函数
其他文件：
sdk/lib/spm/src/buddy_policy.c
sdk/lib/umd/tests/sample/mm_test.cc
3.6.6. 未使用的class声明
3.6.7. 未使用的类型定义
3.7. 重复定义
tops代码栈里面各个模块都分别定义的宏非常多，轮到大家相互include的时候就会有大量重复定义问题，解决这个问题的根本解决方案还是需要提取一些公共的头文件，但各模块当前又不希望相互间存在依赖，当前只能用ifndef来包起来临时规避：
其他文件：
sdk/lib/umd/tests/sample/sample_assert.h
system_test/tools/vpd_cycle/vpd_cycle.c
3.8. 入参初始化顺序异常
这个就出现过一次：
其他修改的文件：
sdk/tests/tops/tops_convert_parameter_test.cc
3.9. 类型申明不全
clang对直接声明一个class，但包含的头文件里面找不到完整定义的会报错。
要找到tf头文件的定义顺序是个非常麻烦的事情，幸好clang会自动搜索头文件，所以用clang的宏包起来了。
3.10. 数组初始化
3.10.1. 确实必须是变长数组的使用new[]()和delete[]来申请和释放内存
其他类似修改：
sdk/lib/umd/tests/sample/mm_test.cc
sdk/lib/cpu_ops/naive/dot.cc
sdk/lib/factor/codegen/macro_instruction/minst_conv2d_bpi.cc
3.10.2. 实际语义是定长数组的，通过加const修饰来解决
这种在test里面非常多，大家定义数组的时候都没有习惯把数组的长度定义加上const修饰符，这样不断可以增加执行效率，也不容易出错。
还有很多，仅列出文件名：
sdk/sample/batchnormalTraining/tops_batchnormalTraining.cc
sdk/sample/broadcast/tops_broadcast.cc
sdk/sample/resnet50/TopsOpApi.cc
sdk/tests/tops/tops_batchnormalBackward_test.cc
sdk/tests/tops/tops_batchnormalTraining_test.cc
sdk/tests/tops/tops_concat_test.cc
sdk/tests/tops/tops_convert_test.cc
sdk/tests/tops/tops_customop_test.cc
sdk/tests/tops/tops_scatter_test.cc
sdk/tests/tops/tops_bnForwardTrainingEx_unit_test.cc （这个文件修改了1800+行，逼得我单独成了一个patch）
sdk/tests/tops/tops_broadcast_test.cc
sdk/tests/tops/tops_concat_test.cc
sdk/tests/tops/tops_convert_test.cc
sdk/tests/tops/tops_descriptor_test.cc
sdk/tests/tops/tops_pad_test.cc
sdk/tests/tops/tops_scatter_test.cc
3.11. 函数原型中的auto
clang禁止在函数原型中使用auto入参，我理解主要出于以下考虑：
1、如果该函数作为接口暴露接口出去，调用者应该用什么类型的实参？
2、如果多个调用，使用的实参类型不一样，函数体类对入参进行处理时是否会触发隐式的类型转换？而clang对存在信息损耗的隐式的类型转换是严格禁止的。
3、如果多个调用时，入参本身使用的存储长度不一样，是否会导致堆栈被破坏？例如有些用int，有些用long，函数具体编译过程中是应该实例化出来2个实体，还是单个实体？
4、函数翻译成C函数的时候，函数名称应该怎么生成？C++函数名称转换为C函数名称的时候，可没有考虑auto入参的转换规则。
auto入参的问题，主要体现在sdk/lib/tuner/pavo/和sdk/tests/factor/targets/pavo/dnn/conv/目录中：
其他函数的修改类似，仅列出文件名：
sdk/lib/tuner/pavo/pavo_conv_dataflow5_bpi_non4c_impl.cc
sdk/lib/tuner/pavo/pavo_conv_dataflow7_bpi_non4c_impl.cc
sdk/lib/tuner/pavo/pavo_conv_dataflow1_bpi_non4c_impl.cc
sdk/lib/tuner/pavo/pavo_conv_dataflow2_bpi_non4c_impl.cc
sdk/lib/tuner/pavo/pavo_conv_dataflow3_1_forward_non4c_impl.cc
sdk/lib/tuner/pavo/pavo_conv_dataflow5_1_forward_non4c_impl.cc
sdk/lib/tuner/pavo/pavo_conv_dataflow6_bpk_non4c_impl.cc
sdk/lib/tuner/pavo/pavo_conv_dataflow7_1_forward_non4c_impl.cc
sdk/tests/factor/targets/pavo/dnn/conv/dnn_conv_gen_1c6s_bpi_dataflow1_template_test.cc
sdk/tests/factor/targets/pavo/dnn/conv/dnn_conv_gen_bpk_1c4s_dataflow7_template_test.cc
sdk/tests/factor/targets/pavo/dnn/conv/dnn_conv_gen_bpk_1c6s_dataflow6_template_test.cc
sdk/tests/factor/targets/pavo/dnn/conv/dnn_conv_gen_ff_dataflow3_1_template_test.cc
sdk/tests/factor/targets/pavo/dnn/conv/dnn_conv_gen_ff_dataflow5_1_template_test.cc
sdk/tests/factor/targets/pavo/dnn/conv/dnn_conv_gen_ff_dataflow7_1_template_test.cc
sdk/tests/factor/targets/pavo/dnn/conv/dnn_conv_gen_1c4s_bpi_dataflow2_template_test.cc
sdk/tests/factor/targets/pavo/dnn/conv/dnn_conv_gen_1c4s_bpi_dataflow3_template_test.cc
sdk/tests/factor/targets/pavo/dnn/conv/dnn_conv_gen_1c4s_bpi_dataflow5_template_test.cc
sdk/tests/factor/targets/pavo/dnn/conv/dnn_conv_gen_1c4s_bpi_dataflow7_template_test.cc
sdk/lib/ops/common/dtu_elementwise_fusion_impl.cc
sdk/tests/llir/dma_test/slice_dma_test.cc
sdk/tests/llir/dma_test/broadcast_dma_test.cc
sdk/tests/llir/dma_test/deslice_dma_test.cc
sdk/tests/llir/dma_test/mirror_dma_test.cc
sdk/tests/llir/dma_test/padding_dma_test.cc
sdk/tests/llir/dma_test/subsampling_dma_test.cc
sdk/tests/llir/dma_test/transpose_dma_test.cc
3.12. strlen返回值不作为常量类型的处理
clang里面把strlen返回值当做变量处理，如果要作为const来使用，需要自己定义函数：
其他类似修改：
sdk/lib/profile/libprofile_defs.h
3.13. 其他语法问题
3.13.1. lambda语法问题
参见 Lambda expressions (since C++11) - cppreference.com，lambda表达式的capture用法如下：
a comma-separated list of zero or more captures, optionally beginning with a capture-default.
See below for the detailed description of captures.
A lambda expression can use a variable without capturing it if the variable
- is a non-local variable or has static or thread local storage duration (in which case the variable cannot be captured), or
- is a reference that has been initialized with a constant expression.
A lambda expression can read the value of a variable without capturing it if the variable
- has const non-volatile integral or enumeration type and has been initialized with a constant expression, or
- is
constexprand has no mutable members.
上面的描述是说，下面这几种情况不需要指定capture：
1)非局部变量（全局变量）
2)static变量
3) thread local 变量（这种情况下不是不需要指定，是指定了也用不了）
4)常量表达式初始化的对象的引用
5)常量表达式初始化的非volatile整型或者枚举类型（只读访问）
6)不带可变成员的常量表达式（只读访问）
sdk/tests/hlir/cc_tests/hlir_pass_manager_test.cc里面使用的module_str是全局变量，不需要指定捕获，原来的写法在gcc5上可以编译通过，但gcc7和clang下面会直接报错：
下面这个写法由于this指针虽然指定了捕获，但没有使用，所以会有“expression result unused [-Wunused-value]”告警，设置了捕获相当于在lambda函数里面做了一次声明，如果未使用会有告警：
类似的，sdk/lib/ops/common/dtu_scatter_impl.cc里面将常量alignment在捕获中定义也是错误的：
3.13.2. return语句中的move调用
在return语句中使用std::move会使编译器的copy elision失效，下面修改之前的代码clang会上报告警“moving a local object in a return statement prevents copy elision [-Wpessimizing-move]”，什么是copy elision?
Copy elision - cppreference.com上的定义如下：Omits copy and move (since C++11) constructors, resulting in zero-copy pass-by-value semantics.
也就是说，如果不调用std::move，在return的过程中，编译器会尽量省略对象的copy或者move操作，达到零拷贝的效果；如果调用了std::move，会强制要求编译器调用对象的move构造函数。显然，后者更昂贵。
3.13.3. 使用未初始化的对象
sdk/tests/runtime/device_manager_test.cc在修改前的版本中，如果result.ok()为false，则cluster没有机会初始化就会被后面的device->ClusterMemoryHandle()函数当做入参使用，会触发很恶劣的影响：
3.13.4. clang禁止使用括号表达式初始化数组
下面的修改前的代码clang会报错"parenthesized initialization of a member array is a GNU extension [-Wgnu-array-member-paren-init]"，从gcc回报告警"list-initializer for non-class type must not be parenthesized"：
类似的修改还有：
sdk/tests/tops/tops_dot_parameter_test.cc
sdk/tests/tops/tops_pad_parameter_test.cc
3.13.5. clang的泛型函数的实例化必须有相关调用才会触发
因为构造函数在sdk自身代码里面没有被调用，导致libdtu_sdk.so里面也没有相关符号，但测试函数需要使用，不得已加了个桩函数来触发构造函数实例化。
3.13.6. clang的constexpr中不允许定义需要内存处理的复杂对象
下面的模板定义中需要新生成vector对象，该对象需要在构造函数中使用内存相关处理，不修改会报错“variable of non-literal type 'std::vector<size_t>' (aka 'vector<unsigned long>') cannot be defined in a constexpr function”，将模板中的constexpr标识删掉之后正常。
查看c++标准3.9/10可以看到literal type的定义（相当于常量或者简单变量），unpack_seq_to_vector里面的vector不属于简单变量或者简单变量的数组，如果换成array应该可以通过，不过调用这个函数的地方都要修改：
A type is a literal type if it is:
-
void; or -
a scalar type; or
-
a reference type; or
-
an array of literal type; or
-
a class type (Clause 9) that has all of the following properties:
-
it has a trivial destructor,
-
it is an aggregate type (8.5.1) or has at least one
constexprconstructor or constructor template that is not a copy or move constructor, and -
all of its non-static data members and base classes are of non-volatile literal types
-
3.13.7. clang的虚函数的重载需要加上显式的override关键字
其他类似修改：
tools/logging/include/logging/to/std_err.h
3.13.8. alignas使用问题
alignas本意是定义结构体的时候，为了优化结构体的访问效率，让结构体的存放尽量靠近大的整数边界，和c语言里面的pack不是一个概念。所以pack可以对所有对象强制指定pack(1)来确保内存访问不移位，alignas的设置却要求比结构体成员的最大长度要大：
The object or the type declared by such a declaration will have its alignment requirement equal to the strictest (largest) non-zero expression of all alignas specifiers used in the declaration, unless it would weaken the natural alignment of the type.
下面定义的结构体中有uint16_t的成员，理论上最小alignas是2，所以不能用alignas(1)来修饰：
diff --git a/sdk/lib/hlir/utils/types.h b/sdk/lib/hlir/utils/types.h index 87aee25fe31..90cabe7bdb6 100644 --- a/sdk/lib/hlir/utils/types.h +++ b/sdk/lib/hlir/utils/types.h @@ -151,13 +151,13 @@ enum class CompareType { // define raw data type // lower to factor need raw data -struct alignas(1) raw_bf16_ty { +struct alignas(2) raw_bf16_ty { uint16_t data; }; static_assert(sizeof(raw_bf16_ty) == 2, ""); // half -struct alignas(1) raw_fp16_ty { +struct alignas(2) raw_fp16_ty { uint16_t data; }; static_assert(sizeof(raw_fp16_ty) == 2, "");
3.14. 为了解决告警顺带做的一些优化
3.14.1. 冗余的计算
tools/logging/lib/logging/log_message.cc当时本来是为了解决变长数组的初始化问题，但自己阅读发现把timeval的毫秒和秒先计算成一个总的毫秒之后并没有使用，后面又直接换算成秒和毫秒再用的，所以这个换算实际上没用，和代码onwer确认之后删掉相关冗余计算。
3.14.2. 引用指针和空指针的冗余比较
对象的引用是指某个对象的地址，肯定不是空，所以将它和nullptr做比较没有意义：