瞎折騰實錄：構建 Armel 版本的 .NET Core 教程和資料資源

目錄

• 一，工作開始前
• 二，編譯工具組件
  • 編譯前配置檢查
• 三，編譯 MUSL
• 四，構建 Armel 的 Rootfs
• 五，交叉編譯 CoreCLR
  • 構建成功？
• 六，參考資料

首先我要說明，我失敗了~

我把我的進度和經驗放出來，希望能夠幫助別人完成編譯工作~

背景：最近接手一個華為某型號的嵌入式設備，需要在上面搭建 .NET Core 環境。

設備是 Armel 架構的，Linux 內核 3.10；.NET Core ARM 只有 Armhf。

因此編譯出來的二進制文件無法在此設備下運行。

然后想嘗試在 Git 上下載源碼，手動編譯出 Armel 版本的 .NET Core SDK/Runtime。

感謝張隊提供了大量的參考資料。

一，工作開始前

.NET Core SDK/Runtime 並不是只有一個 Git 庫，而是多個：

• CoreCLR 最小化的運行時
• CoreFX 類庫和框架功能
• CLI .NET SDK 核心
• Core-SetUp 被分割為 CoreCLR、CoreFX

Core-SetUp 最終生成的是 https://dotnet.microsoft.com/download#core

在編譯工作開始前，需要確認要編譯的庫。

源碼地址：

https://github.com/dotnet/coreclr/

https://github.com/dotnet/corecfx/

https://github.com/dotnet/cli/

你需要一台 Linux x86/x64 的服務器，內存大於 1G，使用 Ubuntu/Debian 系統。

可以安裝的便利工具：

apt install lrzsz 一個用於跨終端傳輸文件的工具，如果使用xshell遠程終端，可以直接通過拖拉文件上傳到Linux服務器中。

apt install tree 以樹的形式顯示目錄下的文件。

二，編譯工具組件

安裝必備工具鏈

• cmake
• llvm-3.9
• clang-3.9
• lldb-3.9
• liblldb-3.9-dev
• libunwind8
• libunwind8-dev
• gettext
• libicu-dev
• liblttng-ust-dev
• libcurl4-openssl-dev
• libssl-dev
• libkrb5-dev
• libnuma-dev (optional, enables numa support)

一鍵安裝命令：

sudo apt-get install cmake llvm-3.9 clang-3.9 lldb-3.9 liblldb-3.9-dev libunwind8 libunwind8-dev gettext libicu-dev liblttng-ust-dev libcurl4-openssl-dev libssl-dev libnuma-dev libkrb5-dev

克隆 CoreCLR 倉庫

git clone https://github.com/dotnet/coreclr.git

cross 文件夾可以看到：

[root@instance-wxxixh4k cross]# tree -L 1
.
├── android
├── arm
├── arm64
├── armel
├── build-android-rootfs.sh
├── build-rootfs.sh
├── toolchain.cmake
├── tryrun.cmake
└── x86

編譯前配置檢查

①文件句柄最大數量

查看支持的文件句柄最大數量

sysctl fs.file-max

如果顯示小於100000，那么要設置超過這個數字，例如

#打開文件
nano /etc/sysctl.conf
#添加一行
fs.file-max = 100000

然后

sudo sysctl -p

②內存要大於 1G

如果服務器內存不足 1G ，是無法開始編譯的，因為腳本限制必須大於 1G 內存才可以進行編譯。

還好，工良找到了一個辦法。

創建交換分區

sudo dd if=/dev/zero of=/swapfile bs=64M count=16
sudo mkswap /swapfile
sudo swapon /swapfile

bs:每個分區大小，count:分區個數。

在編譯完成后，記得刪除交換分區：

sudo swapoff /swapfile
sudo rm /swapfile

三，編譯 MUSL

安裝需要的庫

sudo apt-get install qemu qemu-user-static binfmt-support debootstrap

sudo apt-get install binutils-arm-linux-gnueabihf

下載 Git 庫

git clone https://github.com/richfelker/musl-cross-make.git

打開 MUSL 庫的目錄，創建 config.mak 文件

touch config.mak

在里面添加如下內容

TARGET = armv7-alpine-linux-musleabihel
OUTPUT = /usr
BINUTILS_CONFIG=--enable-gold=yes

關於 config.mak 文件，第一行的格式 arm[eb]-linux-musleabi[hf]

CPU 架構/指令集版本可以通過 cat /proc/cpuinfo 命令獲取。

四，構建 Armel 的 Rootfs

sudo ./cross/build-rootfs.sh armel 
#或者
sudo ./cross/build-rootfs.sh armel tizen

編譯完畢，可以在 ./coreclr/cross/rootfs/下看到相應版本的 rootfs。

使用 第一種命令，雖然出現相應的 rootfs，但是最終出現了問題，另外我無法 使用 sudo ./cross/build-rootfs.sh armel tizen 命令。

問題：

umount: /var/test/0828/coreclr/cross/rootfs/armel/bin: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/boot: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/dev: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/etc: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/home: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/lib: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/media: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/mnt: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/opt: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/proc: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/root: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/run: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/sbin: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/srv: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/sys: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/tmp: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/usr: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/var: not mounted.

但是既沒有出現 Error、faild，也沒有出現異常提示，不確定是否失敗。查看目錄，發現 Rootfts 是完整的，沒毛病呀。

五，交叉編譯 CoreCLR

./build.sh armel debug verbose cross
#或者 
./build.sh armel release verbose cross

示例：

root@ubuntu:/var/netcore/0828/coreclr# ./build.sh armel debug verbose cross
Commencing CoreCLR Repo build
__DistroRid: debian.8-armel
__RuntimeId: debian.8-armel
Setting up directories for build
Checking prerequisites...

執行命令后，會出現 Checking prerequisites... (檢查先決條件中)，說明離成功近了一步。

當然，可能會報這個錯誤：

dotnet_install: Error: Could not find/download: `.NET Core SDK` with version = 3.0.100-preview6-012264
dotnet_install: Error: Refer to: https://aka.ms/dotnet-os-lifecycle for information on .NET Core support
Failed to install dotnet SDK (exit code '1').
Failed to get PGO data package version.

原因是無法下載 .NET Core SDK。

打開 /tmp 目錄，可以看到很多下載 SDK失敗的緩存，因為是下載源在國外，國內下載速度可能只有 幾kb。

而要下載的文件大小 120MB 左右，下載時間長達數個小時，可能會出現中斷或超時，因此會失敗。

root@ubuntu:/tmp# ls -lah
total 90M
drwxrwxrwt 10 root    root    4.0K Aug 28 01:48 .
drwxr-xr-x 24 root    root    4.0K Aug 27 09:37 ..
-rw-rw----  1 netdata netdata  240 Aug 20 05:28 as.log
-rw-------  1 root    root     34M Aug 27 06:30 dotnet.9TuQ60VOK
-rw-------  1 root    root    3.2M Aug 28 01:18 dotnet.a3WI49nPx
-rw-------  1 root    root       0 Aug 27 03:30 dotnet.CxR2scA4h
-rw-------  1 root    root       0 Aug 27 01:38 dotnet.DuAMYKCT4
-rw-------  1 root    root     16K Aug 27 01:38 dotnet.gEYeUSXYy
-rw-------  1 root    root       0 Aug 28 00:06 dotnet.HWdDnC5Hl
-rw-------  1 root    root       0 Aug 27 10:03 dotnet.hX7K3ac76
-rw-------  1 root    root       0 Aug 28 00:08 dotnet.ijQuG82B1
-rw-------  1 root    root     34M Aug 28 01:47 dotnet.ImT2CM9gt
-rw-------  1 root    root    3.9M Aug 27 10:03 dotnet.KnQlzjA4g
-rw-------  1 root    root    1.4M Aug 28 01:49 dotnet.o3nnapWHT
-rw-------  1 root    root     14M Aug 27 03:30 dotnet.XKVdUNje0
-rw-------  1 root    root       0 Aug 28 01:47 dotnet.xVEb3C7Bl

方法一：給你的服務器翻牆

方法二：下載我上傳的包

鏈接：https://eyun.baidu.com/s/3dGnzGC5 密碼：GWuV

把下載的包，放到 ./coreclr/.dotnet/ 里面解壓。

再重新執行 ./build.sh armel debug verbose cross

構建成功？

若是成功，會出現提示。

Build succeeded.
    0 Warning(s)
    0 Error(s)

Time Elapsed 00:00:00.64
/var/test/0828/coreclr/bin/obj/Linux.armel.Debug /var/test/0828/coreclr
Invoking "/var/test/0828/coreclr/src/pal/tools/gen-buildsys-clang.sh" "/var/test/0828/coreclr" 5 "0" armel /var/test/0828/coreclr/src/pal/tools Debug    -DCLR_CMAKE_TARGET_OS=Linux -DCLR_CMAKE_PACKAGES_DIR=/var/test/0828/coreclr/.packages -DCLR_CMAKE_PGO_INSTRUMENT=0 -DCLR_CMAKE_OPTDATA_VERSION=99.99.99-master-20190716.1 -DCLR_CMAKE_PGO_OPTIMIZE=1 
Unable to locate llvm-ar

雖然提示成功，但是高興得太早。

官方文檔說：

As usual, the resulting binaries will be found inbin/Product/BuildOS.BuildArch.BuildType/

意思是，構建成功的話， 在 bin/Product/目錄下，會出現 [系統類型].[架構版本].[構建版本] 的文件夾。

打開目錄 ./bin/Product

drwxr-xr-x 3 root root 4.0K Aug 28 01:12 Linux.armel.Debug
drwxr-xr-x 2 root root 4.0K Aug 28 00:06 Linux.x64.Debug

嗯，的確出現了！

但是...

Linux.armel.Debug 下沒有文件，打開 ./coreclr/cross/rootfs/ armel 目錄，看看里面的文件。

root@ubuntu:/var/test/0828/coreclr/bin/Product# tree -L 3
.
├── Linux.armel.Debug
│   └── x64
├── Linux.armel.Release
│   └── x64
├── Linux.x64.Debug
│   ├── coreconsole
│   ├── corerun
│   ├── createdump
│   ├── crossgen
│   ├── gcinfo
│   │   └── gcinfoencoder.cpp
│   ├── IL
│   │   ├── System.Private.CoreLib.deps.json
│   │   ├── System.Private.CoreLib.dll
│   │   └── System.Private.CoreLib.xml
... ...

參考 x64，編譯成功目錄下會出現這些文件，而 armel 下面，沒有文件。。。

所以，最終確定失敗。

因為時間問題和復雜程度，工良已經放棄了治療... ...

六，參考資料

需要使用到的 Git 庫或文件，我已上傳到網盤

鏈接：https://eyun.baidu.com/s/3qZVI8sk 密碼：u5Xd

Enabling Linux ARM32 for .NET Core(推薦)：https://www.bountysource.com/issues/39759217-enabling-linux-arm32-for-net-core

Build .NET Core from source：https://docs.microsoft.com/en-us/dotnet/core/build/

CoreCLR 構建：https://github.com/dotnet/coreclr/blob/master/Documentation/building/linux-instructions.md#Environment

CoreCLR交叉編譯：https://github.com/dotnet/coreclr/blob/master/Documentation/building/cross-building.md

官方已經收錄的 .NET Core SDK/Runtime 版本：https://github.com/dotnet/core-setup

MUSL編譯：https://github.com/richfelker/musl-cross-make

三個很有幫助的 Issue

Enabling Linux ARM32 for .NET Core：https://github.com/dotnet/core-setup/issues/725

Can't build 2.0.0 for armel (debian rootfs) ：https://github.com/dotnet/core-setup/issues/3100

Enabling Linux ARM32 for SDK：https://github.com/dotnet/cli/issues/5289