本文將搭建基於 PVE + ROS + LEDE 的軟路由，因為筆者也是第一次嘗試，因此不做過多的解釋，僅記錄整個配置的流程，如有錯誤和疏漏歡迎指出，使用到的版本如下所示，所有鏡像均來自於官網
PVE虛擬機：6.3-1 ROS軟路由：6.47.9 LEDE軟路由：2.31
配置ROS的拓撲結構
配置 ROS + LEDE 時的拓撲結構
正常使用時的拓撲圖
安裝和配置PVE
打開官網下載種子文件，然后下載鏡像文件
https://www.proxmox.com/en/downloads
使用ULTRAISO燒錄鏡像到U盤，需要將寫入方式改為RAW
選擇U盤啟動，即可看到如下畫面，本文僅使用鍵盤操作服務器，按空格選擇 Install Proxmox VE（默認）
使用 TAB 切換到 I agree 上按空格選擇
選擇安裝的硬盤，默認格式是 ext4 ，無需修改，然后下一步
Country 中填入 China ，其他默認，然后下一步
填寫 密碼 和 郵箱 ，郵箱后面配置時用不到，然后下一步
Management Interface 中選擇網口，在軟路由沒有開啟網橋的情況下，只能通過這一個接口訪問管理頁面， Hostname 中填寫節點名稱，格式為 xxx.xxx ，如果節點名取為 pve ，可填入 pve.com ，接下來需要選擇一個和上下級路由都不會沖突的網段，筆者使用 192.168.60.x 網段，則 IP Address 中填入 PVE 的 IP 地址 192.168.60.2 ，Gateway 填入網關地址（即后續設置的 ROS 的 IP 地址）192.168.60.1 ，DNS 地址默認即可
確認設置的都沒問題后下一步
等待安裝完后下一步
安裝完成后會顯示登錄用的網址，重啟系統后也會顯示
用網線將 PC 和服務器剛剛設置的網口相連，然后修改 PC 的 IPV4 相關設置如下，使得 PC 和服務器在同一個網段內，其中 IP 地址 可以設置為 192.168.60.3 至 192.168.60.254 中任意不沖突的地址，因為目前只有 PC 一個設備，因此理論上都不會沖突，網關 填寫 ROS 地址，DNS 可以設置為 ROS 的 IP 也可以設定為公共 DNS 地址，如 114.114.114.114
在瀏覽器中完整輸入該網址即可登錄管理界面（https:// 也需要輸入）
點擊 繼續前往
進入管理界面，先設置語言，會自動刷新一次，然后輸入用戶名密碼，用戶名是 root
首先將所有網口添加進虛擬機節點，點擊 數據中心 - 虛擬機 - 系統 - 網絡 - 創建 - Linux Bridge
將沒有被添加到網橋的網絡設備的名字復制並填入橋接端口，可以添加備注，方便后續管理
添加完之后如下圖所示，名稱是一一對應的，可以將上面四個網絡設備的開機啟動打開，不打開似乎也沒有影響
開啟直通，可以在 Shell 中通過 nano 或者 vi 來修改 /etc/default/grub 文件，筆者使用 WinSCP 來修改，intel 的 cpu 添加 intel_iommu=on ， amd 的cpu 添加 amd_iommu=on
在 Shell 中輸入 update-grub 以更新引導，然后依次輸入下面命令，每行一個
echo vfio >> /etc/modules echo vfio_iommu_type1 >> /etc/modules echo vfio_pci >> /etc/modules echo vfio_virqfd >> /etc/modules
然后輸入 update-initramfs -u -k all 來刷新 initramfs，檢查無誤后關機以應用更改，可以拔掉剛才裝系統用的 U 盤，然后開機
輸入 dmesg | grep -e DMAR -e IOMMU -e AMD-Vi 檢查是否有 IOMMU enabled 字樣（可能是 Directed I/O 或 Interrupt Remapping，因系統而異）
輸入 find /sys/kernel/iommu_groups/ -type l 檢查設備是否顯示分組后的設備，如果這兩步都有輸出，則開啟成功
部分設備需要在 /etc/modprobe.d/pve-blacklist.conf 添加下面內容來允許不安全的中斷（這可能導致系統不穩定）
options vfio_iommu_type1 allow_unsafe_interrupts=1
安裝RouterOS
如果一切順利，接下來就可以開始安裝 RouterOS 了，下文簡稱為 ROS
首先去官網下載鏡像
https://mikrotik.com/
將鏡像文件上傳到服務器，點擊 數據中心 - 節點 - local(節點名稱) - ISO Images ，然后選擇文件並上傳鏡像，如果沒出現 ISO Images 按鈕，可以刷新一下
點擊右上角的 創建虛擬機 后在名稱中填入虛擬機的名字，可以自行設定，然后點下一步
在 ISO鏡像 選項中選擇剛剛上傳的鏡像，其他保持默認，然后下一步
保持默認然后下一步
總線/設備選擇 SATA ，磁盤大小設置為 1GB，然后下一步
CPU相關設置默認即可，然后下一步
內存設置為 512M ，然后下一步
因為需要按順序添加網絡方便管理，所以這里勾選無網絡設備，然后下一步
確認信息正確之后點擊完成創建虛擬機
點擊 數據中心 - 節點 - ROS虛擬機 - 硬件 - 添加 - 網絡設備 添加虛擬網卡
可以依次添加或者按想要的順序添加網卡，筆者選擇按順序添加網卡，模型均選擇半虛擬化（非直通）
添加完如圖所示
點擊選項，雙擊開機自啟動設置為是
點擊控制台打開 VNC ，輸入 a 全選，輸入 i 安裝，再輸入兩次 y 確認，即可開始安裝
安裝完如下圖所示，按回車重啟 ROS
重啟之后界面如下圖所示，之后不需要再使用此界面了
打開官網下載管理軟件 Winbox
https://mikrotik.com/download
打開 Winbox 后點擊 Neighbors 可以發現 ROS ，此時還沒有規划 IP 地址，使用的是 MAC 地址登錄，后續設置了地址可以用兩種方式登錄
雙擊第一行會自動填入 MAC 地址，初始用戶名是 admin ，密碼為空，點擊 Connect 連接，點擊左邊的 Connect To RoMON 是進不去的
進入后會提示僅有 24 小時的試用期，需要購買授權
再回到官網，注冊賬號，點擊 Purchase a RouterOS license key 購買授權，點擊 Search and view keys 可以查看已購買的授權，千兆網絡購買 L4/P1 授權即可
復制授權碼然后點擊 Paste Key 粘貼，自動刷新后會顯示是 L4 授權
至此ROS已經安裝完成，下面進行網絡相關配置
配置ROS
1、網卡重命名
在 PVE 下 ROS 節點的硬件界面可以看到每個網卡的 MAC 地址，點擊 ROS - Interface 可以看到相同數量的網卡（筆者截圖時已經配置了一個網橋），雙擊打開后可以對網卡進行重命名，方便后續設置， ROS 中網卡的 MAC 地址和 PVE 下的是一一對應的，直接把備注抄一份過來就可以了，如果規划為一個 WAN 口，其余都是 LAN 口，可以將 WAN 口重命名為 WAN ，其他的依次遞增 LAN1，LAN2，LAN3……
重命名之后如下圖所示，筆者因為有板載網卡和 PCIE 網卡，所以做了簡單的區分
2、添加網橋
目的是將所有的 LAN 口連接起來，使得每一個都擁有相同的功能，也就是說在 ROS 網橋正常運行的情況下，可以通過其他網口登錄 PVE 的管理頁面，后續的所有和 LAN 口相關的配置只需對網橋進行配置即可，點擊 Bridge - + - 設置Name - OK，后續設置中名稱保持默認也可以
添加完成如下圖所示
3、設置 ROS 的 IP 地址
點擊 IP - Addresses - + 添加 IP 地址，Address 填寫 192.168.60.1 ，Network 填寫 192.168.60.0 ，Interface 選擇 ros_bridge ，如果使用其他網段，修改前面三位即可，即改為 xxx.xxx.xxx.1 和 xxx.xxx.xxx.0
添加后如下圖所示
4、設置 DHCP 地址池
點擊 IP - Pool - + 添加地址池，最大范圍為 xxx.xxx.xxx.2-xxx.xxx.xxx.254 ，因為 ROS 本身占用了一個，為了避開已經分配的 IP 並預留一定的位置，因此本文設置為 192.168.60.10-192.168.10.250 ，如果有其他虛擬機需要使用靜態 IP ，建議將 IP 設置到地址池兩端，當然直接分配 2-254也是沒有問題的， DHCP 時會自動避開已分配的靜態 IP 的
設置完如下圖所示
5、設置 DHCP 服務器
點擊 IP - DHCP Server - + 添加 DHCP 服務器， Interface 選擇網橋，Lease Time（租約時間）填寫 1d 00:00:00 ，即一天，填寫 24:00:00 會自動轉化成 1d，當然不改也沒有問題，默認是十分鍾 ，Address Pool 選擇地址池，然后點擊 Apply ， Enable
設置完如下圖所示
在當前窗口下點擊 Network - + 添加 DHCP 網絡設置，其中 Address 填寫第3步中的 Network ，24 表示子網掩碼為 255.255.255.0 ，即 192.168.60.0/24 ，因此 Netmask 填寫 24 ，Gateway 填寫第 3 步中的 Address，即 ROS 的 IP 192.168.60.1 ，因為后續將使用 LEDE 的 DHCP 服務器，因此 ROS 僅需要簡單設置 DNS 以測試網絡連通性即可，在 DNS Servers 中填寫一個公共 DNS 即可，如 114.114.114.114
設置完如下圖所示
6、設置防火牆
點擊 IP - Firewall - NAT - + - Action ，設置 Action 為 masquerade 即可
設置完如下圖所示
7、連通上級路由
因為筆者是作為二級路由使用的，因此 ROS 不需要設置 PPPOE ，直接使用動態地址即可上網，點擊 IP - DHCP Client - + 添加 DHCP 客戶端，Interface 選擇 WAN 口，這也是配置中唯一一個需要設置 WAN 口的地方，然后不勾選 Use Peer DNS ，即不使用上級路由的 DNS ， 點擊 Apply， Enable
設置完如下圖所示，WAN 口連接上級路由的 LAN 口情況下，等待數秒后便會出現 IP 地址
這時打開第 3 步的 Addresses 界面也會多一行地址
8、將 PC 的 IPV4 恢復為自動獲取
修改后等待數秒下面將會出現 ROS 為 PC 分配的 IPV4 地址和 DNS 服務器了，如果設置過程無誤，此時就可以上網了
安裝和配置LEDE
去官網下載鏡像，因為 LEDE 和 OpenWRT 合並了，所以固件名為 OpenWRT ，但 LEDE 比較短，因此下文記為 LEDE
https://firmware.koolshare.cn/LEDE_X64_fw867/%E8%99%9A%E6%8B%9F%E6%9C%BA%E8%BD%AC%E7%9B%98%E6%88%96PE%E4%B8%8B%E5%86%99%E7%9B%98%E4%B8%93%E7%94%A8/
下載這一個可以使用，其他的筆者也沒有嘗試過，如果讀者有星球可以自行嘗試，這個版本較老，但是安裝完可以升級，所以不用擔心
解壓后重命名為 openwrt.img ，當然不重命名也可以，文件有 700M+
和安裝 ROS 一樣，上傳鏡像到 local（節點名）
上傳完如圖所示
創建虛擬機，設置節點名稱，編號為 101 ，后續要用到
選擇 不使用任何介質
保持默認
保持默認，創建完虛擬機之后會刪除硬盤
核心調整為 2 個核心，如果開啟的功能較多，可以考慮增加核心數，有些功能還是非常吃 CPU 的
內存設置為 1024 MB
虛擬網卡依舊后續添加
確認無誤點 完成 創建虛擬機
點擊 LEDE - 硬件 - 硬盤 - 分離 分離硬盤
刪除硬盤和光驅
雙擊 任務 - 拷貝數據 ，可以看到目標文件位置
點擊 節點 - Shell ，輸入命令將鏡像轉化成虛擬磁盤並導入虛擬機，101 是 LEDE 虛擬機的編號，藍色的路徑為上圖中的路徑，然后回車
qm importdisk 101 /var/lib/vz/template/iso/openwrt.img local-lvm
導入成功如圖所示
點擊 LEDE - 硬件 - 磁盤 - 編輯 配置磁盤
將磁盤類型設置為 SATA
點擊 LEDE - 選項 - 引導順序 ，勾選新添加的硬盤
和ROS操作相同，依次添加所有的 LAN ，不需要添加 WAN
打開虛擬機電源后，點擊 LEDE - 控制台，等待 log 不再刷新時按回車鍵就可以看到 LEDE 圖標了，輸入下面的命令修改 LEDE 的 IP 地址為 192.168.60.3 ，讀者可以自行設定，修改完按 CTRL + X 后輸入 Y 再按回車保存
nano /etc/config/network
輸入 service network restart 重啟網絡
輸入網址 192.168.60.3 即可看到 LEDE 界面了，默認密碼是 koolshare，記得改密碼
點擊 網絡 - 接口，刪除 WAN 和 WAN6，如果需要的話點擊底下的 添加新接口 重新添加即可，然后編輯 LAN
點擊 一般設置 - 物理設置 - 接口，將所有 LAN 都勾選（相當於 ROS 的網橋），然后點擊 保存
然后點擊 基本設置 ，在 IPv4網關 中填入 ROS 的地址 192.168.60.1，在 使用自定義的 DNS 服務器 中填寫當前網絡環境下最快的 DNS 服務器，可以使用 DNS優選 測試
然后在 DHCP 服務器 中勾選 強制（如果關閉了 ROS 的 DHCP 不勾選強制也可以）
然后打開 Winbox ，關閉（不用刪除）DHCP服務器，並且網橋中只用保留 LAN1 （ PVE 后台、 ROS 、 LEDE 共用的網口）即可（可以僅關閉不用刪除）
然后拔插網線重新分配 IP ，此時 LEDE - 總覽 - 已分配的DHCP租約 中就會多出一個設備了
點擊左側的酷軟，會提示更新，點擊火速更新
更新成功后點擊 未安裝 ，往下滑動找到 固件更新
安裝完后打開固件更新，然后點擊 開始更新
更新后會有如下提示，但不代表更新失敗，刷新網頁后如果版本號已經是最新版本，則更新成功
解鎖離線安裝，在 Shell 中輸入下面命令即可
sed -i 's/\tdetect_package/\t# detect_package/g' /koolshare/scripts/ks_tar_install.sh
修改登錄密碼
至此，LEDE的基本配置已經結束，可以將網線連接不同網口測試是否能正常使用
感謝
下集-PVE(Proxmox VE)安裝雙軟路由愛快 LEDE保姆級教程 https://www.bilibili.com/video/BV1Ct411Q7kd?from=search&seid=3821456178926953119 [教程] PVE更新5.4了，簡單說下ROS + lede 在線安裝 https://koolshare.cn/thread-159150-1-1.html?tdsourcetag=s_pctim_aiomsg PVE安裝Openwrt/LEDE軟路由保姆級圖文教程 https://www.10bests.com/install-openwrt-lede-on-pve/ 玩轉軟路由 篇三：虛擬機ESXI中Mikrotik RouterOS(ROS)的安裝設置教程 https://post.smzdm.com/p/a07nqeor/