MinIo使用一 MinIO 單機版安裝使用+Flink使用MinIO狀態存儲

1. 下載安裝MinIO
   1. 新建安裝路徑  

      # 安裝主目錄
      mkdir -p /data/app/minio
      # 數據目錄
      mkdir -p /data/app/minio/data
      # 日志目錄
      mkdir -p /data/app/minio/log

   2. 下載MinIO安裝包

      cd /data/app/minio
      wget https://dl.minio.io/server/minio/release/linux-amd64/minio
      # 如果下載不了，在本地下載完成之后上傳至服務器
      # 設置權限
      chmod +x  minio

   3. 自定義MinIO賬戶密碼

      export MINIO_ACCESS_KEY=minio
      export MINIO_SECRET_KEY=minio123
      
      vim /etc/profile
      source  /etc/profile

   4. MinIO啟動腳本編寫

      cd /data/app/minio
      vim start_minio.sh
      nohup /data/app/minio/minio server /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 &
      
      chmod 777 *.sh

   5. MinIO默認端口修改

      cd /data/app/minio
      vim start_minio.sh
      nohup /data/app/minio/minio server  --address 0.0.0.0:60035 /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 &

   6. 啟動MinIO+查看日志

      cd /data/app/minio
      ./start_minio.sh
      
      # 查看日志 發現控制台端口是隨機生成的
      tail -100f /data/app/minio/log/minio.log
      
      [[e-mail]01 log]# tail -100f minio.log 
      WARNING: MINIO_ACCESS_KEY and MINIO_SECRET_KEY are deprecated.
               Please use MINIO_ROOT_USER and MINIO_ROOT_PASSWORD
      API: http://0.0.0.0:60035 
      
      Console: http://10.177.146.32:43618 http://127.0.0.1:43618 
      
      Documentation: https://docs.min.io
      
      WARNING: Console endpoint is listening on a dynamic port (43618), please use --console-address ":PORT" to choose a static port.

   7. MinIO控制台端口指定

      cd /data/app/minio
      vim start_minio.sh
      nohup /data/app/minio/minio server  --address 0.0.0.0:20000 --console-address 0.0.0.0:20001 /data/app/minio/data > /data/app/minio/log/minio.log 2>&1 &
      
      # 查看日志
      tail -100f /data/app/minio/log/minio.log
      [[e-mail]01 minio]# tail -100f log/minio.log 
      WARNING: MINIO_ACCESS_KEY and MINIO_SECRET_KEY are deprecated.
               Please use MINIO_ROOT_USER and MINIO_ROOT_PASSWORD
      API: http://0.0.0.0:20000 
      
      Console: http://0.0.0.0:20001 
      
      Documentation: https://docs.min.io

   8. MinIO命令

      [[e-mail]01 minio]# ./minio --help
      NAME:
        minio - High Performance Object Storage
      
      DESCRIPTION:
        Build high performance data infrastructure for machine learning, analytics and application data workloads with MinIO
      
      USAGE:
        minio [FLAGS] COMMAND [ARGS...]
      
      COMMANDS:
        server   start object storage server
        gateway  start object storage gateway
        
      FLAGS:
        --certs-dir value, -S value  path to certs directory (default: "/root/.minio/certs")
        --quiet                      disable startup information
        --anonymous                  hide sensitive information from logging
        --json                       output server logs and startup information in json format
        --help, -h                   show help
        --version, -v                print the version
        
      VERSION:
        RELEASE.2021-12-29T06-49-06Z

   9. 訪問MinIO控制台

      http://10.177.146.32:20001/login
      
      minio/minio123

      

   10. MinIO文檔

       http://docs.minio.org.cn/docs/master/minio-monitoring-guide 
       http://www.minio.org.cn/

2. Flink 使用MinIO
   1. 　MinIO創建桶(Bucket)--Flink存放狀態+checkpoint文件

      

      PS： 需要注意的是層級桶需要逐層創建內嵌再創建子桶，直接將桶名稱指定為abc/xxx 會報錯

       

       

   2. 針對桶的操作
      1. 上傳文件

         

         

      2. 上傳文件夾
         

         

      3. 文件｜文件夾的分享，下載，刪除

         

          

         

         將分享地址中的0.0.0.0 修改成minio服務器所在的IP地址，之后在瀏覽器中直接訪問，報錯說需要正確的解密key，因此訪問文件應該需要秘鑰 

   3. Bucket桶列表

      　　

   4. Flink配置文件中使用MinIO
      1. 修改Flink 配置文件

         cd  /data/app/flink-1.13.3/conf
         vim flink-conf.yaml
             # state.backend: filesystem
             fs.allowed-fallback-filesystems: s3
             state.backend: filesystem 
             state.checkpoints.dir: s3://state/checkpoint
             s3.endpoint: http://10.177.146.32:20000
             s3.path.style.access: true
             s3.access-key: minio
             s3.secret-key: minio123

      2. 啟動｜重啟Flink集群

         cd /data/app/flink-1.13.3/bin
         ./start-cluster.sh
         http://10.177.146.32:8081/#/overview

         

      3. 提交Flink 任務

         cd /data/app/big-event/bin
          ./run.sh 
         
         # 以下為輸出日志信息
         start run flink job
         run sql: imporantEvent/use.sql  with path: /data/app/big-event/conf/flinkSQL/imporantEvent/use.sql
         Job has been submitted with JobID 90893558f929224536159910b743d710

         

         

      4. Flink任務自動checkpoint
         1. Flink控制台展示

            

         2. MinIo上Bucket中文件