背景
是這樣的，最近在研究一個定時任務系統的改造，可能有點像jenkins做到的那種吧。
可以輸入shell命令，也可以執行py腳本等等，相比之前來說，也要能夠及時停止！
但是遇到了這么個問題，golang執行py腳本的時候獲取不到腳本的輸出。
首先來看看go里面怎么運行shell腳本吧，我比較喜歡執行全部命令。
普通用法（一次性獲取所有輸出）
package main
import (
"fmt"
"os/exec"
)
func main() {
Command("ls")
}
// 這里為了簡化，我省去了stderr和其他信息
func Command(cmd string) error {
c := exec.Command("bash", "-c", cmd)
// 此處是windows版本
// c := exec.Command("cmd", "/C", cmd)
output, err := c.CombinedOutput()
fmt.Println(string(output))
return err
}
可以看到，當前命令執行的是輸出當前目錄下的文件/文件夾
實時顯示
效果圖:
package main
import (
"bufio"
"fmt"
"io"
"os/exec"
"sync"
)
func main() {
// 執行ping baidu的命令, 命令不會結束
Command("ping www.baidu.com")
}
func Command(cmd string) error {
//c := exec.Command("cmd", "/C", cmd) // windows
c := exec.Command("bash", "-c", cmd) // mac or linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func() {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}()
err = c.Start()
wg.Wait()
return err
}
可關閉+實時輸出
package main
import (
"bufio"
"context"
"fmt"
"io"
"os/exec"
"sync"
"time"
)
func main() {
ctx, cancel := context.WithCancel(context.Background())
go func(cancelFunc context.CancelFunc) {
time.Sleep(3 * time.Second)
cancelFunc()
}(cancel)
Command(ctx, "ping www.baidu.com")
}
func Command(ctx context.Context, cmd string) error {
// c := exec.CommandContext(ctx, "cmd", "/C", cmd)
c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func(wg *sync.WaitGroup) {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
// 其實這段去掉程序也會正常運行，只是我們就不知道到底什么時候Command被停止了，而且如果我們需要實時給web端展示輸出的話，這里可以作為依據 取消展示
select {
// 檢測到ctx.Done()之后停止讀取
case <-ctx.Done():
if ctx.Err() != nil {
fmt.Printf("程序出現錯誤: %q", ctx.Err())
} else {
fmt.Println("程序被終止")
}
return
default:
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}
}(&wg)
err = c.Start()
wg.Wait()
return err
}
效果圖:
可以看到輸出了3次（1秒1次）之后程序就被終止了，確切的說是讀取輸出流的循環結束了。
執行Python腳本(阻塞)
其實很簡單，只要python -u xxx.py這樣執行就可以了, -u參數
簡單的說就是python的輸出是有緩存的，-u會強制往標准流輸出，當Python腳本阻塞的時候
也不會拿不到輸出！
其他
"bash" 和"-c"，據我的觀察，這2個參數代表在當前cmd窗口執行，而不加這2個參數，直接上shell的話，會啟動一個新窗口，目前觀察是stdout拿不到數據。
仍有缺陷
上面的命令可以解決大部分問題，但是獲取不到stderr的信息，所以我們需要改造一下。
下面是輸出和錯誤一並輸出的實時讀取，類似於jenkins那種。
package main
import (
"bufio"
"context"
"fmt"
"io"
"os/exec"
"sync"
"time"
)
func main() {
ctx, cancel := context.WithCancel(context.Background())
go func(cancelFunc context.CancelFunc) {
time.Sleep(3 * time.Second)
cancelFunc()
}(cancel)
Command(ctx, "ping www.baidu.com")
}
func read(ctx context.Context, wg *sync.WaitGroup, std io.ReadCloser) {
reader := bufio.NewReader(std)
defer wg.Done()
for {
select {
case <-ctx.Done():
return
default:
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}
}
func Command(ctx context.Context, cmd string) error {
//c := exec.CommandContext(ctx, "cmd", "/C", cmd) // windows
c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
stderr, err := c.StderrPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
// 因為有2個任務, 一個需要讀取stderr 另一個需要讀取stdout
wg.Add(2)
go read(ctx, &wg, stderr)
go read(ctx, &wg, stdout)
// 這里一定要用start,而不是run 詳情請看下面的圖
err = c.Start()
// 等待任務結束
wg.Wait()
return err
}
windows輸出亂碼問題
參考資料： https://blog.csdn.net/rznice/article/details/88122923
最后給一個解決windows亂碼的完整案例
需要下載golang.org/x/text/encoding/simplifiedchinese
package main
import (
"bufio"
"fmt"
"io"
"os/exec"
"sync"
"golang.org/x/text/encoding/simplifiedchinese"
)
type Charset string
const (
UTF8 = Charset("UTF-8")
GB18030 = Charset("GB18030")
)
func main() {
// 執行ping baidu的命令, 命令不會結束
Command("ping www.baidu.com")
}
func Command(cmd string) error {
//c := exec.Command("cmd", "/C", cmd) // windows
c := exec.Command("bash", "-c", cmd) // mac or linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func() {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
byte2String := ConvertByte2String([]byte(readString), "GB18030")
fmt.Print(byte2String)
}
}()
err = c.Start()
wg.Wait()
return err
}
func ConvertByte2String(byte []byte, charset Charset) string {
var str string
switch charset {
case GB18030:
var decodeBytes, _ = simplifiedchinese.GB18030.NewDecoder().Bytes(byte)
str = string(decodeBytes)
case UTF8:
fallthrough
default:
str = string(byte)
}
return str
}