Linux X11获取屏幕截图和程序窗口截图，并通过QPixmap显示

最近接手一个项目，需要UOS系统上实现屏幕和窗口捕获。

由于QT只提供了屏幕捕获功能，没有提供窗口捕获，于是就找到了老朋友——OBS（毕竟MacOS的屏幕捕获也是扒的OBS代码）。

幸运的是，UOS系统商店自带OBS，直接省去了编译环节。

  

从上图可以看出，OBS自带屏幕捕获和窗口捕获，窗口捕获也可以获取当前桌面上打开的页面。

试用了一下，窗口捕获时最小化窗口，会导致程序卡死，也就是说最小化时获取不到图像。问题不大，能用就行。

看了一下obs源码，相关代码在plugins->linux-capture里。

用到的主要是X11库。

整理了一下obs和网上的代码，实现屏幕捕获+窗口捕获。

包含头文件

#include <X11/Xlib.h>
#include <X11/Xatom.h>
#include <X11/Xutil.h>

调用库，在xx.pro文件里添加

LIBS += -lX11

窗口列举、获取窗口名称

//获取窗口图片后，在QListWidget中显示，图片缩放大小为210*100
const QSize IMAGE_SIZE(210, 100);
const QSize ITEM_SIZE(210, 120);

static Display *xdisplay = 0;

Display *disp()
{
    if (!xdisplay)
        xdisplay = XOpenDisplay(NULL);

    return xdisplay;
}

void cleanupDisplay()
{
    if (!xdisplay)
        return;

    XCloseDisplay(xdisplay);
    xdisplay = 0;
}

bool ewmhIsSupported()
{
    Display *display = disp();
    Atom netSupportingWmCheck = XInternAtom(display, "_NET_SUPPORTING_WM_CHECK", true);
    Atom actualType;
    int format = 0;
    unsigned long num = 0, bytes = 0;
    unsigned char *data = NULL;
    Window ewmh_window = 0;

    int status = XGetWindowProperty(display, DefaultRootWindow(display),
                    netSupportingWmCheck, 0L, 1L, false,
                    XA_WINDOW, &actualType, &format, &num,
                    &bytes, &data);

    if (status == Success) {
        if (num > 0) {
            ewmh_window = ((Window *)data)[0];
        }
        if (data) {
            XFree(data);
            data = NULL;
        }
    }

    if (ewmh_window) {
        status = XGetWindowProperty(display, ewmh_window,
                        netSupportingWmCheck, 0L, 1L, false,
                        XA_WINDOW, &actualType, &format,
                        &num, &bytes, &data);
        if (status != Success || num == 0 ||
            ewmh_window != ((Window *)data)[0]) {
            ewmh_window = 0;
        }
        if (status == Success && data) {
            XFree(data);
        }
    }

    return ewmh_window != 0;
}
//枚举所有窗口
std::list<Window> getTopLevelWindows()
{
    std::list<Window> res;

    if (!ewmhIsSupported()) {
        qDebug("Unable to query window list "
                  "because window manager "
                  "does not support extended "
                  "window manager Hints");
        return res;
    }

    Atom netClList = XInternAtom(disp(), "_NET_CLIENT_LIST", true);
    Atom actualType;
    int format;
    unsigned long num, bytes;
    Window *data = 0;

    for (int i = 0; i < ScreenCount(disp()); ++i) {
        Window rootWin = RootWindow(disp(), i);

        int status = XGetWindowProperty(disp(), rootWin, netClList, 0L,
                        ~0L, false, AnyPropertyType,
                        &actualType, &format, &num,
                        &bytes, (uint8_t **)&data);

        if (status != Success) {
            qDebug("Failed getting root "
                      "window properties");
            continue;
        }

        for (unsigned long i = 0; i < num; ++i)
            res.push_back(data[i]);

        XFree(data);
    }

    return res;
}

std::string getWindowAtom(Window win, const char *atom)
{
    Atom netWmName = XInternAtom(disp(), atom, false);
    int n;
    char **list = 0;
    XTextProperty tp;
    std::string res = "unknown";

    XGetTextProperty(disp(), win, &tp, netWmName);

    if (!tp.nitems)
        XGetWMName(disp(), win, &tp);

    if (!tp.nitems)
        return "error";

    if (tp.encoding == XA_STRING) {
        res = (char *)tp.value;
    } else {
        int ret = XmbTextPropertyToTextList(disp(), &tp, &list, &n);

        if (ret >= Success && n > 0 && *list) {
            res = *list;
            XFreeStringList(list);
        }
    }

    XFree(tp.value);

    return res;
}

inline std::string getWindowName(Window win)
{
    return getWindowAtom(win, "_NET_WM_NAME");
}

将窗口显示到QListWidget中

int index = 0;
for (Window win : getTopLevelWindows()) {
    //获取窗口属性
    XWindowAttributes attrs;
    XGetWindowAttributes(disp(), win, &attrs);

    //XGetImage获取XImage，并通过转换得到QPixmap
    XImage * pImage = XGetImage(disp(), win, 0, 0, attrs.width, attrs.height, AllPlanes, ZPixmap);
    QImage image = QImage((const uchar *)(pImage->data), pImage->width, pImage->height, pImage->bytes_per_line, QImage::Format_RGB32);
    QPixmap pixmap = QPixmap::fromImage(image);

　　 //将QPixmap和窗口名添加到QListWidgetItem中，并将item添加到QListWidget中
    QListWidgetItem *listWidgetItemScreen = new QListWidgetItem(QIcon(pixmap.scaled(IMAGE_SIZE)), getWindowName(win).c_str());
    listWidgetItemScreen->setSizeHint(ITEM_SIZE);
    ui->listWidget->insertItem(index++, listWidgetItemScreen);
}

获取整个屏幕图像并显示到QListWidget中

//获取屏幕Window属性使用RootWindow函数获取
Window rootwin = RootWindow(disp(),0);

XWindowAttributes attrs;
XGetWindowAttributes(disp(), rootwin, &attrs);
XImage * pImage = XGetImage(disp(), rootwin, 0, 0, attrs.width, attrs.height, AllPlanes, ZPixmap);
QImage image = QImage((const uchar *)(pImage->data), pImage->width, pImage->height, pImage->bytes_per_line, QImage::Format_RGB32);
QPixmap pixmap = QPixmap::fromImage(image);
QListWidgetItem *listWidgetItemScreen = new QListWidgetItem(QIcon(pixmap.scaled(IMAGE_SIZE)), "Screen");
listWidgetItemScreen->setSizeHint(ITEM_SIZE);
ui->listWidget->insertItem(index++, listWidgetItemScreen);

可以看出屏幕截图跟窗口截图的区别就是获取Window参数方法不同。使用XGetImage获取图像完全相同。

再进一步观察可以发现，在获取窗口Window时，先调用 RootWindow 获取当前屏幕的Window，然后使用 XGetWindowProperty 获取当前屏幕下的所有窗口。

最终实现效果：

捕获到了Desktop和QT这两个程序的窗口图像，以及整个屏幕的图像。

但是Desktop为什么是黑的？

原来XGetImage获取到的是窗口的可见部分，运行程序时，QT处于最大化，把整个Desktop都挡住了，获取到的图像就是全黑的，把QT缩小以后在运行一遍试试。

DDE Dock是dock栏的图像，被拉伸以后就这么奇怪。

可以看出Desktop页面也显示出来了，并且Dock栏和QT遮挡住的部分是黑色。

程序目标可以说达成一半了。

顺便说一个程序运行时出现的崩溃错误

Debug发现程序崩溃在XImage转QImage这里。传来的XImage是一个空指针，导致程序崩溃。

 QImage image = QImage((const uchar *)(pImage->data), pImage->width, pImage->height, pImage->bytes_per_line, QImage::Format_RGB32); 

崩溃在QT Creator窗口，当时的情况是

当我把QT最大化或者移动到桌面最中间时，程序又能正常运行了。

经过反复试验得出了一个结论，如果窗口有一部分位于屏幕外，XGetImage就会返回空指针。

修改一下代码，只截屏显示在桌面的部分，截去在屏幕外的部分

    int width = DisplayWidth(disp(),0),height = DisplayHeight(disp(),0);
    int index = 0;
    for (Window win : getTopLevelWindows()) {
        XWindowAttributes attrs;
        XGetWindowAttributes(disp(), win, &attrs);int x1 = attrs.x,y1 = attrs.y;
        int x2=attrs.width+x1,y2=attrs.height+y1;
        if (x1<0)x1 = 0;
        if (y1<0)y1=0;
        if (x2>width)x2=width;
        if (y2>height)y2=height;

        XImage * pImage = XGetImage(disp(), win, 0, 0, x2-x1, y2-y1, AllPlanes, ZPixmap);
        QImage image = QImage((const uchar *)(pImage->data), pImage->width, pImage->height, pImage->bytes_per_line, QImage::Format_RGB32);
        QPixmap pixmap = QPixmap::fromImage(image);

        QListWidgetItem *listWidgetItemScreen = new QListWidgetItem(QIcon(pixmap.scaled(IMAGE_SIZE)), getWindowName(win).c_str());
        listWidgetItemScreen->setSizeHint(ITEM_SIZE);
        ui->listWidget->insertItem(index++, listWidgetItemScreen);
    }

发现还是会崩溃，调试发现attrs.x和attrs.y永远都是0，并不是窗口的实际坐标。

谷歌一下才知道，要想获取当前窗口在屏幕上的坐标，需要用 XTranslateCoordinates 转换一下

 Window child;
 int x, y;
 XTranslateCoordinates(disp(), win, attrs.root, 0, 0, &x, &y,&child);

x和y就是窗口的实际坐标。

改一下代码，运行成功

大功告成（一半）。

对比OBS，OBS可以获取窗口的完整图像，哪怕窗口有一部分在屏幕外。还需要继续研究obs代码。。。

未完待续。