Linux下鼠標和鍵盤的模擬控制,也就是為手勢和語音控制鼠標和鍵盤部分服務的。
有關於本系統構建的文章結構都會由三個部分來組織,一是該功能模塊的介紹和在Linux下簡單應用程序的實現;二是將該功能模塊整合到交互系統(先以TLD為地基)中去;三是分析目前存在的問題與未來的解決構思。
一、input子系統和模擬程序編寫:
Linux 輸入子系統是 Linux內核用於管理各種輸入設備(鍵盤,鼠標,遙控桿,書寫板等等)的。輸入子系統分為三塊: input core, drivers和 event handlers。正常的路徑是從底層硬件到驅動,從驅動到input core,從 input core到 event handler,從 event handler到 user space。
這么說吧:如果是沒有這個input子系統的話,假如我們用鍵盤按下了一個鍵A,鍵盤會有一個linux的設備驅動文件,假設是/dev/keyboard,我們的用戶空間的應用程序就會打開並訪問這個設備文件/dev/keyboard,應用程序會輪詢這個文件,一旦你按下了一個鍵A了,它就會返回給用戶程序說你按下了鍵A。那么如果有了input子系統的話,我們的用戶空間的應用程序就不是直接打開和訪問鍵盤的設備驅動文件了,而是訪問由鍵盤驅動在input子系統中注冊的event事件文件,例如/dev/input/event3,而對於鍵盤驅動來說,它也是實現由input子系統提供的接口就可以了。按下鍵了,就發送給input子系統。不再直接與用戶空間的應用程序直接面對面了。這樣,就很方便的對驅動和應用程序都統一了接口,而且同一種接口還適合管理多種硬件。好像很簡單的問題給我啰嗦化了,不知道有沒有說錯,呵呵。
這個input子系統可以很容易地讓我們在用戶空間模擬鼠標和鍵盤事件。例如,你可以寫一個應用程序,往input子系統的/dev/input/event3設備文件(假設這個是鍵盤設備文件)寫入A,這樣就相當於你通過鍵盤按下了A,而這個A對系統任意的一個當前活動窗口有效(捕捉)。
要實現這個功能,我們需要回答一下幾個問題:
1、往什么設備文件寫?
也就是如何查看哪些設備文件是鍵盤的,哪些是鼠標的,找到這些設備文件,我們才可以通過應用程序來打開和寫入鍵值(或者鼠標的控制信息)。
通過 #cat /proc/bus/input/devices可以查看到當前input子系統下面的所有event設備,我們找到鼠標和鍵盤的即可。
例如:
I: Bus=0003 Vendor=046d Product=c018 Version=0111
N: Name=" USB Optical Mouse"
P: Phys=usb-0000:00:1d.1-2/input0
S: Sysfs=/class/input/input24
U: Uniq=
H: Handlers=mouse1 event2
B: EV=7
B: KEY=70000 0 0 0 0 0 0 0 0
B: REL=103
上面Name處可以看到這個鼠標設備,然后對應的句柄Handlers是event2;
2、怎么寫入:
大家都知道,Linux下萬物皆文件,所以對於文件操作我們只需要:open()和write()就可以了。
3、要寫入什么東西(鍵值的編碼):
在/usr/include/linux/input.h中有定義,這個文件定義了event事件的結構體,API和標准按鍵的編碼等;我們需要將要寫入的按鍵編碼填充到結構體中,然后寫入鍵盤或者鼠標的事件設備驅動文件中。
輸入事件的結構體:
struct input_event {
struct timeval time; //按鍵時間
__u16 type; //事件的類型
__u16 code; //要模擬成什么按鍵
__s32 value; //是按下1還是釋放0
};
標准按鍵的編碼:(只列舉部分)
type:
事件的類型:
EV_KEY, 按鍵事件,如鍵盤的按鍵(按下哪個鍵),鼠標的左鍵右鍵(是非擊下)等;
EV_REL, 相對坐標,主要是指鼠標的移動事件(相對位移);
EV_ABS, 絕對坐標,主要指觸摸屏的移動事件,但好像這個不能用在鼠標上面,也就是說無法通過這個來獲取鼠標的絕對坐標(鼠標是一個相對位移的設備)。
code:
事件的代碼:
如果事件的類型代碼是EV_KEY,該代碼code為設備鍵盤代碼。代碼植0~127為鍵盤上的按鍵代碼,0x110~0x116為鼠標上按鍵代碼,其中0x110(BTN_ LEFT)為鼠標左鍵,0x111(BTN_RIGHT)為鼠標右鍵,0x112(BTN_ MIDDLE)為鼠標中鍵。其它代碼含義請參看include/linux /input.h文件。該文件中會定義相應的宏來代表不同的按鍵。
如果事件的類型代碼是EV_REL,code值表示軌跡的類型。如指示鼠標的X軸方向 REL_X(代碼為0x00),指示鼠標的Y軸方向REL_Y,指示鼠標中輪子方向REL_WHEEL。
value:
事件的值:
如果事件的類型代碼是EV_KEY,當按鍵按下時值為1,松開時值為0;
如果事件的類型代碼是EV_ REL,value的正數值和負數值分別代表兩個不同方向的值。例如:如果code是REL_X,value是10的話,就表示鼠標相對於上一次的坐標,往x軸向右移動10個像素點。
在Linux下寫的簡單的模擬鼠標和鍵盤事件的程序:
#include <stdio.h>
#include <linux/input.h>
#include <fcntl.h>
#include <sys/time.h>
#include <unistd.h>
//按鍵模擬,按鍵包含按下和松開兩個環節
void simulate_key(int fd, int kval)
{
struct input_event event;
gettimeofday(&event.time, 0);
//按下kval鍵
event.type = EV_KEY;
event.value = 1;
event.code = kval;
write(fd, &event, sizeof(event));
//同步,也就是把它報告給系統
event.type = EV_SYN;
event.value = 0;
event.code = SYN_REPORT;
write(fd, &event, sizeof(event));
memset(&event, 0, sizeof(event));
gettimeofday(&event.time, 0);
//松開kval鍵
event.type = EV_KEY;
event.value = 0;
event.code = kval;
write(fd, &event, sizeof(event));
//同步,也就是把它報告給系統
event.type = EV_SYN;
event.value = 0;
event.code = SYN_REPORT;
write(fd, &event, sizeof(event));
}
//鼠標移動模擬
void simulate_mouse(int fd, int rel_x, int rel_y)
{
struct input_event event;
gettimeofday(&event.time, 0);
//x軸坐標的相對位移
event.type = EV_REL;
event.value = rel_x;
event.code = REL_X;
write(fd, &event, sizeof(event));
//y軸坐標的相對位移
event.type = EV_REL;
event.value = rel_y;
event.code = REL_Y;
write(fd, &event, sizeof(event));
//同步
event.type = EV_SYN;
event.value = 0;
event.code = SYN_REPORT;
write(fd, &event, sizeof(event));
}
int main(int argc, char **argv)
{
int fd_mouse = -1;
int fd_kbd = -1;
int i = 0;
fd_kbd = open("/dev/input/event3", O_RDWR);
if(fd_kbd <= 0)
{
printf("Can not open keyboard input file\n");
return -1;
}
fd_mouse = open("/dev/input/event2", O_RDWR);
if(fd_mouse <= 0)
{
printf("Can not open mouse input file\n");
return -1;
}
for (i = 0; i < 50; i++)
{
simulate_key(fd_mouse, BTN_LEFT); //模擬按下鼠標左鍵
//if (i % 3 == 0)
// simulate_key(fd_kbd, KEY_A); //模擬按下鍵盤A鍵
//模擬鼠標相對上次x和y軸相應移動10個像素
//simulate_mouse(fd_mouse, 10, 10);
sleep(3);
}
close(fd_kbd);
close(fd_mouse);
}
那么如何模擬組合鍵呢?其實和大家平時按鍵盤的過程是一樣的,我們用程序按照這個過程來模擬就可以了。以CTRL + SPACE為例:
//先發送一個 CTRL按下去的事件
//再發送一個 SPACE按下去的事件
//然后發送一個釋放 SPACE的事件
//再發送一個釋放 CTRL的事件
得注意每步的發送都需要同步一次。
