Kinect用體感來實現UI控件的點擊

用體感來實現UI控件的點擊，如點擊按鈕。

做法：用一個圖片表示左手手掌，圖片位置追蹤左手手掌移動，當手掌位於UI控件的矩形內時，握拳表示點擊該控件。

using UnityEngine;
using System.Collections;
using UnityEngine.UI;

/// <summary>
/// 用Kinect實現UI的點擊：追蹤左手手掌，移動到UI矩形內握拳表示點擊該按鈕。
/// </summary>

public class UIClick : MonoBehaviour {
    public Canvas canvas;
    public Image leftHandImage;  // 表示左手
    public Image btnImage;       // 要被點擊的UI控件
    KinectManager _manager;

    void Start()
    {

    }

    void Update()
    {
        if (_manager == null)
        {
            _manager = KinectManager.Instance;
        }
        // 是否初始化完成
        if (_manager && _manager.IsInitialized())
        {
            // 是否人物被檢測到
            if (_manager.IsUserDetected())
            {
                // 獲取用戶ID
                long userId = _manager.GetPrimaryUserID();
                // 獲取目標關節點的索引（以左手為例）
                int jointIndex = (int)KinectInterop.JointType.HandLeft;
                // 判斷目標關節點是否被追蹤
                if (_manager.IsJointTracked(userId, jointIndex))
                {
                    // 獲取目標關節點在Kinect坐標系（世界坐標）的位置
                    Vector3 leftHandPos = _manager.GetJointKinectPosition(userId, jointIndex);
                    // 左手的世界坐標 --> 屏幕坐標
                    Vector3 leftHandScreenPos = Camera.main.WorldToScreenPoint(leftHandPos);
                    Vector2 leftHandScreenPosTemp = new Vector2(leftHandScreenPos.x, leftHandScreenPos.y); // 降維
                    // 判斷左手的UGUI坐標是否在Canvas所表示的矩形內
                    Vector2 leftHandUguiPos;
                    if (RectTransformUtility.ScreenPointToLocalPointInRectangle((RectTransform)canvas.transform, leftHandScreenPosTemp, null, out leftHandUguiPos))
                    {
                        RectTransform leftHandRTF = rightHandImage.transform as RectTransform;
                        // 屏幕坐標 --> UGUI坐標
                        leftHandRTF.anchoredPosition = leftHandUguiPos;
                    }
                    // 判斷左手的UGUI坐標是否在Button所表示的矩形內
                    if (RectTransformUtility.RectangleContainsScreenPoint(btnImage.rectTransform, leftHandScreenPosTemp, null))
                    {
                        Debug.Log("在按鈕中");
                        // 獲取左手的手勢狀態
                        KinectInterop.HandState leftHandState = _manager.GetLeftHandState(userId);
                        if (leftHandState == KinectInterop.HandState.Closed)
                        {
                            Debug.Log("左手握拳");
                            // todo：點擊按鈕觸發的事件
                        }
                    }
                    else
                    {
                        Debug.Log("在按鈕外");
                    }
                }
            }
        }
    }
}

注意點：

攝像機的坐標要設為Vector3.zero，且設為透視圖。

獲取關節點坐標要用GetJointKinectPosition()而不是GetJointPosition()