如何將 Cortana 與 Windows Phone 8.1 應用集成 ( Voice command - Natural language recognition )

隨着 Windows Phone 8.1 GDR1 + Cortana 中文版的發布，相信有很多用戶或開發者都在調戲 Windows Phone 的語音私人助理 Cortana 吧，在世界杯的時候我親測 Cortana 預測德國和阿根廷的比賽很准的。（題外話扯遠了），可是作為開發者我們怎么將Cortana集成到應用中呢，今天我用一點時間給大家介紹一下如何使用 voice command 集成 Windows Phone 8.1 的應用。

首先要明確兩個名詞 Voice command & Voice Command Definition 即 VCD文件，相信做過windows Phone 8.0 開發的朋友應該有所了解，通過注冊VCD文件 Windows phone 8.0 的應用當中就可以實現 voice command 的功能，如果你不了解請先讀一下我之前的文章（這里我就不在過多介紹 8.0 Voice command 的重復內容了），Windows Phone 8 語音 - Speech for Windows Phone 8 快速了解一下Windows Phone 開發語音功能的前期准備工作。

 

簡單的說在 Windows Phone 8.0 voice command 功能比較簡單，主要是通過 Voice Command Name 判斷預制在VCD文件中的幾個命令。

在 Windows Phone 8.1 應用中 Cortana 提供了更強的自然語言識別（Natural language recognition）

當然 VCD 文件的中的 grammars  也得到了擴充，並且區別兩個OS版本的

http://schemas.microsoft.com/voicecommands/1.0 for Windows Phone 8.0 Voice Command and Cortana compatible.

http://schemas.microsoft.com/voicecommands/1.1 only for Widnows Phone 8.1 Cortnan.

詳細內容請參考

Windows Phone 8.0:  Voice command element and attribute reference for Windows Phone 8

Windows Phone 8.1:  Voice command elements and attributes

通過 8.0 和 8.1 VCD 文件屬性支持情況來看有一個最主要的區別在8.1 VCD中支持 PhraseTopic 這個屬性。

文字說的太抽象了還是貼出代碼給大家說說吧：

這里我主要強調說一下 ListenFor  結點和 PhraseTopic 結點。 注意在 Listenfor 結點中的中括號 {dictatedSearchTerms} 是對應的 PhraseTopic  結點中的 Label 屬性。同時我們可以把 PhraseTopic 理解成任意內容。最后都可以從Cortana回傳到我們的應用當中來。

<VoiceCommands xmlns="http://schemas.microsoft.com/voicecommands/1.1">
    <!-- The CommandSet Name is used to programmatically access the CommandSet -->
    <CommandSet xml:lang="zh-CN" Name="chineseCommands">
        <!-- The CommandPrefix provides an alternative to your full app name for invocation -->
        <CommandPrefix> 微軟 文檔 </CommandPrefix>
        <!-- The CommandSet Example appears in the global help alongside your app name -->
        <Example> 搜索 構造 函數 </Example>

        <Command Name="MSDNSearch">
            <!-- The Command example appears in the drill-down help page for your app -->
            <Example> 搜索 構造 函數' </Example>

            <!-- ListenFor elements provide ways to say the command, including references to 
            {PhraseLists} and {PhraseTopics} as well as [optional] words -->
            <ListenFor> 查找 {dictatedSearchTerms} </ListenFor>
            <ListenFor> 搜 {dictatedSearchTerms} </ListenFor>
            <ListenFor> 搜索  {dictatedSearchTerms} </ListenFor>
            <ListenFor> 查 {dictatedSearchTerms} </ListenFor>
            <ListenFor> 找 {dictatedSearchTerms} </ListenFor>

          <!--Feedback provides the displayed and spoken text when your command is triggered -->
            <Feedback> 查找 MSDN... </Feedback>

            <!-- Navigate specifies the desired page or invocation destination for the Command-->
            <Navigate Target="MainPage.xaml" />
        </Command>

        <Command Name="MSDNNaturalLanguage">
            <Example> 我 想 去 Windows 手機 開發 中心 </Example>
            <ListenFor> {naturalLanguage} </ListenFor>
            <Feedback> 啟動 MSDN... </Feedback>
            <Navigate Target="MainPage.xaml" />
        </Command>

        <PhraseTopic Label="dictatedSearchTerms" Scenario="Search">
            <Subject> MSDN </Subject>
        </PhraseTopic>

        <PhraseTopic Label="naturalLanguage" Scenario="Natural Language">
            <Subject> MSDN </Subject>
        </PhraseTopic>

    </CommandSet>
</VoiceCommands>

 

了解完新的VCD文件，在這里我提醒下大家，其實在Windows Phone 8.0的應用中也可以兼容 Cortana的功能的，在8.0的應用當中我們只需要判斷一下操作系統的版本然后選擇不同的VCD文件向系統注冊即可。

首先我們需要把兩個版本的VCD文件都存放到項目中來

其次在注冊VCD文件的時候根據系統版本進行一下判斷即可。

        /// <summary>
        /// Installs the Voice Command Definition (VCD) file associated with the application.
        /// Based on OS version, installs a separate document based on version 1.0 of the schema or version 1.1.
        /// </summary>
        private async void InstallVoiceCommands()
        {
            const string wp80vcdPath = "ms-appx:///VoiceCommandDefinition_8.0.xml";
            const string wp81vcdPath = "ms-appx:///VoiceCommandDefinition_8.1.xml";
            const string chineseWp80vcdPath = "ms-appx:///ChineseVoiceCommandDefinition_8.0.xml";
            const string chineseWp81vcdPath = "ms-appx:///ChineseVoiceCommandDefinition_8.1.xml";

            try
            {
                bool using81orAbove = ((Environment.OSVersion.Version.Major >= 8)
                    && (Environment.OSVersion.Version.Minor >= 10));

                string vcdPath = using81orAbove ? wp81vcdPath : wp80vcdPath;
                if (InstalledSpeechRecognizers.Default.Language.Equals("zh-CN", StringComparison.InvariantCultureIgnoreCase))
                {
                    vcdPath = using81orAbove ? chineseWp81vcdPath : chineseWp80vcdPath;
                }

                Uri vcdUri = new Uri(vcdPath);
                await VoiceCommandService.InstallCommandSetsFromFileAsync(vcdUri);
            }
            catch (Exception vcdEx)
            {
                Dispatcher.BeginInvoke(() =>
                {
                    MessageBox.Show(String.Format(
                        AppResources.VoiceCommandInstallErrorTemplate, vcdEx.HResult, vcdEx.Message));
                });
            }
        }

最后在應用當中獲取用戶的語音輸入方法，注意這里也是需要通過 PhraseTopic 結點的 Label 名稱獲取的。

        /// <summary>
        /// Takes specific action for a retrieved VoiceCommand name.
        /// </summary>
        /// <param name="voiceCommandName"> the command name triggered to activate the application </param>
        private void HandleVoiceCommand(string voiceCommandName)
        {
            // Voice Commands can be typed into Cortana; when this happens, "voiceCommandMode" is populated with the
            // "textInput" value. In these cases, we'll want to behave a little differently by not speaking back.
            bool typedVoiceCommand = (NavigationContext.QueryString.ContainsKey("commandMode") 
                && (NavigationContext.QueryString["commandMode"] == "text"));

            string phraseTopicContents = null;
            bool doSearch = false;

            switch (voiceCommandName)
            {
                case "MSDNNaturalLanguage":
                    if (NavigationContext.QueryString.TryGetValue("naturalLanguage", out phraseTopicContents)
                        && !String.IsNullOrEmpty(phraseTopicContents))
                    {
                        // We'll try to process the input as a natural language query; if we're successful, we won't
                        // fall back into searching, since the query will have already been handled.
                        doSearch = TryHandleNlQuery(phraseTopicContents, typedVoiceCommand);
                    }
                    break;
                case "MSDNSearch":
                    // The user explicitly asked to search, so we'll attempt to retrieve the query.
                    NavigationContext.QueryString.TryGetValue("dictatedSearchTerms", out phraseTopicContents);
                    doSearch = true;
                    break;
            }

            if (doSearch)
            {
                HandleSearchQuery(phraseTopicContents, typedVoiceCommand);
            }
        }

整個過程就這么簡單，心動不如行動，趕快把你的應用加入Cortana 功能讓小伙伴兒們調戲一番。

更多參考資料：

Quickstart: Voice commands (XAML)

Speech for Windows Phone 8

快速入門：語音命令 (XAML)

源碼下載：

MSDN Voice Search for Windows Phone 8.1