用于生成相關(guān)敘述的計(jì)算設(shè)備和方法。在一個(gè)實(shí)例中，該計(jì)算設(shè)備包括顯示圖形用戶界面的顯示設(shè)備，該圖形用戶界面包括從第一應(yīng)用程序接收的文本信息。該計(jì)算設(shè)備的電子處理器接收與被調(diào)度用于敘述的文本信息相關(guān)聯(lián)的用戶界面元素。電子處理器從用戶界面元素中提取多個(gè)實(shí)體，使用第二應(yīng)用程序?qū)⑺龆鄠€(gè)實(shí)體轉(zhuǎn)換為敘述字符串，使用敘述字符串生成文本信息的相關(guān)敘述，并輸出該相關(guān)敘述。

技術(shù)領(lǐng)域

實(shí)施例涉及用于生成在顯示器上的用戶界面中呈現(xiàn)的文本信息的相關(guān)敘述的系統(tǒng)和方法。

背景技術(shù)

用戶通常通過圖形用戶界面(例如，圖形用戶界面(GUI))與運(yùn)行軟件程序或應(yīng)用程序的計(jì)算機(jī)進(jìn)行交互。用戶可以使用觸摸板、鍵盤、鼠標(biāo)或其它輸入設(shè)備來輸入命令、選擇和其它輸入。然后，應(yīng)用程序響應(yīng)或處理該輸入。圖形用戶界面可以以諸如文本或圖像等可視形式，向用戶呈現(xiàn)鏈接、控件、數(shù)據(jù)或其它交互選項(xiàng)。雖然圖形用戶界面很有用，但有時(shí)候聽覺或音頻界面是有用的。例如，當(dāng)用戶視力受損或者查看圖形用戶界面不可能或不切實(shí)際時(shí)(例如，當(dāng)用戶在開車，保持他或她的目光在前方的道路上時(shí))，音頻界面很有用。

發(fā)明內(nèi)容

基于敘述的應(yīng)用程序通常通過閱讀(例如，通過文本到語音轉(zhuǎn)換)以文字或逐字方式顯示在屏幕上的信息，來提供包含在圖形用戶界面中的信息。通常，現(xiàn)有的基于敘述的應(yīng)用程序提供二元體驗(yàn)(換言之，是提供敘述還是不提供敘述)。除了調(diào)整語音的速度或聲音特征(男性、女性等)之外，指定向用戶讀出的信息的保真度水平是不可行的。如上所述，現(xiàn)有應(yīng)用程序被設(shè)計(jì)為盡力準(zhǔn)確地閱讀屏幕上的內(nèi)容，以確保從視覺體驗(yàn)到聽覺體驗(yàn)的轉(zhuǎn)換中的保真度。但是，字面閱讀圖形用戶界面中的元素通常會(huì)產(chǎn)生很難理解的音頻輸出。另外，主要為可視化框架構(gòu)建的用戶界面無法很好地轉(zhuǎn)化為可聽見的體驗(yàn)。目前可用的基于敘述的用戶界面通常無法考慮在從顯示器屏幕可視地收集信息時(shí)發(fā)生的人類認(rèn)知過程，并將這些認(rèn)知過程轉(zhuǎn)換為在聽覺上收集信息時(shí)發(fā)生的過程。通常使用上下文和關(guān)聯(lián)來掃描并由人眼和大腦重新掃描在顯示屏上展示的信息。這便于信息的導(dǎo)航。將文本和/或圖形信息轉(zhuǎn)換為音頻格式(具有精確度)會(huì)導(dǎo)致聽眾對于詳細(xì)信息過載，這是因?yàn)榱魇礁袷椒恋K用戶高效地掃描/重新掃描素材。因此，任務(wù)完成時(shí)間通常會(huì)增加到原始視覺任務(wù)完成時(shí)間的三到十倍，這是因?yàn)槁牨姾茈y理解他們正在聽什么。例如，諸如VoiceOver的可訪問性解決方案僅閱讀與計(jì)算機(jī)系統(tǒng)相關(guān)聯(lián)的顯示屏上提供的內(nèi)容。在決定敘述體驗(yàn)應(yīng)該是什么時(shí)，通常不考慮計(jì)算機(jī)系統(tǒng)已知的但駐留在用戶界面之外的信息。一些實(shí)施例提供具有可由用戶選擇或自動(dòng)(基于與特定應(yīng)用程序的交互)的操作模式的計(jì)算設(shè)備，其允許敘述器將應(yīng)用程序之外的信息進(jìn)行組合，以便將來自圖形用戶界面中的文本的字面閱讀的敘述體驗(yàn)轉(zhuǎn)換或者擴(kuò)充到與在顯示器上看到的內(nèi)容“相關(guān)”的敘述體驗(yàn)。在一個(gè)例子中，計(jì)算設(shè)備被配置為從用戶界面提取對象并將其與諸如文檔、聯(lián)系人、時(shí)間、位置、瀏覽歷史、社交圖信息、以及來自與當(dāng)前用戶相關(guān)聯(lián)的其它應(yīng)用程序的信息之類的已知對象進(jìn)行比較。在另一個(gè)例子中，用戶能夠激活計(jì)算設(shè)備內(nèi)的用戶可選擇模式以提供相關(guān)敘述。在一些實(shí)施例中，可以通過訪問實(shí)體提取模塊以生成文本信息的相關(guān)敘述，來執(zhí)行文本信息的相關(guān)敘述。

本文提供的實(shí)施例允許敘述器將諸如“jdoe@example.com”之類的信息的讀出替換為“John Doe”，這是因?yàn)殡娮余]件地址jdoe@email.com映射到存儲在計(jì)算機(jī)系統(tǒng)內(nèi)的用戶的已知聯(lián)系人。類似地，不是閱讀網(wǎng)頁界面上的時(shí)間戳(例如，下午12點(diǎn)01分)，而是可以基于將該時(shí)間戳與同計(jì)算機(jī)系統(tǒng)相關(guān)聯(lián)的本地時(shí)間進(jìn)行比較，使用對相同信息的相對指示(例如，“幾分鐘前”或“剛才”)來進(jìn)行敘述。在一個(gè)例子中，可以以友好的方式或者更常用的方式讀出系統(tǒng)已知的位置。例如，可以將地址“1060 W.Addison,Chicago,IL”讀作“Wrigley球場”。