文章作者：蔣蕭澤、于靜、秦曾昌、張星星、吳琦等，由北京航空航天大學(xué)、中科院信工所、微軟亞研院和阿德萊德大學(xué)合作完成。本論文已被AAAI 2020 接收。
近年來，跨模態(tài)研究引發(fā)了廣泛關(guān)注并取得顯著進(jìn)展，綜合分析語言和視覺等不同模態(tài)的信息對(duì)模擬現(xiàn)實(shí)社會(huì)中人類對(duì)于信息的認(rèn)知過程具有重要意義。
視覺對(duì)話問題是視覺問答任務(wù)的衍生任務(wù)，不同的是，視覺對(duì)話任務(wù)需要根據(jù)圖像、歷史對(duì)話回答當(dāng)前問題，涉及多個(gè)問題且涵蓋了可能與任何對(duì)象、關(guān)系或語義相關(guān)的廣泛視覺內(nèi)容，因此視覺對(duì)話需要根據(jù)對(duì)話的推進(jìn)，不斷調(diào)整關(guān)注區(qū)域使之有效地捕捉問題所涉及的視覺信息，針對(duì)不同問題對(duì)圖像進(jìn)行自適應(yīng)的關(guān)注。如下圖 1 所示「Q1: Is the man on the skateboard?」, 需要關(guān)注「man」，「skateboard」等信息，當(dāng)問題變換為「Q5: Is the sky in the picture」時(shí)，需要將關(guān)注區(qū)域轉(zhuǎn)移至「sky」。問題 Q1 和 Q5 主要關(guān)注在表層（appearance-level）信息問題，而 Q4「Is he young or older」則需要進(jìn)一步地視覺推理得到更高層的語義信息。因此，如何根據(jù)問題進(jìn)行自適應(yīng)調(diào)整并有效地捕捉視覺信息是視覺對(duì)話問題中的重要挑戰(zhàn)之一。
根據(jù)認(rèn)知學(xué)中的雙向編碼理論（Dual-Coding Theory）, 人類認(rèn)知信息的過程包含視覺表象和關(guān)聯(lián)文本，人的大腦在檢索關(guān)于某個(gè)概念的信息時(shí)會(huì)綜合檢索視覺信息以及語言信息，這種方式能夠加強(qiáng)大腦的理解以及記憶能力。
作者根據(jù)此理論，提出從視覺和語義兩個(gè)維度刻畫視覺對(duì)話任務(wù)中圖象信息的新框架：語義模塊描述圖像的局部以及全局的高層語義信息，視覺模塊描述圖像中的對(duì)象以及對(duì)象之間的視覺關(guān)系?；诖丝蚣?，作者提出自適應(yīng)視覺選擇模型 DualVD（Duel Encoding Visual Dialog），分別進(jìn)行模態(tài)內(nèi)與模態(tài)之前的信息選擇。
從視覺以及語義兩個(gè)維度刻畫視覺對(duì)話任務(wù)中圖象信息的新框架，其中語義信息采用多層次語義描述表示，視覺信息采用場(chǎng)景圖表示。
Scene Graph Construction：利用場(chǎng)景圖表示每一張圖像，并捕捉圖像之間目標(biāo)對(duì)象以及對(duì)象間的視覺關(guān)系信息。作者采用 Faster-RCNN 提取出圖像中 N 個(gè)目標(biāo)區(qū)域，并將其表示為場(chǎng)景圖上的結(jié)點(diǎn)，結(jié)點(diǎn) i 的特征定義為 hi；采用 Zhang 等提出的視覺關(guān)系編碼器在 GQA 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，用關(guān)系向量表示圖像中的任意兩個(gè)目標(biāo)區(qū)域之間的視覺關(guān)系，并將其表示為場(chǎng)景圖上的邊，結(jié)點(diǎn) i 和結(jié)點(diǎn) j 之間的關(guān)系向量定義為 r_ij。目前現(xiàn)有的工作大多采用關(guān)系類別來表示場(chǎng)景圖的邊，相比而言作者利用關(guān)系向量表示場(chǎng)景圖的邊的方法能考慮到視覺關(guān)系的多樣性，歧義性，更準(zhǔn)確地表達(dá)目標(biāo)對(duì)象之前的視覺關(guān)系。
Multi-level Image Captions：將每幅圖像表示為多層級(jí)的語義描述，同時(shí)刻畫圖像的局部和全局語義信息。相比于視覺特征，語義描述通過自然語言的信息表達(dá)出更高的語義層次，能夠更加直接地為問題提供線索，避免了不同模態(tài)數(shù)據(jù)之間的「異構(gòu)鴻溝」。作者采用數(shù)據(jù)集的圖像描述作為全局語義信息，有助于回答探索場(chǎng)景的問題；采用 Feifei Li 等提出的 DenseCap 提取一組局部層次語義信息，包括對(duì)象屬性，與對(duì)象相關(guān)的先驗(yàn)知識(shí)，以及對(duì)象之間的關(guān)系等。對(duì)全局和局部的語義信息采用不同的 LSTM 提取特征。
在視覺語義圖像表示的基礎(chǔ)上，作者提出了一種新的特征選擇框架，從圖像中自適應(yīng)地選擇與問題相關(guān)的信息。在當(dāng)前問題的指導(dǎo)下，將特征選擇過程設(shè)計(jì)為分層模式:模態(tài)內(nèi)選擇首先從視覺模塊（Visual Module）和語義模塊（Semantic Module）分別提取視覺信息和語義信息;然后通過選擇性的視覺-語義融合（Selective visual-semantic fusion），匯聚視覺模塊和語義模塊中問題相關(guān)的線索。這種層次結(jié)構(gòu)框架的優(yōu)點(diǎn)是可以顯式地揭示漸進(jìn)特征選擇模式。
1）Question-Guided Relation Attention：基于問題引導(dǎo)，獲取與問題最相關(guān)的視覺關(guān)系。首先，從對(duì)話歷史中選擇與問題相關(guān)的信息，通過門控機(jī)制更新問題表示，定義為:
2) Question-Guided Graph Convolution：基于問題引導(dǎo)，通過基于關(guān)系的圖注意網(wǎng)絡(luò)聚集目標(biāo)對(duì)象的鄰域和對(duì)應(yīng)關(guān)系的信息，進(jìn)一步更新每個(gè)目標(biāo)對(duì)象的表示。首先，根據(jù)場(chǎng)景圖中的結(jié)點(diǎn)，計(jì)算該結(jié)點(diǎn)i對(duì)鄰居結(jié)點(diǎn)j之前存在對(duì)應(yīng)關(guān)系rij條件下的注意力：
3) Object-relation Information fusion:在視覺對(duì)話中，目標(biāo)對(duì)象的視覺表層信息和視覺關(guān)系信息有助于推斷答案。本模塊中自適應(yīng)地將原結(jié)點(diǎn)和感知關(guān)系結(jié)點(diǎn)通過門控機(jī)制進(jìn)行融合得到問題相關(guān)的目標(biāo)對(duì)象特征：
為增強(qiáng)原始目標(biāo)區(qū)域的視覺信息提供的線索以及當(dāng)前問題的影響，作者基于原始目標(biāo)區(qū)域的注意力分布，融合目標(biāo)區(qū)域表示得到增強(qiáng)的圖像表示I：
該模塊通過問題引導(dǎo)語義注意模塊和全局-局部信息融合模塊，從全局和局部語義描述中選擇和合并與問題相關(guān)的語義信息。
1）Question-guided semantic attention：基于問題引導(dǎo)，對(duì)全局和局部語義描述計(jì)算注意力：
3）Selective Visual-Semantic Fusion：當(dāng)被提問時(shí)，模型能夠檢索相關(guān)的視覺信息、語言信息或綜合考慮上述兩種信息。作者采用門控機(jī)制控制兩種信息源對(duì)于回答問題的貢獻(xiàn)，并獲得最終的視覺知識(shí)表示：
整個(gè)模型由 Late Fusion encoder 和 Discriminative decoder 組成。解碼時(shí)，模型首先將每個(gè)部分嵌入一個(gè)對(duì)話元組中 D = {I; Ht; Qt}，然后將具有視覺知識(shí)表示的 Ht 和 Qt 連接到一個(gè)聯(lián)合的輸入中進(jìn)行答案預(yù)測(cè)。解碼器對(duì) 100 個(gè)候選答案進(jìn)行排序。該模型還可以應(yīng)用于更復(fù)雜的解碼器和融合策略，如記憶網(wǎng)絡(luò)、協(xié)同注意等。
在 VisDial v0.9 和 VisDial v1.0 上對(duì)模型的效果進(jìn)行了驗(yàn)證。與現(xiàn)有算法相比，DualVD 的結(jié)果超過現(xiàn)有大多數(shù)模型，略低于采用了多步推理和復(fù)雜 attention 機(jī)制的模型。
實(shí)驗(yàn)結(jié)果表明，模型中的目標(biāo)特征、關(guān)系特征、局部語義、全局語義對(duì)于提升回答問題的效果都起到了不同程度的作用。相比傳統(tǒng)圖注意力模型，采用視覺關(guān)系的嵌入表示使得模型效果又有了進(jìn)一步提升。
DualVD 的一個(gè)關(guān)鍵優(yōu)勢(shì)在于其可解釋性: DualVD 能夠預(yù)測(cè)視覺模塊中的注意權(quán)重、語義模塊中的注意權(quán)重以及可視化語義融合中的控制值，顯式地分析模型特征選擇的過程。作者通過分析可視化結(jié)果得出以下結(jié)論：視覺信息和語義信息對(duì)于回答問題的貢獻(xiàn)取決于問題的復(fù)雜性和信息源的相關(guān)性。涉及到目標(biāo)對(duì)象表層信息的問題，模型會(huì)從視覺信息獲得更多線索，如圖 3 中第一個(gè)例子；當(dāng)問題涉及到更加復(fù)雜的關(guān)系推理，或者語義信息包含了直接線索時(shí)，模型會(huì)更加依賴語義信息獲取答案線索，如圖 3 中的第二個(gè)例子。視覺信息將為回答問題提供更重要的依據(jù)。作者根據(jù)結(jié)果發(fā)現(xiàn)，視覺模塊的累積 gate value 總是高于來自語義模塊的累積 gate value, 此現(xiàn)象說明在視覺對(duì)話任務(wù)中圖像信息在回答問題時(shí)扮演更加重要的角色，對(duì)圖像信息更準(zhǔn)確、更全面的理解對(duì)于提升模型的對(duì)話能力至關(guān)重要。
如圖 3 中的第三個(gè)例子，隨著對(duì)話的推進(jìn)，問題涉及前景、背景、語義關(guān)系等廣泛的視覺內(nèi)容，DualVD 都能夠有效捕捉到關(guān)鍵線索。