Journal of Zhejiang University

Current Issue: <FITEE>

Frontiers of Information Technology & Electronic Engineering (former title: Journal of Zhejiang University SCIENCE C (Computers & Electronics), 2010-2014)

ISSN 2095-9184 (print); ISSN 2095-9230 (online); CN 33-1389/TP; Monthly.

FITEE is an international peer-reviewed journal indexed by SCI-E, Ei Compendex, DBLP, IC, Scopus, JST, CSA, etc. It covers research in Electrical and Electronic Engineering, including Computer Science, Information Sciences, Control, Automation, Telecommunications, and related disciplines.

Impact factor: 0.308 (2011), 0.297 (2012), 0.380 (2013), 0.415 (2014), 0.392 (2015), 0.622 (2016), 0.910 (2017), 1.033 (2018), 1.604 (2019), 2.161 (2020), 2.526 (2021).

Frontiers of Information Technology & Electronic Engineering

ISSN 2095-9184 (print), ISSN 2095-9230 (online), monthly

2018 Vol.19 No.1 P.1-150

<<< CONTENTS >>>

2018 Special Issue on Artificial Intelligence 2.0: Theories and Applications

Guest Editor-in-Chief: Yun-he PAN

Editorial

2018 special issue on artificial intelligence 2.0: theories and applications

Yun-he PAN

DOI: 10.1631/FITEE.1810000 Downloaded: 2206 Clicked: 4835 Cited: 0 Commented: 0(p.1-2) <Full Text>

Chinese summary <47> 2018人工(gōng)智能2.0特刊：理論與應用

概要：2017年7月，中(zhōng)國政府發布了人工(gōng)智能（AI）開(kāi)發指南(nán)，即《新一(yī)代人工(gōng)智能發展規劃》。該計劃拟分(fēn)三步走，推進中(zhōng)國人工(gōng)智能研發，其目标是在2030年，中(zhōng)國人工(gōng)智能理論、技術和應用總體(tǐ)達到世界領先水平，成爲世界主要的人工(gōng)智能創新中(zhōng)心。
根據新一(yī)代人工(gōng)智能發展規劃，要瞄準大(dà)數據智能、跨媒體(tǐ)計算、人機混合智能、群體(tǐ)智能、自主無人化決策、類腦計算、量子智能計算等人工(gōng)智能基礎理論進行深入研究，取得突破。
下(xià)一(yī)代人工(gōng)智能具有從數據和經驗中(zhōng)無限（自我(wǒ)）學習、直覺推理、自适應等特點（Pan, 2016, 2017）。爲克服現有人工(gōng)智能的局限，人們普遍認識到，跨學科領域合作是人工(gōng)智能真正影響世界的關鍵因素。
感謝來自計算機科學、統計學、機器人和精神病學等領域的研究人員(yuán)爲本期特刊撰寫高質量論文。本期特刊主要涵蓋如下(xià)5個方面主題：（1）人工(gōng)智能基本理論問題，如可解釋性深度學習和無監督學習（即領域自适應學習和生(shēng)成對抗性學習）；（2）類腦學習，如脈沖神經網絡和記憶增強推理；（3）人在回路智能學習，如衆包設計和數字大(dà)腦；（4）創意智能應用，如社交聊天機器人（即小(xiǎo)冰）和自動語音識别；（5）卡耐基梅隆大(dà)學RajReddy博士分(fēn)享了他對新一(yī)代人工(gōng)智能的看法，加州大(dà)學伯克利分(fēn)校郁彬教授主張在人機協作中(zhōng)使用統計概念以提升智能，中(zhōng)國科學院程健研究員(yuán)等綜述了深度神經網絡加速方法。

關鍵詞組：

Interview

An interview with Dr. Raj Reddy on artificial intelligence

FITEE editorial staff

DOI: 10.1631/FITEE.1700860 Downloaded: 2311 Clicked: 3301 Cited: 0 Commented: 0(p.3-5) <Full Text>

Chinese summary <34> 人工(gōng)智能專家Raj Reddy博士專訪

概要：Raj Reddy博士就職于美國賓夕法尼亞州匹茲堡的卡耐基梅隆大(dà)學，擔任該校計算機科學學院Moza Bint Nasser University計算機科學和機器人學教授。他曾于1994年獲得美國計算機協會（ACM）圖靈獎。
對中(zhōng)國政府2017年7月發布的"新一(yī)代人工(gōng)智能發展規劃"，Reddy博士表現出濃厚興趣。2017年11月，Reddy博士在上海參加會議時接受了我(wǒ)們的采訪，談到關于人工(gōng)智能的個人看法。就在這次會上，Reddy博士提出"認知(zhī)放(fàng)大(dà)器"（cognition amplifier）和"守護天使"（guardian angel）的概念。

關鍵詞組：

Perspective

Artificial intelligence and statistics

Bin Yu, Karl Kumbier

DOI: 10.1631/FITEE.1700813 Downloaded: 1791 Clicked: 6899 Cited: 0 Commented: 0(p.6-9) <Full Text>

Chinese summary <34> 人工(gōng)智能與統計分(fēn)析

概要：人工(gōng)智能（artificial intelligence, AI）本質上是由數據驅動的。在其通過人機協作完成數據生(shēng)成、算法開(kāi)發與結果評估的任務中(zhōng)，需要應用許多統計概念。本文讨論了如何通過數據産生(shēng)、興趣問題探究、訓練數據代表性和對結果審視等環節（Population, Question of interest, Representativeness of training data, and Scrutiny of results, PQRS）來解決人機協作的問題。PQRS的工(gōng)作流程爲融合統計分(fēn)析的思想與人類輸入提供了一(yī)個概念框架。這些統計分(fēn)析的思想包括通過随機化、局部控制以及穩定性的原則來獲得算法和結果的可重複性與可解釋性。我(wǒ)們讨論了這些原則在自動駕駛、自動醫療以及作者其他合作研究中(zhōng)的應用。

關鍵詞組：人工(gōng)智能；統計；人機協作

Review Articles

From Eliza to XiaoIce: challenges and opportunities with social chatbots

Heung-yeung Shum, Xiao-dong He, Di Li

DOI: 10.1631/FITEE.1700826 Downloaded: 3020 Clicked: 6155 Cited: 0 Commented: 1(p.10-26) <Full Text> <PPT> 1574

Chinese summary <33> 從Eliza到小(xiǎo)冰：社交對話(huà)機器人的機遇和挑戰

概要：會話(huà)系統經過數十年研究與開(kāi)發，從20世紀六七十年代的Eliza和Parry，到航空旅行信息系統（Airline Travel Information System, ATIS）項目中(zhōng)的自動任務完成系統，從智能個人助理Siri，再到社交對話(huà)機器人微軟小(xiǎo)冰，出現了多種形式。社交對話(huà)機器人的吸引力在于其不僅具有回應用戶不同請求的能力，還具有與用戶建立情感聯系的能力。其中(zhōng)，後者通過滿足用戶對于溝通、情感及社會歸屬感的感性需求來完成。社交對話(huà)機器人的設計必須專注于用戶參與度，同時也須考慮智商(shāng)和情商(shāng)。爲了吸引用戶和聊天機器人交流，我(wǒ)們将社交對話(huà)機器人的成功程度以每次會話(huà)中(zhōng)交流回合數（conversation-turns per session, CPS）來衡量。以小(xiǎo)冰爲例，在本文中(zhōng)我(wǒ)們讨論了從核心對話(huà)、視覺感知(zhī)到可擴展技巧等一(yī)系列社交對話(huà)機器人構建中(zhōng)的重要技術，展示了小(xiǎo)冰動态識别用戶感情的能力，并在長時間交互中(zhōng)以适當的人際關系反應吸引用戶。作爲第一(yī)代與人工(gōng)智能共生(shēng)的人類，感情豐富且功能強大(dà)的社交對話(huà)機器人将很快變成我(wǒ)們生(shēng)活中(zhōng)不可或缺的一(yī)部分(fēn)。

關鍵詞組：會話(huà)系統；社交對話(huà)機器人；智能個人助理；人工(gōng)智能；小(xiǎo)冰

Visual interpretability for deep learning: a survey

Quan-shi Zhang, Song-chun Zhu

DOI: 10.1631/FITEE.1700808 Downloaded: 2451 Clicked: 7827 Cited: 0 Commented: 0(p.27-39) <Full Text> <PPT> 1631

Chinese summary <37> 深度學習中(zhōng)的視覺可解釋性

概要：總結了近年來在理解神經網絡内部特征表達和訓練一(yī)個具有中(zhōng)層表達可解釋性的深度神經網絡上的相關研究工(gōng)作。雖然深度神經網絡在衆多人工(gōng)智能任務中(zhōng)已有傑出表現，但神經網絡中(zhōng)層表達的可解釋性依然是該領域發展的重大(dà)瓶頸。目前，深度神經網絡以低解釋性的黑箱表達爲代價，獲取了強大(dà)的分(fēn)類能力。我(wǒ)們認爲提高神經網絡中(zhōng)層特征表達的可解釋性，可以幫助人們打破衆多深度學習的發展瓶頸，比如，小(xiǎo)數據訓練，語義層面上的人機交互式訓練，以及基于内在特征語義定向精準修複網絡中(zhōng)層特征表達缺陷等難題。本文着眼于卷積神經網絡，調研了：(1) 網絡表達可視化方法；(2) 網絡表達的診斷方法；(3) 自動解構解釋卷積神經網絡的方法；(4) 學習中(zhōng)層特征表達可解釋的神經網絡的方法；(5) 基于網絡可解釋性的中(zhōng)層對端的深度學習算法。最後，讨論了可解釋性人工(gōng)智能未來可能的發展趨勢。

關鍵詞組：人工(gōng)智能；深度學習；可解釋性模型

Past review, current progress, and challenges ahead on the cocktail party problem

Yan-min Qian, Chao Weng, Xuan-kai Chang, Shuai Wang, Dong Yu

DOI: 10.1631/FITEE.1700814 Downloaded: 3259 Clicked: 7006 Cited: 0 Commented: 0(p.40-63) <Full Text> <PPT> 1681

Chinese summary <31> 雞尾酒會問題的技術回顧、當前進展及未來挑戰

概要：雞尾酒會問題即在多人同時說話(huà)的場景下(xià)追蹤并識别某一(yī)個特定說話(huà)人的語音。在自動語音識别技術大(dà)規模推廣應用中(zhōng)，雞尾酒會問題是亟待解決的關鍵問題之一(yī)。本文回顧了在過去(qù)20多年中(zhōng)針對雞尾酒會問題提出的相關技術。主要讨論在雞尾酒會問題中(zhōng)扮演中(zhōng)心角色的語音分(fēn)離(lí)問題。介紹了以下(xià)内容：傳統的單通道情況下(xià)的技術，如計算聽(tīng)覺場景分(fēn)析（computation alauditory scene analysis, CASA）、非負矩陣分(fēn)解（non-negative matrix factorization, NMF）以及生(shēng)成式模型建模；傳統的多通道情況下(xià)的技術，如波束成形和多通道盲源分(fēn)離(lí)；一(yī)些基于深度學習的最新技術，如深度聚類（deep clustering, DPCL）、深度吸引網絡（deep attractor network, DANet）以及排列不變性訓練（permutation invariant training, PIT）。此外(wài)，介紹了在雞尾酒會環境下(xià)針對改善多說話(huà)人語音識别和說話(huà)人識别精度的相關技術。筆者認爲，利用一(yī)個更加強大(dà)的模型來有效地開(kāi)發和利用來自麥克風陣列、聲學訓練集合以及語言本身的知(zhī)識非常重要。更好的優化策略和技術的提出會逐步解決雞尾酒會問題。

關鍵詞組：雞尾酒會問題；計算聽(tīng)覺場景分(fēn)析；非負矩陣分(fēn)解；排列不變性訓練；多說話(huà)人語音處理

Recent advances in efficient computation of deep convolutional neural networks

Jian Cheng, Pei-song Wang, Gang Li, Qing-hao Hu, Han-qing Lu

DOI: 10.1631/FITEE.1700789 Downloaded: 2828 Clicked: 8593 Cited: 0 Commented: 0(p.64-77) <Full Text> <PPT> 1717

Chinese summary <27> 深度卷積神經網絡高效計算研究進展

概要：近年來迅速發展的深度神經網絡已成爲許多智能系統的基礎工(gōng)具。同時，深度網絡的計算複雜(zá)度和資(zī)源消耗也在持續增加，這給深度網絡的部署帶來了嚴峻挑戰，尤其在實時應用中(zhōng)或應用設備資(zī)源有限時。因此，網絡加速是深度學習領域的熱門話(huà)題。爲提升深度神經網絡的硬件性能，最近幾年湧現出一(yī)大(dà)批基于現場可編程門陣列（field-programmable gate array, FPGA）或專用集成電路（application-specific integrated circuit, ASIC）的加速器。本文針對網絡加速、壓縮、軟硬件結合的加速器設計等方面的進展進行了詳細而全面的總結。特别地，本文對網絡剪枝、低秩估計、網絡量化、拟合網絡、緊湊網絡設計以及硬件加速器進行了深入分(fēn)析。最後，展望了該領域未來一(yī)些研究方向。

關鍵詞組：深度神經網絡；加速；壓縮；硬件加速器

Research Articles

A platform of digital brain using crowd power

Dongrong Xu, Fei Dai, Yue Lu

DOI: 10.1631/FITEE.1700800 Downloaded: 2084 Clicked: 5414 Cited: 0 Commented: 0(p.78-90) <Full Text> <PPT> 1675

Chinese summary <27> 一(yī)種數字大(dà)腦的群智平台

概要：介紹了一(yī)種可用于腦科學研究的數字大(dà)腦群智平台，該平台的搭建基于一(yī)個綜合推理或多元類比生(shēng)成的人工(gōng)智能可計算模型。目标是研發一(yī)個全領域腦研究數據庫、腦數據推算工(gōng)具、腦知(zhī)識庫以及用于研究神經科精神疾病和腦發育的智能助手。采用大(dà)數據、群智和大(dà)規模高性能計算能力将顯著加強和發揮該平台的功能。對該方向研究的初步成果進行了總結。

關鍵詞組：人工(gōng)智能；數字大(dà)腦；綜合推理；多元類比生(shēng)成；群智；推算；神經圖像

Layer-wise domain correction for unsupervised domain adaptation

Shuang Li, Shi-ji Song, Cheng Wu

DOI: 10.1631/FITEE.1700774 Downloaded: 2025 Clicked: 6370 Cited: 0 Commented: 0(p.91-103) <Full Text> <PPT> 1468

Chinese summary <32> 針對無監督域自适應問題的深度逐層領域修正算法

概要：深度神經網絡憑借強大(dà)的特征抽象能力，已成功應用在機器學習的多個領域。然而，傳統深度網絡假設訓練樣本和測試樣本來自同一(yī)分(fēn)布，這一(yī)假設在很多實際應用中(zhōng)并不成立。爲借助深度網絡解決領域偏移問題，本文提出逐層領域修正（layer-wise domain correction, LDC）深度域自适應算法。該算法通過在已有深度網絡中(zhōng)增加領域修正層，将源域網絡成功适配到目标領域。逐層增加的領域修正層能夠将兩個領域特征的最大(dà)均值偏差（maximum mean discrepancy, MMD）距離(lí)最小(xiǎo)化，從而完美匹配源域和目标域樣本的特征表示。與此同時，網絡深度的增加極大(dà)提高了網絡表達能力。LDC算法不需要目标領域有标記樣本，在幾個跨領域分(fēn)類識别數據集都取得了當時最好結果，且其訓練比已有深度域自适應算法快近10倍。

關鍵詞組：無監督域自适應；最大(dà)均值偏差；殘差網絡；深度學習

Temporality-enhanced knowledge memory network for factoid question answering

Xin-yu Duan, Si-liang Tang, Sheng-yu Zhang, Yin Zhang, Zhou Zhao, Jian-ru Xue, Yue-ting Zhuang, Fei Wu

DOI: 10.1631/FITEE.1700788 Downloaded: 2261 Clicked: 5849 Cited: 0 Commented: 0(p.104-115) <Full Text> <PPT> 1629

Chinese summary <32> 時序增強的知(zhī)識記憶網絡在問答中(zhōng)的應用

概要：問答系統旨在爲人類以自然語言提出的問題提供具體(tǐ)答案。如何對問題做出有效回答是該領域的熱點問題。在問答系統研究中(zhōng)，對于給定問題與其相應答案，現有方法通常側重于模拟問答語料間語義相關性或句法關系。當一(yī)個問題包含的答案線索非常少時，這些模型大(dà)多受到影響。本文設計了一(yī)個名爲時序增強型知(zhī)識記憶網絡（temporality-enhanced knowledge memory network, TE-KMN）的架構，并将該模型應用于一(yī)個名爲Quiz Bowl的知(zhī)識競賽問答數據集。與多數現有方法不同，該模型不僅對文本内容進行編碼，也對問題中(zhōng)連續語句間能夠逐步揭示答案的時序線索進行編碼。此外(wài)，該模型通過協同使用外(wài)部知(zhī)識，能夠更好理解給定問題。實驗結果表明，該方法性能優于目前幾種最先進方法。

關鍵詞組：問答系統；知(zhī)識記憶；時序增強

Generative adversarial network based novelty detection using minimized reconstruction error

Huan-gang Wang, Xin Li, Tao Zhang

DOI: 10.1631/FITEE.1700786 Downloaded: 2300 Clicked: 7629 Cited: 0 Commented: 0(p.116-125) <Full Text> <PPT> 1698

Chinese summary <26> 基于最小(xiǎo)化重構誤差的生(shēng)成對抗網絡異常檢測

概要：生(shēng)成對抗網絡是機器學習領域近年來最令人矚目的進展，它通過在二人零和博弈中(zhōng)達到納什均衡來訓練模型。生(shēng)成對抗網絡由一(yī)個生(shēng)成器和一(yī)個判别器構成，二者通過對抗學習機制進行訓練。本文引入并調查了生(shēng)成對抗網絡在異常檢測中(zhōng)的應用。在訓練階段，生(shēng)成對抗網絡從正常數據中(zhōng)學習；然後，基于過去(qù)的未知(zhī)數據，生(shēng)成器和判别器可以通過學習到的決策邊界，區分(fēn)異常和正常模式。提出的基于生(shēng)成對抗網絡的異常檢測方法在MNIST數字數據集和田納西-伊斯曼标準數據集上的性能表現極具競争力。

關鍵詞組：生(shēng)成對抗網絡；異常檢測；田納西-伊斯曼過程

Crowdsourcing intelligent design

Wei Xiang, Ling-yun Sun, Wei-tao You, Chang-yuan Yang

DOI: 10.1631/FITEE.1700810 Downloaded: 1954 Clicked: 5916 Cited: 0 Commented: 0(p.126-138) <Full Text> <PPT> 1561

Chinese summary <27> 衆包智能設計方法

概要：通過利用人工(gōng)智能方法解決創造性問題、産出創意方案，設計智能在新一(yī)代人工(gōng)智能背景下(xià)高速發展。現有人工(gōng)智能方法善于從數據中(zhōng)學習，難以産出不同于訓練數據的創意方案。衆包結合人的創意靈感與計算機的計算能力進行創意設計，有望提升設計智能的創新能力。已有衆包設計多采用篩選方法，依賴參與者自身提出高質量方案，對衆包控制力弱，産出方案質量不穩定。針對這些問題，本文提出一(yī)種柔性衆包設計的衆包智能設計方法。該方法整合參與者創意和培育創意以得到高質量方案。通過一(yī)系列研究呈現了如何利用柔性衆包設計方法持續産出原創創意。特别地，描述了柔性衆包設計方法的流程、衆包任務、創意發展的影響因素、計算創意發展潛力的方法，以及兩個柔性衆包設計方法的應用案例，并據此總結該方法的設計能力。柔性衆包設計方法可提升衆包設計表現，支持設計智能發展。

關鍵詞組：衆包；柔性衆包設計；設計智能

A novel spiking neural network of receptive field encoding with groups of neurons decision

Yong-qiang Ma, Zi-ru Wang, Si-yu Yu, Ba-dong Chen, Nan-ning Zheng, Peng-ju Ren

DOI: 10.1631/FITEE.1700714 Downloaded: 2352 Clicked: 6658 Cited: 0 Commented: 0(p.139-150) <Full Text> <PPT> 1702

Chinese summary <26> 基于感受野編碼的多神經元決策脈沖神經網絡

概要：人類對信息的處理主要依賴數十億個神經元構成的複雜(zá)神經網絡，信息傳輸通過神經元釋放(fàng)電脈沖信号實現。本文提出一(yī)個名爲MD-SNN的脈沖神經網絡模型，其具有以下(xià)3個主要特點：（1）使用感受野模型對圖片編碼，産生(shēng)相應脈沖序列；（2）随機選取脈沖序列中(zhōng)部分(fēn)脈沖作爲每個神經元的輸入信号，并以這種方式模拟生(shēng)物(wù)神經元的絕對不應期;（3）使用多組神經元對輸出結果作出共同決策。我(wǒ)們在手寫數字數據集（MNIST）上對MD-SNN進行測試，結果表明：（1）不同大(dà)小(xiǎo)感受野對圖像分(fēn)類結果有顯著影響；（2）由于MD-SNN模型引入了生(shēng)物(wù)神經元絕對不應期特征，同時增加的學習層神經元極大(dà)縮短了訓練時間，因此有效降低了過拟合概率，與引入絕對不應期與增加學習層神經元的SNN模型相比，圖像分(fēn)類準确率提高了8.77％；（3）與其他SNN方法相比，MD-SNN對圖像分(fēn)類更加有效--與卷積神經網絡（CNN）相比，MD-SNN在圖像發生(shēng)翻轉或旋轉時仍能保持有效分(fēn)類（測試集上的分(fēn)類精度可以保持在90.44％），同時更适合小(xiǎo)樣本學習（1000個訓練樣本的分(fēn)類準确率可以達到80.15％，即CNN的7.8倍）。

關鍵詞組：Tempotron；神經元模型；感受野；高斯差分(fēn)；圖像翻轉；圖像旋轉