深度學習理論前沿研討會論文及代碼集錦
時間：2018年7月28日8:30
地點：上海交通大學閔行校區電信群樓3-200
主題：深度學習理論探討
報告1：基於類腦智能的遙感影像解譯
焦李成 西安電子科技大學教授 IEEE Fellow
報告人簡介
焦李成，教授、博士生導師。
西安電子科技大學計算機科學與技術學部主任、智能感知與圖像理解教育部重點實驗室主任、智能感知與計算國際聯合研究中心主任、智能感知與計算國際合作聯合實驗室主任、「智能信息處理科學與技術」高等學校學科創新引智基地主任、教育部科技委學部委員、中國人工智慧學會副理事長、IET西安分會主席、IEEE西安分會獎勵委員會主席、IEEE計算智能協會西安分會主席、IEEE GRSS西安分會主席，IEEE TGRS副主編、教育部創新團隊首席專家，IEEE Fellow、IET Fellow、首批中國人工智慧學會會士、CCF傑出會員。
國務院學位委員會學科評議組成員，人社部博士後管委會評議組專家，曾任第八屆全國人大代表。
1991年被批准為享受國務院政府津貼的專家，1996年首批入選國家「百千萬」人才工程（第一、二層次），陝西省首批「三五人才」第一層次。
主要研究方向為智能感知與計算、圖像理解與目標識別、深度學習與類腦計算。研究成果獲包括青年科技獎，國家自然科學獎二等獎及省部級一等獎以上科技獎勵十餘項，出版了《神經網路系統理論》、《免疫優化計算、學習與識別》、《圖像多尺度幾何分析理論與應用》、《深度學習、識別與優化》等專著。
相關論文
Cheng, Lin, Xu Liu, Lingling Li, Licheng Jiao, and Xu Tang. "Deep Adaptive Proposal Network for Object Detection in Optical Remote Sensing Images." arXiv preprint arXiv:1807.07327 (2018).
https://arxiv.org/pdf/1807.07327.pdf
網路結構如下，主要還是基於CNN的。
Liu, Xu, Licheng Jiao, Xu Tang, Qigong Sun, and Dan Zhang. "Polarimetric Convolutional Network for PolSAR Image Classification." arXiv preprint arXiv:1807.02975 (2018).
https://arxiv.org/pdf/1807.02975.pdf
網路結構如下，主要基於CNN。
報告2：Learning Partial Differential Equations for Computer Vision and Image Processing
林宙辰 北京大學教授 IEEE Fellow
報告人簡介
林宙辰，北京大學機器感知與智能教育部重點實驗室教授、信息科學技術學院教授、東北師範大學"東師學者"講座教授，曾任微軟亞洲研究院視覺計算組主管研究員，中國科學院計算技術研究所客座研究員、上海交通大學兼職研究員、東南大學兼職教授等。
擔任著名期刊International J. Computer Vision，Neurocomputing等編委，是IEEE高級會員，主持著名國際會議CVPR 2014年領域主席（Area Chair）等。
主要研究方向是包括機器學習、模式識別、計算機視覺、圖像處理和數值計算與優化。
相關slides:
http://www.yongxu.org/paper/Learning%20Partial%20Differential%20Equations%20-%20Harbin-Shenzhen.pdf
全文：
http://www.cis.pku.edu.cn/faculty/vision/zlin/Publications/Learning-BasedPDE-Sanya.pdf
偏微分方程在去噪，圖像增強，圖像分割以及圖像修復等領域中得以應用。
下面是偏微分方程在圖像模糊化中的效果示例
下面是偏微分方程在邊緣檢測中的效果示例
下面是偏微分方程在圖像去噪（高斯雜訊）中的應用示例
下面是偏微分方程跟其他方法在圖像去噪（真實雜訊）中的應用示例
下面是偏微分方程在文本檢測中的應用示例
報告3：A Random Matrix Approach to Deep Learning
邱才明 上海交通大學教授 國家千人IEEE Fellow
報告人簡介
邱才明教授，IEEE Fellow，國家「千人計劃」特聘教授，上海市「千人計劃」特聘教授，上海交通大學講席教授，上海交通大學大數據工程技術研究中心主任，美國田納西理工大學終身教授。
邱才明教授出版了《Smart Grid and Big Data：Theory and Practice》、《Cognitive Networked Sensing and Big Data》、《Introduction to Smart Grid》、《Cognitive Radio Communication and Networking: Principles and Practice》等專著，奠定了隨機大數據理論及其在智能電網、無線網路等工程領域應用的理論框架。
在IEEE Trans. Smart Grid、IEEE Trans. Signal Processing、IEEE Trans. Antennas and Propagation、IEEE Trans. Wireless Communication、ICC等領域權威期刊及會議上發表多篇學術論文。
報告相關論文
A RANDOM MATRIX APPROACHTO NEURAL NETWORKS
https://arxiv.org/pdf/1702.05419.pdf
Nonlinear random matrix theory for deep learning
https://papers.nips.cc/paper/6857-nonlinear-random-matrix-theory-for-deep-learning.pdf
報告4：基於深度學習的顯著性目標檢測理論與實踐
盧湖川 大連理工大學教授 國家傑出青年
報告人簡介
盧湖川教授，IEEE高級會員，2017年獲得國家傑出青年科學基金，研究方向計算機視覺、模式識別。
發表CCF A類論文多篇，以第一完成人獲得教育部自然科學二等獎1項。
獲得多項國際學術論文獎，包括ICCV2011 Most Remembered Poster，IET Image Processing 2014 Best Paper Award，ICIP2012 Best Student Paper Award Finalist.
報告相關論文：
Linzhao Wang, Lijun Wang,Huchuan Lu , Pingping Zhang, Xiang Ruan, Salient Object Detection with Recurrent Fully Convolutional Networks, PAMI 2018
https://pan.baidu.com/s/1CQu5ooyPFJR0xh311ipKyA
網路結構如下
Pinging Zhang, Wei Liu,Huchuan Lu，Chunhua Shen, Salient Object Detection by Lossless Feature Reflection, IJCAI2018
https://arxiv.org/pdf/1802.06527.pdf
其中網路結構如下
Xiaoning Zhang, Tiantian Wang, Jinqing Qi,Huchuan Lu , Gang Wang, Progressive Attention Guided Recurrent Network for Salient Object Detection, CVPR2018
http://openaccess.thecvf.com/content_cvpr_2018/CameraReady/1235.pdf
其中網路結構如下
Pingping Zhang, Dong Wang, Huchuan Lu,Hongyu Wang, Xiang Ruan, Amulet: Aggregating Multi-Level Convolutional Features for Salient Object Detection,ICCV2017
https://pan.baidu.com/s/1wLwxYCZRgKxzZ81ymV-yGA
其中網路結構如下
代碼：
https://pan.baidu.com/s/1XGhct3zvYIRKPafx2yAL-Q
https://github.com/Pchank/caffe-sal/blob/master/IIAU2018.md
https://github.com/zhangxiaoning666/PAGR
報告5：深度學習在無人駕駛領域的應用
楊明 上海交通大學教授
報告人簡介
楊明教授為上海交通大學教授、博士生導師，寶鋼全國優秀教師，上海市浦江人才，《IEEE Transaction on Intelligent Vehicles》期刊編委，中國人工智慧學會智能機器人專委會常務委員。
長期從事無人車和智能機器人等方面研究工作，主持國家和省部級無人車相關項目10餘項，國際合作和企業合作項目20餘項，在國內外學術刊物上發表論文100餘篇，獲國家發明專利授權近20餘項。
在智能車領域積累了豐富的實踐經驗，2007、2008年獲全國智能車競賽冠軍，2009年獲智能車未來挑戰賽季軍，2010-1016年先後在上海世博會、工博會、上海車展、智博會展示研究成果，其產品在萬科集團、格力、中控等國內知名企業推廣應用
相關論文
Qianqian Bi, Ming Yang, Chunxiang Wang, Bing Wang, An Efficient Hierarchical Convolutional Neural Network for Traffic Object Detection, 2018 IEEE Intelligent Vehicles Symposium (IV"18), June 26-29, Changshu, China (Best Workshop Paper Awards-First Prize)
Liuyuan Deng, Ming Yang, Yeqiang Qian, Chunxiang Wang, Bing Wang, CNN Based Semantic Segmentation for Urban Traffic Scenes Using Fisheye Camera, 2017 IEEE Intelligent Vehicles Symposium(IV17), June 11-14, 2017, Redondo Beach, CA, USA, 231-236
報告6：「Deep Revolution」 in Image Restoration and Beyond
董彬 北京大學副教授 國家青年千人
報告人簡介
董彬，北京大學，北京國際數學研究中心研究員，北京大數據研究院深度學習實驗室研究員、生物醫學影像分析實驗室副主任。
2009年在美國加州大學洛杉磯分校（UCLA）數學系獲得博士學位。
博士畢業後曾在美國加州大學聖迭戈分校（UCSD）數學系任訪問助理教授、2011－2014年在美國亞利桑那大學（University of Arizona）數學系任（Tenure-Track）助理教授，2014年底入職北京大學。
主要研究領域為應用調和分析、優化方法、機器學習、深度學習及其在圖像和數據科學中的應用。
應用包括圖像重建及修復、生物與醫學成像、生物醫學影像分析、疾病量化、治療方案優化等問題。
於2014年獲得求是基金會的求是傑出青年學者獎，2015年入選中組部第十一批「千人計劃」青年人才。
相關網路 ResNet, FractalNet, PolyNet, RevNet
相關論文
Lu, Yiping, Aoxiao Zhong, Quanzheng Li, and Bin Dong. "Beyond Finite Layer Neural Networks: Bridging Deep Architectures and Numerical Differential Equations." (2018).
http://bicmr.pku.edu.cn/~dongbin/Publications/DynamicsOfNN.pdf
Long, Zichao, Yiping Lu, Xianzhong Ma, and Bin Dong. "PDE-Net: Learning PDEs from Data." (2018).
http://bicmr.pku.edu.cn/~dongbin/Publications/PDE-Net.pdf
報告7：深度特徵學習與應用
楊淑媛 西安電子科技大學教授
報告人簡介
西安電子科技大學教授，完成多項國家自然科學基金，主持多項國家級/省部級科研項目，多項總裝預研項目。
研究成果在IEEE著名期刊上發表多篇長文(IEEE Trans on Neural Networks and Learning System, IEEE Trans on Image Processing, IEEE Trans on Geoscience and Remote Sensing等)。
獲陝西省科學技術一等獎多項，吳文俊人工智慧青年創新二等獎等。
入選教育部新世紀優秀人才、陝西省科技新星計劃。
相關論文
Xu Liu, Licheng Jiao, Jiaqi Zhao, Jin Zhao, Dan Zhang, Fang Liu, Shuyuan Yang, Xu Tang: Deep Multiple Instance Learning-Based Spatial-Spectral Classification for PAN and MS Imagery. IEEE Trans. Geoscience and Remote Sensing 56(1): 461-473 (2018)
Licheng Jiao, Miaomiao Liang, Huan Chen, Shuyuan Yang, Hongying Liu, Xianghai Cao: Deep Fully Convolutional Network-Based Spatial Distribution Prediction for Hyperspectral Image Classification. IEEE Trans. Geoscience and Remote Sensing 55(10): 5585-5599 (2017)
Hongying Liu, Qiang Min, Chen Sun, Jin Zhao, Shuyuan Yang, Biao Hou, Jie Feng, Licheng Jiao: Terrain classification with Polarimetric SAR based on Deep Sparse Filtering Network. IGARSS 2016: 64-67
報告8：Towards understanding generalization, optimization dynamics, and robustness in deep learning
朱占星 北京大學數據科學研究中心、北京大數據研究院特聘研究員
報告人簡介
朱占星，北京大學數據科學研究中心研究員，北京大數據研究院研究員。
主要研究領域為人工智慧，機器學習，深度學習的優化方法，深度學習機制理論，大規模貝葉斯計算與優化理論，機器學習在交通大數據應用及計算機圖形學中的應用等，在機器學習領域頂級期刊及會議有多篇文章發表，包括NIPS, ICML, ACL, AAAI及 ECML等。
相關論文
Wu, Lei, Zhanxing Zhu, and E. Weinan. "Towards Understanding Generalization of Deep Learning: Perspective of Loss Landscapes." arXiv preprint arXiv:1706.10239 (2017).
https://arxiv.org/pdf/1706.10239.pdf
Zhu, Zhanxing, Jingfeng Wu, Lei Wu, Jinwen Ma, and Bing Yu. "The Regularization Effects of Anisotropic Noise in Stochastic Gradient Descent." arXiv preprint arXiv:1803.00195(2018).
報告9：深度學習中神經網路的可解釋性
張拳石 上海交通大學約翰?霍普克羅夫特計算機科學中心長聘教軌副教授
報告人簡介：
見 http://qszhang.com/files/CV.pdf
相關論文
Zhang, Quanshi, Ying Nian Wu, and Song-Chun Zhu. "Interpretable convolutional neural networks." arXiv preprint arXiv:1710.00935 2, no. 3 (2017): 5.
http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Interpretable_Convolutional_Neural_CVPR_2018_paper.pdf
Zhang, Quanshi, Ruiming Cao, Feng Shi, Ying Nian Wu, and Song-Chun Zhu. "Interpreting cnn knowledge via an explanatory graph." arXiv preprint arXiv:1708.01785 (2017).
https://arxiv.org/pdf/1708.01785.pdf
Zhang, Quanshi, Wenguan Wang, and Song-Chun Zhu. "Examining CNN Representations With Respect To Dataset Bias." (2018).
http://www.stat.ucla.edu/~sczhu/papers/Conf_2018/AAAI_2018_DNN_Learning_Bias.pdf
其中網路結構如下
Zhang, Quanshi, Ruiming Cao, Ying Nian Wu, and Song-Chun Zhu. "Mining object parts from cnns via active question-answering." In Proc IEEE Conf on Computer Vision and Pattern Recognition, pp. 346-355. 2017.
http://www.stat.ucla.edu/~sczhu/papers/Conf_2017/CVPR_2017_CNN_AOG_by_QA.pdf
網路結構如下
Zhang, Quanshi, Ruiming Cao, Ying Nian Wu, and Song-Chun Zhu. "Growing Interpretable Part Graphs on ConvNets via Multi-Shot Learning." In AAAI, pp. 2898-2906. 2017.
https://www.aaai.org/ocs/index.php/AAAI/AAAI17/paper/download/14909/14494
網路結構如下
Zhang, Quan-shi, and Song-Chun Zhu. "Visual interpretability for deep learning: a survey." Frontiers of Information Technology & Electronic Engineering 19, no. 1 (2018): 27-39.
https://arxiv.org/pdf/1802.00614.pdf
相關代碼
https://github.com/zqs1022/interpretableCNN
https://github.com/zqs1022/explanatoryGraph
https://github.com/zqs1022/partGraphForCNN
報告10：Recent Advances in Random Matrix Theory for Neural Networks
廖振宇 巴黎中央理工大學博士
報告人簡介
見 https://zhenyu-liao.github.io/
相關論文
Z. Liao, Y. Chitour, R. Couillet, 「Almost Global Convergence to Global Minima for Gradient Descent in Deep Linear Networks」, (submitted to) The 32nd Annual Conference on Neural Information Processing Systems (NIPS 2018), Montréal, Canada, 2018.
https://zhenyu-liao.github.io/pdf/GDD_nips2018.pdf
Louart, Cosme, Zhenyu Liao, and Romain Couillet. "A random matrix approach to neural networks." The Annals of Applied Probability 28, no. 2 (2018): 1190-1248.
https://arxiv.org/pdf/1702.05419.pdf
參考資料
http://kjc.ahu.edu.cn/b9/ea/c12346a178666/page.htm
http://eeit.hnu.edu.cn/info/1205/2053.htm
https://isn.xidian.edu.cn/info/1003/2706.htm
http://auto.hust.edu.cn/info/1115/3685.htm
http://www.ncepu.edu.cn/xshd/112263.htm
http://web.xidian.edu.cn/syyang/
http://www.dl.pku.edu.cn/article/content/view?id=201
https://zhuanlan.zhihu.com/p/40097048
TAG:機器學習blog |