【課程時長】

3天（6小時/天）

【課程簡介】

在所有人工智能的應用方向上，計算機視覺/機器視覺圖像處理的落地應用最為成熟，近兩年的技術發展是最為迅猛。

以互聯網巨頭為代表的企業正在開展如：基于識別的智能機器人，無人駕駛，人臉識別、圖像搜索，圖像處理，游戲界面等；專門從事視覺、圖像處理的新興公司正在發力于人臉識別，檢測，跟蹤，安防等領域。只有對計算機視覺這個領域有了一個初步的全面了解才能在這些領域進行研究，一步步深入下去。

【課程目標】

l 計算機視覺領域的重點研究問題。由淺入深得 講解數字圖像的存儲、預處理、特征提取，以及在深度學習興起之前計算機視覺領域所取得的成就。

l 專門介紹深度學習的基礎理論知識，包括神經 網絡的基本原理，以及深度學習對于傳統神經 網絡的關鍵改進。

l 重點介紹深度學習模型在計算機視覺領域的應用。具體涉及在計算機視覺領域如何應用卷積 神經網絡（CNN)、區域卷積網絡（R-CNN) 全卷積網絡（FCN)、循環神經網絡（RNN)、 長短時記憶單元（LSTM)、生成對抗網絡 (GAN)等解決圖像應用的難點 課程將使用Python語言及Tensorflow、Keras 深度學習框架等進行案例實踐教學。

【講師介紹】

葉梓，博士、高級工程師。2005年上海交通大學計算機專業博士畢業，主研方向為數據挖掘、機器學習、人工智能等。現為某大型上市軟件企業的人工智能團隊技術負責人。曾主持多項國家戰略級人工智能項目，主持設計并搭建多個市級大數據平臺，在大數據、人工智能應用等方面有著豐富的工程實踐經驗。先后在SCI或EI期刊上發表論文4篇，在中文核心期刊上發表論文近20篇，并被百度學術收錄。2011年獲中國行業協會科技創新一等獎。

第一講 課程概述

1、計算機視覺的研究意義

2、計算機視覺的難點

3、當前研究的主要熱點問題（分類、目標檢測、實例分割、圖說等）

4、本課程的主要內容介紹

5、相關開源庫介紹（OpenCV、Tensorflow、Keras、pyTorch等）

6、應用案例：搭建tensorflow+opencv的環境

第二講 圖像預處理

1、圖像平滑與去噪（高斯濾波、中值濾波等）

2、基于直方圖的對比度增強:CLAHE

3、邊緣檢測算子（Sobel、拉普拉斯等）

4、形態學處理（腐蝕、膨脹、開閉運算等）

5、高斯金字塔與拉普拉斯金字塔

6、頻域分析及變換（卷積計算、傅里葉變換、小波變換）

7、應用案例：平滑、邊緣檢測、CLAHE、FFT等

第三講 圖像特征提取

1、顏色特征（量化直方圖、聚類直方圖）

2、幾何特征（Edge、Corner、Blob等）

3、Harris角點與FAST角點

4、基于關鍵點的特征描述子（SIFT、SURF、ORB）

5、其他特征提取（LBP、Gabor）

6、應用案例：SIFT、圖像拼接等

第四講 未有深度學習之前

1、基于灰度的圖像分割（閾值分割、區域生長、分水嶺等）

2、基于圖論：graph-cut與grab-cut

3、用于人臉檢測的Haar-like特征與級聯分類器

4、用于行人檢測的HOG+SVM

5、用于行人檢測的多尺度形變部件模型（DPM）

6、應用案例：人臉識別、行人識別

第五講 神經網絡與誤差反向傳播算法

1、人工神經元及感知機模型

2、目標函數（MSE）

3、激勵函數（sigmoid、tanh）

4、誤差反向傳播算法的推導

5、應用案例：可以手算的BP神經網絡

6、深度學習與神經網絡的區別與聯系

第六講 深度學習基礎

1、深度學習中的目標函數與激勵函數

2、深度學習中的求解方法（Adagrad、RMSprop、Adam等）

3、深度學習中的技巧（dropout、BN、weights decay等）

4、應用案例：利用tensorflow實現的手寫數字識別

5、卷積神經網絡介紹

6、卷積層的誤差反向傳播

7、池化層的誤差反向傳播

第七講 圖像分類

1、競賽中的分類問題

2、CNN的發展概述

3、開山之作：AlexNet

4、5層變為5組：VGG

5、組合所有可能的模型：GoogLeNet

6、殘差網絡：ResNet

7、深與寬之外的改進方向：ResNext

6、應用案例：VGG、ResNet

第八講 圖像檢索

1、檢索特征（基于顏色，紋理，形狀，局部特征）

2、特征相似度度量（EMD）

3、建立基于深度學習的檢索索引

4、知識點：遷移學習的一種實現（fine-tune）

5、索引加速：KD-tree

6、大數據條件下的索引加速：Locality Sensitive Hash

7、應用案例：CBIR的應用

第九講 目標檢測（上）

1、目標檢測任務概述

2、區域卷積神經網絡：R-CNN

3、共享卷積層與多尺度：SPP-Net

4、多任務的目標函數：Fast R-CNN

5、SS改成RPN：Faster R-CNN

6、其他數據集介紹：行人檢測、人臉檢測

7、應用案例：Faster R-CNN

第十講 目標檢測（下）

1、之前方法的總結

2、ROI-wise子網繼續共享：R-FCN

3、回歸解決一切：YOLO v1

4、八大改進：YOLO v2

5、構建語義樹：YOLO 9000

6、多尺度預測：YOLO v3

7、應用案例：Darknet實現的YOLO

第十一講 通用場景下的圖像分割

1、語義分割

2、全卷積網絡語義分割：FCN

3、知識點：反卷積、轉置卷積與空洞（膨脹）卷積

4、DeepLab v1（含CRF）

5、DeepLab v2（多尺度）

6、DeepLab v3與v3+(多尺度級聯)

7、PASCAL VOC、MS COCO、Cityscapes等數據集介紹

8、應用案例：DeepLab、denseCRF

第十二講 醫療影像分割

1、醫學影像分析任務概述與數據集

2、U-Net

3、3D U-NET與V-Net

4、FC-DenseNet

5、病理切片分析任務概述與數據集6、病理切片分析的實現

7、應用案例：利用U-Net實現的器官分割

第十三講 圖像描述（圖說）

1、深度學習的語言模型（RNN）

2、知識點介紹；LSTM與GRU

3、圖說模型原理與結構

4、模型增強：注意力機制

5、圖說效果的評判標準

6、數據集介紹（MS COCO， Flickr等）

7、應用案例：RNN簡單示例，圖像描述：show and Tell

第十四講 圖像生成

1、變分自編碼器（VAE）

2、生成對抗網絡（GAN）

3、知識點：KL散度與JS散度

4、改進的GAN：DCGAN

5、從根本上解決訓練的困難：Wasserstein GAN

6、超分辨率問題：SRGAN

7、應用案例：GAN與DCGAN等