對圖像中的字母進行無監督學習

新智元編譯

作者：Alberto Testolin,Ivilin Stoianov &Marco Zorzi

編譯：熊笑

【新智元導讀】Nature 子刊 Nature Human Behavior上最新發表了一篇關於人類行為的研究，通過對自然圖像中的字母進行無監督學習，探討了人類是如何獲得文字識別能力的。研究人員提出了一個基於深度神經網路的大規模字母識別計算模型，通過將概率生成模型與視覺輸入擬合，以完全無監督的方式開發了複雜的內部表徵的層次結構。

書寫符號的使用是人類文化發展的重大成就。然而，抽象的字母表徵是如何在視覺中進行學習的，這仍然是未解決的問題。昨天發表在Nature.com 上的一篇題為Letter perception emerges from unsupervised deep learning and recycling of natural image features 的研究報告中，研究人員提出了一個基於深度神經網路的大規模的字母識別計算模型，通過將概率生成模型與視覺輸入擬合，以完全無監督的方式開發了更為複雜的內部表徵的層次結構。

有這樣一個假設，學習書寫符號部分地重新使用了用於對象識別的預先存在的神經元迴路，模型的早期處理階段利用了從自然圖像中學習的一般領域（domain-general）的視覺特徵，而特定領域（domain-specific）的特徵則出現在曝光於印刷字母前的上游神經元中。研究論證，即使對於雜訊降級（noise-degraded）的圖像，這些高級別表徵可以很容易地映射到字母識別，從而產生和人類觀察者類似的對於字母認知的廣泛實證結果的準確模擬。研究者的模型顯示出，通過重用自然的視覺原語（primitives），學習書寫符號只需要有限的、特定領域的調整，這支持了字母形狀被文化選擇以匹配自然環境的統計結構的假設。

圖 1a 刻畫了研究者提出的模型的整體架構。網路底層接收了作為圖像像素 灰度級別激活編碼的感知信號。出現在視網膜和丘腦中的低級別視覺處理被一個啟發自生物學的 whitening 演算法所模擬，捕捉到了圖像中的局部空間關係，成為了對比歸一化（contrast normalization）的一個步驟。

圖1 是深度學習架構和自然圖像及印刷字母數據樣本。a，深度學習架構。每個框代表了網路中的一層神經元。和 whitening 步驟相應的有方向的箭頭引出了前饋的處理過程，而無方向的連接顯示了無監督生成學習所利用的雙向處理過程。和線性讀數層相應的有方向的箭頭引出了監督學習。在字母處理過程中涉及到的相應大腦網路顯示在右側（LGN,背外側膝狀體核; V1, 首要視覺皮層; V2, 二級視覺皮層; V4, 紋狀體外視覺皮層；OTS, 顳枕溝）；b,包含多個小 patch （40 × 40 pixels）的自然圖像，顯示在右側；c,研究者的數據集中印刷字母的樣本，使用多種字體、風格、大小和位置關係創造而成。

研究人員將編碼在第一個內部層（隱式）神經元的潛在特徵集稱為H1, H1 模仿了出現在早期大腦皮層視覺（corticalvision ，在 V1 和 V2 中）的處理類型。

圖2 是新出現的神經元感受野（receptive fields）、表徵選擇和模型中字母識別準確度。a,在 H1 層中神經元樣本的感受野，灰度體現其連接強度（黑色：強，inhibitory connection；白色：強，excitatory connection）；b,H2 層中隱式神經元樣本的感受野；c 和 d，H1 層（c）和H2層（d）中對於不同刺激的平均反饋（activation norm）；e, 作為雜訊級別函數（即, 高斯雜訊的標準偏差）的不同表徵層讀數的準確度；f，無雜訊刺激樣本，及含雜訊的對應版本，性能表現約為前者的 50%。

圖3 是人類心理物理學研究的模擬。 a，模型混淆矩陣和各種經驗混淆矩陣之間的Pearson 相關性（均P

圖4 是感知渠道中介字母識別的空間頻率分析。 a，b，疊加在高斯雜訊（均方根對比度= 0.2）和背景（亮度= 0.2）上的低通（a）和高通（b）濾波字母的樣本； c，根據濾波器類型的H2讀數敏感度對比函數，每個字母的頻率範圍從 0.8 到 6.6（兩個軸均為對數）。注意，與對應於低通和高通雜訊的曲線相比，對應於低通濾波和高通濾波的曲線相反，因為研究者直接對輸入信號而不是調製雜訊進行濾波。

【號外】新智元正在進行新一輪招聘，飛往智能宇宙的最美飛船，還有N個座位

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！