一个朋友收集的神经网络相关资料

https://youtu.be/nwk0mfpOi_s

An interesting way for analytics. Neural net may not be as good as those intuitive ways with the help of financial knowledge.
https://youtu.be/oI1eJa-UWNU
一個可以感覺到別人如何run simulation 的過程。我們做到這個部分，就有一個可以demo的東西。

FYI sklearn http://scikit-learn.org/stable/
看一下amazon 的echo。後頭有個分析的大腦，及連接的服務。
http://www.amazon.com/Amazon-SK705DI-Echo/dp/B00X4WHP5E http://deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_convolution
Andrew Ng 的 解說
http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial
講CNN的細節
http://www.cnblogs.com/tornadomeet/archive/2013/05/05/3061457.html
staford 的吳恩達 Andrew Ng, Toronto 大学的 Hinton, 纽约大学的 LeCanm.sohu.com/n/465415755

有名的神經網路結構 包括 CNN convolutional neural network, DBN Deep belief network.

他们都被叫做 DNN Deep Neural Network. 因为结构都很多层

DEEP 是多层的意思，不是 很深， 很难的意思

(1) 一個有意義的見解
https://youtu.be/t4kyRyKyOpo
(2) 證明人腦的學習算法的真實性
https://youtu.be/AY4ajbu_G3k
(3)另個應用是類似這樣的臉部辨識系統
http://m.youtube.com/watch?v=Nyu_T6eN0wU http://www.economist.com/news/briefing/21650526-artificial-intelligence-scares-peopleexcessively-so-rise-machines
(4) IBM做的neural chip
http://www.theguardian.com/technology/2014/dec/09/synapse-ibm-neural-computing-chip
(5)有空時，一定要看這個video。用人工智慧學會玩任天堂
http://youtu.be/qv6UVOQ0F44
這也是一種類似神經網路的做法。非常cool，它的input 就是屏幕的數位化。output就是要如何按任天堂的幾個鍵。整個系統就是要讓分數提高。所以，訓練的過程，就是要如何優化得分。

Unsupervised learning 

1: Restricted Boltzmann machines

2: Autoencoder

3: Sparse Coding model

Bayesian network 

Markov chain Monte Carlo

Markov property , memorylessness 
https://www.youtube.com/playlist?list=PL6Xpj9I5qXYEcOhn7TqghAJ6NAPrNmUBH https://www.youtube.com/watch?v=Fae0j1WN1zA
Bayesian learning

Nanodo de Freitas

At 36 min point, detail picture

(6) Nature paper
http://www.nature.com/news/computer-science-the-learning-machines-1.14481 http://youtu.be/PCql2DgW5sE
Brain simulation 

Galaxy like 
http://youtu.be/LS3wMC2BpxU
以下是我自己寫的觀點，自己與自己辯論。供你做參考  不一定對的。主要是哲學思考。

簡單是複雜的基礎 一個存在複雜的系統，必須建構在一個簡單的定律之下，才能穩定演進。

Back propagation 只是個算法。在人類成長學習過程。直覺上，應該不是BP的方式。BP的算法裡，有太多的精算及簡略。這是有矛盾的。神經細胞的輸入輸出是個可微分的函數，這是為了可以用個數學模式描述及演算中。後來使用其它的，像 pooling，softmax，這都是一種簡化及average的效果。

同時，pooling，softmax，dropout都是簡化的方式去加速收斂。University of Montreal 的Bengio 教授，很清楚的指出BP 只是一個對於變數算gradient的方法， 它不是learning rule。只是計算w 的一部分。他也指出，deep NN 在supervised learning 上，技巧性的在initialization 及 rectifier 在RBM上，使得多layer 的計算變得可能。 這些才使DNN進入一個新時代。

如何經由計算得到 weighting，這是一個挑戰。如何有技巧的initialize weight 也成為一個大事。所謂learning，就是如何update weight。只是，這是對的方式嗎？也只能解釋，這只是其中的一個model。

有人的看法也是接近這個觀點。提出local learning。由生物神經細胞實體觀察，Henan learning rule描述synaptic的改變，是與之前，之後的神經細胞有關，只是不了解這個觀點的細節。

以哲學觀點來看，宇宙銀河的星球及微小粒子的關係都是由幾個簡單清楚的定律描述。整個宏觀的模型描述是明白的。從牛頓的定律到愛因斯坦的相對論，都是以簡單的模式來描述一個複雜系統。古人的 天，地，人的和諧闡述，也接近這個觀點。

F=Ma

E=MC*C

人體腦的主要結構，從嬰兒開始，就是個基本架構。只是在內容上，由外部的刺激，有所增加變化。

我一直對motion equation 的模式，比較接受。它就是一個簡單的基本定律。描述每個神經細胞的共同模式。周遭的變化就是它所關心的。這是三大定律之一，慣性定律。

另一個，吸引定律。F=G M1M2/ (r*r)

奇想: M是U 還是V， F感覺像是給U的力量，所以，以V 來看的話

du/dt = d (sum( G V1Vn))/dt

另外，準度計算是否必要，也是一個哲學問題。如果所有的計算是在絕對準度下運算，這個模型一定昂貴。

提出一個假設。所有的計算是在一個dynamic range，而且是用integer 的level來做。這是為了計算的速度。也就是neuron的輸入，只可能在一個範圍內，太小，太大，都沒意義。

每個neuron的行為，是一個磁滯現象。

不管是哪一個模型，RBM，HNN, CNN，RNN，覺得都是接近。前面都是feature extraction，再來是 selection 或pooling，最後是classification。大家的難題都是如何調weight。