Encog3.2学习笔记（二）

从一个简单的例子开始

Predict，从sample中分离出来的子项目，使用tanh函数作为激活函数（默认，可以选择sigmoid）

下图为encog支持的各种激活函数（好吧，高斯函数，不论是作为核函数还是正态分布，哪里都能找到它）。

public static final String AF_BIPOLAR="bipolar";
public static final String AF_COMPETITIVE="comp";
public static final String AF_GAUSSIAN="gauss";
public static final String AF_LINEAR="linear";
public static final String AF_LOG="log";
public static final String AF_RAMP="ramp";
public static final String AF_SIGMOID="sigmoid";
public static final String AF_SSIGMOID="ssigmoid";
public static final String AF_SIN="sin";
public static final String AF_SOFTMAX="softmax";
public static final String AF_STEP="step";
public static final StringAF_TANH="tanh";

确认节点数目，初始化节点

从构建一个空的神经网络开始，

EncogUtility.simpleFeedForward(INPUT_WINDOW,PREDICT_WINDOW*2,0,1,true);

其中，显然INPUT_WINDOW作为入参表达入参数量（也就是输入层节点数），然后是隐藏层1节点数，隐藏层2节点数（如果为0，表示无此层），输出层节点数，激活函数类型(true表示sanh激活函数，false表示sigmoid)。

在simpleFeedForward首先创建一个pattern，用于记录各层数据，

final FeedForwardPattern pattern = new FeedForwardPattern();

之后由

final BasicNetwork network = (BasicNetwork)pattern.generate();

执行创建神经网络。

在generate函数内开始按照节点创建各种BasicLayer，注意这是一个通用类型，可以是输入层，隐藏层或者输出层。创建完成后，

result.getStructure().finalizeStructure();

进行层的管理，从注释的表达上说，应该是为了构建一个可动态增加修改层和节点数的神经网络，因此对诸多层进行了浅复制和构建了一个FlatNetwork，注意FlatNetwork和BasicNetwork没有继承派生关系。这个flat存储于structure的flat。

flat是用于实际计算的神经网络，存储了权重，偏置等量

随后既是随机各层参数result.reset();。值得一提的是，NguyenWidrowRandomizer这个类根据

double b = 0.7d *Math.pow(toCount,(1d/fromCount))/(high-low);

计算出随机数的范围，而不再是传统意义上的BP神经网络的-0.5到0.5的范围。

同时，认定The bias neuron is alwaysthe last neuron on a layer.也就是每一层都会设置一个偏置神经元，这个神经元是所属层最末（右，下，参考神经元整体图像）。
对于这种偏置神经元设置的范围为-b到b，而其它节点都是0至b之间。、

疑问：final BasicNetwork network = (BasicNetwork)pattern.generate();
network.reset();
generate内已经reset一次，为什么还要reset一次？
在Predict内依旧再次reset

准备训练样本

TemporalWindowArray temp = new TemporalWindowArray(INPUT_WINDOW,PREDICT_WINDOW);
temp.analyze(a);
return temp.process(a);最终生成MLDataSet也就是最终的训练样本集。

Process是较为重要的一个过程，他包含了数据的整理，比如入参和出参的配对。

/**
* Process the array.
* @param data The array to process.
* @return A neural data set that contains the time-series.
*/
public final
MLDataSet
process(final
double[]
data)
{
final MLDataSet
result
=
new
BasicMLDataSet();

final int
totalWindowSize =
this.inputWindow
+
this.predictWindow;
final int
stopPoint
=
data.length
-
totalWindowSize;
for (int
i
=
0;
i
<
stopPoint;
i++)
{
final
MLData
inputData

=
new
BasicMLData(this.inputWindow);
final
MLData
idealData

=
new
BasicMLData(this.predictWindow);
int
index
=
i;
// handle input window
for
(int
j
=
0;
j
<
this.inputWindow;
j++)
{

inputData.setData(j,
data[index++]);
}//显然inputWindow决定了每个点用来训练的样本是从此点起向后inputWindow个点

// handle predict window
for
(int
j
=
0;
j
<
this.predictWindow;
j++)
{

idealData.setData(j,
data[index++]);
}//设置已知的值作为校验字段

假设输入窗口5，输出窗口2
那么，训练样本是从i开始5个数据，6-7个数据作为验证样本

final
MLDataPair
pair
=
new
BasicMLDataPair(inputData,

idealData); //设置一组样本和实际值

result.add(pair);
}
return result;
}