3.线性模型
3.1基本形式
线性模型（linearmodel）形式简单、易于建模，如果能把问题都用线性模型来刻画，那现今的世界就单调多了，好在我们的宇宙是如此的丰富，以至于需要通过更强大的非线性模型（nonlinear model）来描述。然而，线性模型作为最基本的，再复杂的也都归于最简单，非线性模型在很多情况下都是在线性模型基础上通过引入层级结构或高维映射而来，分治策略思想。下面定义线性模型的基本形式：
给定由d个属性描述的示例x=(x1;x2;...;xd)，其中xi是x在第i个属性上的取值，线性模型将会学习到一个通过属性的线性组合来进行预测函数，即：
f(x)=w1x1+w2x2+…+ wdxd+b，用向量形式写成：f(x)=wTx+b
其中w=(w1;w2;...;wd)，w和b得到之后，模型就确定。
3.2线性回归
线性回归（linearregression）通过学习到一个线性模型来尽可能准确地预测实值输出标记。这句话的意思就是说，训练出一个线性模型的学习器，然后用来预测实值输出。给定数据集D={(x1,y1), (x2,y2),…, (xm,ym)}，其中xi=( xi1;xi2;...;xid)，yi∈R。
先考虑只有一个属性的线性回归，即yi ≈f(xi)=wxi+b。若是离散属性，其值之间存在序（order）关系，要将其连续化为连续值，假定属性有k个离散属性值，则转化为k维向量；若是离散属性，但值之间是无序的，在引入不恰当关系时会导致距离计算出现误差。
有模型了，有两点要研究了，一是求解w和b，二是衡量f(x)和y的差别。用均方误差来度量回归任务中的学习器性能。最小化均方误差：
（regularization）。
线性模型简单，但也有诸多变化。对于样例(x,y)，y∈R，定义线性回归模型y=w
Tx+b，使模型的预测值逼近真实的标记y。变化在于，能否令模型的预测值逼近y的衍生变化呢？就是说，w
Tx+b=g(y)，如将示例对应的输出标记定义为指数尺度上的变化，即g(y)=lny，也就是lny= w
Tx+b，折就是对数线性回归，也就是让e
wTx+b=y。这种关系的演变，虽然还是线性回归，但实际上已是求取输入空间到
