1 分类与表达式
1.1 分类
例子：
Email：垃圾（span）邮件/非垃圾（not span）邮件
在线交易：是/否欺诈（Fraudulent）
肿瘤：恶性/良性
y∈{0,1}:{Negative,Position} @H_404_116@→y∈{0,1,2,3,⋯}:多类 @H_404_116@逻辑回归
0≤hθ(x)≤1
离散变量：{0,1} 1.2 假设函数的表达式
@H_480_301@hθ(x)=g(θTx)g(z)=@H_521_404@1@H_404_413@1+e−z⎫⎭⎬⎪⎪⎪⎪⇒hθ(x)=11+e−θTx @H_404_116@
hθ(x) 为y=1 的概率值，当取输入为x 时，
→hθ(x)=p{y=1|x;θ}
s.t.p{y=0|x;θ}+p{y=1|x;θ}=1 1.3 决策边界
hθ(x)=g(θ0+θ1x1+θ2x2) 假定
y=1 ，当hθ(x)≥0.5 （阈值）则
g(θTx)≥0.5 （阈值），即θTx≥0 ，θ@H_527_1301@0+θ1x1+θ2x2≥0 1.4 非线性决策边界
hθ(x)=g(θ0+θ1x1+θ2x2+θ3x21+θ4x22)θ0=θ1=θ3=−1@H_301_1785@θ2=0θ4=1⎫⎭⎬⎪⎪⇒−1+x21+x22=0 @H_404_116@
训练集→ （拟合）→ 边界2 @R_301_142@
2.1 代价函数
J(θ)=1m∑i=1mCost(hθ(x(i)),y(i))
其中，
Cost(hθ(x),y)={@H_26_2301@−log(hθ(x)),−log(1−hθ(x)),y=1y=0 @H_404_116@
其中J(θ) 为 凸函数。2.2 简单的代价函数与梯度下降法
Cost(hθ(x),y)=−ylog(hθ(x@H_404_2606@))−(1−y)log(1@H_404_2643@−hθ(x))
→J(θ)=−1m[∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)@H_532_3014@))]
Objection.→minθJ(θ) 梯度下降法
Repeat{θj=θj−α1m∑i=1m(hθ(@H_545_3301@x(i))−y(i))x(i)@H_86_3403@j} @H_404_116@
这一迭代形式与“ 线性回归”中的梯度下降法相同，但是“h(x(i)) ”是不同的。其中， 特征缩放（归一化）一样适用。2.3 高级优化方法
用于求解
min@H_648_3502@J(θ) ，收敛速度更快。优化算法
- 梯度下降法（Gradient descent）
- 共轭梯度法（Conjugate gradient）
- 变尺度法（BFGS）
- 线性变尺度法（L-BFGS）
其中 2，3，4 优化算法无需学习参数
α ，且效率比梯度下降法更好。3 多类别分类
方法： 一对多算法（One-vs-all）
例子：
Email foldering/tagging: work(y=1) ,friends(y=2) ,family(y=3) ,hobby(y=4)
maxih@H_403_3752@(i)θ(x) 当
y=1,2,3,…,n ，令y=i 为1 ，其他为0 ，采用逻辑回归方法，做n 次分类。4 解决过拟合问题
4.1 过拟合
J(θ)≈0→0 解决方法
诊断，调试
@H_248_4031@4.2 代价函数
- 减少特征数量（舍弃特征）
- 正则化（保留所有特征）
@H_59_4036@
@H_94_4038@@H_150_4039@@H_403_4040@@H_949_4041@@H_71_4042@@H_384_4043@@H_649_4044@@H_982_4047@hθ(x)=θ0+θ1x@H_301_4125@1+θ2x2+θ3x3+θ4x4 希望
θ3 ,θ4 尽量小，则
minθ12m∑i=1m(hθ(x@H_109_4502@(i))−y(i))2+1000θ3+1000θ4惩罚项(实例) @H_404_116@正则化
对某些参数增加惩罚项，其中针对所有参数的为
J(θ)=12m[∑i=1m(hθ(x(i))−y(i))@H_662_5025@2+λ∑j=1nθ2j] 其中，
@H_502_5216@4.3 正则化的线性回归λ 为正则化参数，@H_502_5145@λ 过大，会使得θj→0 ，以至于欠拟合。
J(θ)=12m[∑i=1m(hθ(x(i))−y@H_490_5403@@H_324_5404@(i))2+λ∑j=1nθ2j]
minθJ(θ) 梯度下降法
θ0=θ0−α1m∑i=1m(hθ(x(i))−y(i))x(i)0θj=θj−α[1m∑i=1m(hθ(x(i))−y(i))x(i)j+λmθj]j=1,2,3,⋯,n @H_404_116@正规方程
θ=(XTX)−1XTy→θ=⎛⎝⎜⎜⎜⎜⎜@H_502_6369@XTX−λ@H_323_6403@@H_337_6404@⎡⎣⎢⎢⎢⎢⎢0@H_525_6502@1⋱1⎤⎦⎥⎥⎥⎥⎥(n+1)⎞⎠⎟⎟⎟⎟⎟−1XTy @H_404_116@当
(XTX)−1 不可逆时，可将其转化为可逆矩阵。4.4 正则化逻辑回归
J(θ)=[−1m@H_403_6944@∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]+λ@H_502_7244@2m∑j=1nθ2j
minθJ(θ) 采用梯度下降法等优化算法求解。
@H_404_116@ 原文链接：https://www.f2er.com/regex/359574.html猜你在找的正则表达式相关文章
