Simone
现在深度学习网络模型已能够识别较为常见的自然图像。深度学习的模型随着不断的更新改进以及计算机硬件特别是 GPU 的发展，不止提高了图像分类的准确度，而且也避免了大量的人工特征提取的工作。在不久的未来，随着图像数据增多，基于深度学习对图像处理的方法很有可能成为主流图像分类技术。虽然目前基于卷积神经网络图像分类系统虽然很多，而且在识别效果上非常不错。但其中一些基本问题仍然没有得到很好的解决，主要表现在两个方面：第一、尚未形成一套完整的通用理论。现在许多识别系统都是根据特定的数据库进行特别的设计网络的深度和层次，通过不断的摸索发现最佳的参数和优化算法，人为因素比较大，也没有较系统的理论阐述影响卷积神经网络识别效果的因素。第二、现有的方法尚存在一些缺陷。特别是对自然图像进行分类识别时，对卷积神经网络的初始状态参数以及寻优算法的选取，会对网络训练造成很大影响，选择不好会造成网络的不工作，或者有可能陷入局部极小、欠拟合、过拟合等诸多问题
卷积神经网络如何解决线性不可分问题。能给我具体用文字阐述一下吗
MSE 的公式为：cross entropy 一般用于分类问题，表达的意思是样本属于某一类的概率,公式为： 这里用于计算的a也是经过分布统一化处理的（或者是经过Sigmoid函数激活的结果），取值范围在0~1之间。在tensorflow中常见的交叉熵函数有：Sgimoid交叉熵，softmax交叉熵，Sparse交叉熵，加权Sgimoid交叉熵MSE的预测值和真实值要控制在同样的数据分布内，假设预测值经过Sigmoid激活函数得到取值范围时候0 1之间，那么真实值也要归一化成0 1之间。 在tensorflow中没有单独的MSE函数，可以自己组合：MSE=tf.reduce_mean(tf.square(logits-outputs)) softmax_cross_entropy_with_logits 函数，必须要自己定义，比如：loss = tf.reduce_mean(-tf.reduce_sum(labels*tf.log(logits_scaled),1)) 损失函数的选取取决于输入标签数据的类型：如果输入是实数、无界的值，多使用MSE；如果输入标签是位矢量（分类标志），使用cross entropy比较合适 补充知识点：reshape（） 函数接受-1时，该行（列）数可以为任意值。[-1,1]代表行数随意，列数变成1。模型生成的z用公式可以表示成z=x1w1+x2w2+b，如果将x1和x2映射到直角坐标系中的x和y坐标，那么z就可以被分为小于0和大于0两部分。当z=0时，就代表直线本身。这次再在刚刚的二分类基础上再增加一类，变成三类，可以使用多条直线将数据分成多类。生成的X,Y的数据样本如下内容：常用的激活函数比如sigmoid，relu，tanh输出值只有两种，面对以上多分类问题，就需要使用softmax算法。该算法的主要应用就是多分类，而且是互斥的，即只能属于某一类。（对于不是互斥的分类问题，一般使用多个二分类来组成）
也可以画出更直观的图示：例如：对于线性不可分的数据样本，可以使用多层神经网络来解决，也就是在输入层和输出层中间多加一些神经元，每一层可以加多个，也可以加多层。在模型训练过程中会出现欠拟合和过拟合的问题，欠拟合的原因并不是模型不行，而是我们的学习方法无法更精准地学习到适合的模型参数。模型越薄弱，对训练的要求就越高，但是可以采用增加节点或者增加隐藏层的方式，让模型具有更高的拟合性，从而降低模型的训练难度。过拟合的表现在模型在训练集上的表现非常好，loss很小；但是在测试集上的表现却非常差。避免过拟合的方法很多：常用的有early stopping、数据集扩增、正则化、dropout本质就是加入噪声，在计算loss时，在损失后面再加上意向，这样预测结果与标签间的误差就会受到干扰，导致学习参数W和b无法按照目标方向来调整，从而实现模型与训练数据无法完全拟合的效果，从而防止过拟合。这个添加的干扰项必须具有如下特性：这里有两个范数L1和L2：tf.reduce_sum(tf.abs(w)) tf.nn.l2loss(t,name=None) 拿上面的异或数据做举例，dropout方法就是在刚刚的layer_1层后面再添加一个dropout层。实际训练时，将keep_prob设置成0.6，意味着每次训练将仅允许0.6的节点参与学习运算。由于学习速度这样就变慢了，可以将learning_rate调大，加快训练速度。 注意：在测试时，需要将keep_prob设置为1。 全连接神经网络是一个通用的拟合数据的框架，只要有足够多的神经元，及时只有一层hidden layer，利用常见的Sigmoid，relu等激活函数，就可以无限逼近任何连续函数。在实际使用中，如果想利用浅层神经网络拟合复杂非线性函数，就需要你靠增加的神经元个数来实现，神经元过多会造成参数过多，从而增加网络的学习难度，并影响网络的泛化能力。因此，在实际构建网络结构时，一般倾向于使用更深的模型，开减少所需要的神经元数量。
卷积神经网络算法与其他同类算法的优缺点比较 ，你上面回答了一个是卷积神经网络的优缺点，注意一下题，亲亲
卷积神经网络算法与深度神经网络算法的优缺点比较，麻烦你最后回答一下这个问题，我很着急
深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。
