新書推薦：
《
大思维：哥伦比亚商学院六步创新思维模型
》
售價：HK$
72.8
《
宏观经济学（第三版）【2024诺贝尔经济学奖获奖者作品】
》
售價：HK$
155.7
《
UE5虚幻引擎必修课（视频教学版）
》
售價：HK$
110.9
《
真需求
》
售價：HK$
110.9
《
阿勒泰的春天
》
售價：HK$
50.4
《
如见你
》
售價：HK$
51.3
《
人格阴影 全新修订版，更正旧版多处问题。国际分析心理学协会（IAAP）主席力作
》
售價：HK$
67.0
《
560种野菜野果鉴别与食用手册
》
售價：HK$
67.1
|
| 內容簡介： |
|
深度学习是当前人工智能的引领技术，是引发新一轮人工智能热潮的原动力。本书从模型、算法、原理等角度全面介绍深度学习技术，包括近两年*成果。全书由三大部分组成。*部分是机器学习和神经网络基础，包括机器学习问题、浅层机器学习、早期神经网络等；第二部分是深度学习模型及算法，包括深度生成模型、卷积网络、循环和递归网络、表示学习等。第三部分是深度学习理论基础和前沿课题，包括深度学习表达能力分析、深度学习泛化能力分析、深度学习可视化、深度学习的数学、物理、神经科学基础等。
|
| 目錄：
|
前言
1 深度学习概述 1
1.1 人工智能与深度学习 1
1.2 深度学习的发展 2
1.2.1 深度学习的提出 2
1.2.2 深度学习的发展历程 4
1.2.3 深度学习的知识体系 23
1.2.4 深度学习的数学基础 25
1.2.5 深度学习的典型应用 27
1.2.6 深度学习当前面临的挑战 33
1.2.7 深度学习的未来 35
1.3 阅读材料 36
参考文献 37
2 机器学习基础 44
2.1 机器学习基本概念 44
2.1.1 定义 44
2.1.2 数据 45
2.1.3 机器学习的三要素 45
2.1.4 归纳偏好 47
2.2 机器学习发展历程 48
2.2.1 符号学派 48
2.2.2 联结学派 50
2.2.3 进化学派 51
2.2.4 贝叶斯学派 52
2.2.5 类推学派 53
2.3 生成模型和判别模型 54
2.4 监督学习 55
2.4.1 任务描述 55
2.4.2 评价标准 59
2.4.3 常用方法 60
2.5 无监督学习 73
2.5.1 任务描述 73
2.5.2 评价标准 74
2.5.3 常用方法 75
2.6 强化学习 88
2.6.1 任务描述 88
2.6.2 评价标准 90
2.6.3 常用方法 91
2.7 阅读材料 96
参考文献 97
3 早期神经网络 100
3.1 早期研究成果 100
3.1.1 神经网络雏形 100
3.1.2 MCP神经元模型 101
3.1.3 Hebbian学习规则 103
3.2 感知机 104
3.3 多层感知机 108
3.3.1 多层感知机的结构 108
3.3.2 多层感知机的通用近似性 109
3.3.3 前向传播过程 111
3.3.4 反向传播过程 112
3.3.5 训练过程实例 116
3.4 其他神经网络模型 121
3.4.1 自组织映射 121
3.4.2 Hopfield网络 123
3.5 神经网络的激活函数 125
3.6 深度的必要性 129
3.7 阅读材料 133
参考文献 134
4 深度学习的优化 136
4.1 深度学习优化的困难和挑战 136
4.1.1 局部极小值问题 137
4.1.2 鞍点问题 137
4.1.3 海森矩阵病态问题 138
4.1.4 梯度爆炸 139
4.1.5 梯度消失 140
4.2 梯度下降基本方法 141
4.2.1 批梯度下降 142
4.2.2 随机梯度下降 143
4.2.3 小批量梯度下降 144
4.3 动量 145
4.3.1 动量法 145
4.3.2 Nesterov动量法 147
4.4 自适应学习率算法 148
4.4.1 Adagrad算法 149
4.4.2 RMSprop算法 151
4.4.3 AdaDelta算法 153
4.4.4 Adam算法 155
4.4.5 Adamax算法 161
4.4.6 Nadam算法 162
4.4.7 AMSgrad算法 163
4.5 二阶近似法 165
4.5.1 牛顿法 165
4.5.2 DFP算法 166
4.5.3 BFGS算法 167
4.5.4 L-BFGS算法 168
4.5.5 共轭梯度算法 169
4.6 超参数调节方法 171
4.6.1 权值初始化 171
4.6.2 自动调节方法 171
4.6.3 手动调节方法 173
4.7 策略方法 174
4.7.1 批归一化 175
4.7.2 预训练 175
4.7.3 神经网络的压缩和加速 176
4.8 阅读材料 179
参考文献 180
5 正则化 184
5.1 理论框架 184
5.1.1 基本概念 184
5.1.2 过拟合与欠拟合 185
5.1.3 神经网络领域的正则化框架 186
5.2 参数范数惩罚 187
5.2.1 正则化 187
5.2.2 正则化 188
5.3 基于数据的正则化 189
5.3.1 数据集扩增 189
5.3.2 Dropout 190
5.4 基于优化过程的正则化 195
5.5 基于函数模型的正则化 197
5.6 基于误差函数的正则化 198
5.7 阅读材料 199
参考文献 199
6 卷积神经网络 201
6.1 卷积神经网络的神经科学基础 201
6.2 卷积神经网络的基本结构 202
6.3 卷积神经网络的操作 205
6.3.1 卷积层操作 205
6.3.2 池化层操作 208
6.3.3 激活函数 211
6.4 设计卷积神经网络的动机 215
6.4.1 局部连接 215
6.4.2 参数共享 218
6.4.3 理解卷积层 219
6.4.4 理解整流线性单元 223
6.4.5 理解池化层 225
6.4.6 卷积与池化作为强先验分布 229
6.5 卷积神经网络训练 230
6.5.1 卷积神经网络训练过程 230
6.5.2 输入图像预处理 237
6.5.3 卷积神经网络训练技巧 240
6.5.4 卷积神经网络实例 241
6.6 CNN用于图像分类 244
6.6.1 AlexNet 244
6.6.2 ZFNet 246
6.6.3 VGGNet 249
6.6.4 Inception 250
6.7 残差神经网络 258
6.7.1 ResNet 258
6.7.2 ResNet V2 262
6.7.3 ResNeXt 267
6.7.4 DenseNet 268
6.7.5 MobileNet 270
6.7.6 ShuffleNet 271
6.7.7 Wide Residual Networks 272
6.7.8 Dual Path Network 274
6.8 CNN用于目标检测 275
6.8.1 R-CNN 276
6.8.2 Fast R-CNN 278
6.8.3 Faster R-CNN 280
6.8.4 Mask R-CNN 282
6.9 CNN用于像素级语义分割 285
6.10 CNN用于超高分辨率成像 288
6.11 球形卷积神经网络 292
6.11.1 球形卷积神经网络设计动机 292
6.11.2 球形空间与旋转组之间的关系 293
6.11.3 应用G-FFT代替卷积操作 294
6.11.4 球形卷积神经网络实验 295
6.12 CNN用于文本处理 296
6.12.1 KimCNN 296
6.12.2 DCNN 298
6.13 胶囊网络 301
6.13.1 动态路由胶囊网络 301
6.13.2 EM路由矩阵胶囊网络 308
6.13.3 胶囊与卷积神经网络的区别 313
6.14 阅读材料 314
参考文献 315
7 循环神经网络 323
7.1 简单循环神经网络 324
7.1.1 简单循环神经网络的结构 324
7.1.2 循环神经网络的算法 328
7.2 循环神经网络的训练 330
7.2.1 损失函数和dropout 330
7.2.2 循环神经网络的训练技巧 331
7.3 长短期记忆神经网络 332
7.3.1 长短期记忆神经网络的起源 332
7.3.2 长短期记忆神经网络的结构 334
7.3.3 长短期记忆神经网络的算法 335
7.4 长短期记忆神经网络的训练 340
7.4.1 学习率 340
7.4.2 长短期记忆神经网络的训练技巧 340
7.5 RNN和LSTM的变体 343
7.5.1 RNN的简单变体 343
7.5.2 增强RNN 350
7.5.3 LSTM的变体 357
7.6 递归神经网络 367
7.6.1 递归神经网络的结构 367
7.6.2 递归神经网络的前向计算 368
7.6.3 递归神经网络的反向传播 369
7.7 循环神经网络的应用 370
7.7.1 词向量 370
7.7.2 评价指标 372
7.7.3 机器翻译 373
7.7.4 情感分析 377
7.7.5 对话模型 380
7.7.6 诗歌生成 383
7.7.7 图片描述 384
7.7.8 语音识别 387
7.7.9 手写识别 390
7.8 阅读材料 392
参考文献 393
8 注意力机制和记忆网络 397
8.1 注意力机制的概念 397
8.2 注意力机制的分类 399
8.2.1 基于项的注意力和基于位置的注意力 400
8.2.2 全局注意力和局部注意力 402
8.2.3 自身注意力机制 404
8.3 注意力机制和RNN的结合 405
8.4 注意力机制的应用 406
8.4.1 目标检测 406
8.4.2 图片标注 407
8.4.3 机器翻译 409
8.4.4 问答系统 413
8.5 注意力变体 418
8.5.1 结构化注意力机制 418
8.5.2 目标端注意力 420
8.5.3 单调对齐注意力 422
8.5.4 循环注意力 424
8.5.5 注意力之上的注意力 425
8.6 记忆网络 427
8.6.1 记忆网络基础模型 427
8.6.2 分层记忆网络 429
8.6.3 端到端记忆网络 431
8.6.4 动态记忆网络 433
8.6.5 神经图灵机 434
8.6.6 记忆网络的应用 438
8.7 阅读材料 440
参考文献 441
|
| 內容試閱：
|
山重水复疑无路，柳暗花明又一村。神经网络经过几起几落，在沉寂了近20年之后，2012年以来又得到世人的广泛关注，自2016年开始全方位再度爆发。神经网络再次振兴的根本原因在于人们找到训练深度网络的有效方法，并且开发了很多新的深度模型，这些模型及训练方法被统称为深度学习。近年来，深度学习在几乎所有分类和预测任务上超过以往模型，在图像、语音等的识别精度方面甚至超过人类，引发了人工智能的新一轮热潮。尽管近60年来人工智能已经出现几次热潮，但这次热潮明显不同于以往，它得到了世界各国学术界、产业界、政府和军队的高度关注。人们普遍认为，人类已经开启通向智能时代的列车，若干年后，人类将和人工智能共存。2016年以来，美国、英国、法国、德国、日本等国家纷纷制定人工智能发展战略。我国于2017年7月印发《新一代人工智能发展规划》。这一切的关注和行动都归功于深度学习的出现和极速发展。如果说深度学习、大数据和高性能计算是带领人类进入智能时代的三驾马车，那么深度学习无疑是其中的领跑者。2019年3月27日，ACM宣布将2018年度图灵奖授予深度学习之父Yoshua Bengio、Yann LeCun和Geoffrey Hinton，他们使深度神经网络成为计算的关键元素。
神经网络的发展可追溯到一个多世纪前。1890年，James出版了Physiology，首次阐明了有关人脑结构功能及相关学习联想记忆的规则。1943年，Mccullocb和Pirts提出了神经元突触模型中最原始最基本的模型MP模型，可完成任意有限的逻辑运算。1949年，Hebb通过对大脑神经细胞的人类学习行为和条件反射的观察和研究，提出了神经元学习的一般规则Hebbian学习规则。1958 年，Rosenblatt模拟实现了感知机（perceptron），给出了两层感知机的收敛定理，建立了第一个真正的神经网络模型。这个模型可以完成一些简单的视觉处理任务，这引起了轰动。整个20世纪60年代，这一方向的研究工作都很活跃，是神经网络的第一次热潮。但是，感知机只能做简单的线性分类任务。1969年，Minsky等出版了Perceptron，用数学证明了感知机的弱点，指出它对XOR（异或）这样简单的非线性分类任务都无法解决。Minsky等认为，如果将计算层增加到大于两层，则计算量过大，因此研究更深层的网络是没有价值的。Minsky等的影响力使很多学者放弃了神经网络的研究，神经网络的发展陷入第一次低谷。1982年，Hopfield提出了Hopfield网络，它引入能量函数的概念，使神经网络的平衡稳定状态有了明确的判据方法，保证了向局部极小值收敛。1986年，Rumelhart和Hinton等提出了反向传播（BP）算法（反向传播更早由Linnainmaa于1970年和Werbos 于1974年分别提出，但未得到广泛关注），解决了两层神经网络所需要的复杂计算量问题，从而带动了神经网络研究的第二次热潮。但是神经网络仍然存在若干问题：训练耗时太久，收敛于局部最优解。神经网络的优化仍然比较困难。1992年，Vapnik等提出了支持向量机（SVM），利用核技巧把非线性问题转换成线性问题。支持向量机在若干方面比神经网络有优势：无须调参、高效、有全局最优解。以支持向量机为代表的统计学习方法成为机器学习的主流，神经网络陷入第二次低谷。
2006年，Hinton等在Science上提出了深度置信网络（DBN），它有一个预训练和一个微调的训练过程，大幅度减少了训练多层神经网络的时间。他给多层神经网络相关的学习方法赋予了一个新名词深度学习。2011年，微软研究院和谷歌的研究人员先后采用深度神经网络技术降低语音识别错误率20%～30%，是该领域10年来的最大突破。2012年，Alex等将ImageNet图片分类问题的top-5错误率由26%降低至15%，自此深度学习引起广泛关注。2013年，深度学习被《麻省理工学院技术评论》评为当年十大突破性技术之首。2014年，谷歌将语音识别的精准度从2012年的84%提升到98%，谷歌的人脸识别系统FaceNet在LFW数据集上达到99.63%的准确率。2015年，微软采用深度神经网络的残差学习方法将ImageNet的分类错误率降低至3.57%，已低于同类实验中人眼识别的错误率5.1%。2016年，DeepMind的深度学习围棋软件AlphaGo战胜人类围棋冠军李世石。2016年和2017年是深度学习爆发的两年，这期间深度学习的模型、算法、软硬件实现等各个方面都得到极大的发展。2017年，从零开始的AlphaGo-Zero战胜了AlphaGo。2017～2018年的明星技术是生成对抗网络（GAN），它被《麻省理工学院技术评论》评为2018年十大年度技术进展。这两年深度学习的可解释性和对抗样本的攻击与防御也是热点话题。2016年以来，深度学习的应用领域迅速扩张，各大公司也纷纷推出开发平台（著名的有谷歌的TensorFlow、伯克利的Caffe、亚马逊的MXNet、微软的CNTK等），极大地推进了人工智能的发展。由于2016年以来深度学习在很多领域产生了巨大的影响，因此2016年通常被称为深度学习元年。
深度学习还在快速发展中，人们仍在努力改进模型、训练方法和实现方法。深度学习专用芯片也是研究的热点。深度学习还有很多弱点，它依赖大规模数据训练，在小样本学习方面尚乏善可陈。同时，深度学习很大程度上是凭经验发展起来的，没有系统的理论基础。因此深度学习是个黑盒系统，人们对其工作机制缺乏足够的理解。人们还发现深度学习系统很容易被对抗样本欺骗，在安全性和可靠性要求较高的领域尚无法得到实质性应用。对于深度学习，学术界也一直有反对的声音，最主流的意见是它不像人脑。很遗憾，汽车轮子更不像人腿。如果非要让飞行器像鸟一样飞行，人们永远也发明不了飞机。计算机在自然界找不到可对比的东西，而早期的计算机设计者也试图模仿人脑。深度学习作为一个从数据中发现模式和规律的技术，为什么必须要像人脑（当然类脑研究是非常有意义的，它另成体系）？人类很多科技进步都是受自然界的启发，但从来没有生搬硬套。事实上，深度学习已经创造了科技史上的奇迹，它在以往神经网络和浅层学习技术的基础上，短短几年迅速发展为一个全新的领域，涵盖内容非常广阔，包括建模、训练、优化、验证、软硬件实现和应用等。作为新一代人工智能的心脏，它可望在很长一段时间内在人工智能各类应用中占主导地位。因此深度学习已成为现代人工智能从业者的必修课。然而，深度学习本身发展非常迅速，及时地整理和系统地论述有相当大的难度，而且需要大量的时间，因此可供参考的书籍相对较少，这也是作者撰写本书的动机。
本书分为上下两卷，五个部分。上卷包括两个部分：第一部分讲述机器学习基础、早期神经网络、深度学习的正则化方法和深度学习的优化方法，这些是理解深度学习必备的基础知识；第二部分是判别式模型，包括卷积神经网络（CNN）、循环神经网络（RNN）和注意力机制（Attention）、记忆网络，尤其重点阐述深度残差网络（ResNet）、长短期记忆模型（LSTM）等；下卷包括三个部分：第三部分是生成式模型，包括深度置信网络深度玻尔兹曼机、自编码器、生成对抗网络，尤其重点阐述Wasserstein生成对抗网络（WGAN）、变分自编码器（VAE）、深度聚类等；第四部分是前沿技术，讨论深度强化学习；第五部分是深度学习的安全可靠性，包括深度学习的可解释性和对抗攻击与防御。本书写作的目的是探索深度学习的模型、算法、理论和前沿课题，帮助读者深入理解深度学习领域当前最好的成果。以实践为目的的读者可以与TensorFlow或Caffe等开发平台的指导手册配合使用。本书的内容虽然很多很全，但各章的内容相对独立，这方便读者有选择地阅读。深度学习是一个非常综合的领域，要求读者掌握计算机的基础知识，熟悉一门开发语言，具备一定的线性代数、概率统计、数值优化等数学基础。若读者对信息论、控制论、博弈论等有一定了解则更有帮助。
谈到深度学习，最经典的著作无疑是Goodfellow、Bengio和Courville被称作花书的Deep Learning（MIT Press，2016）。该书作者是深度学习领域的领军人物，他们对深度学习的理解是非常深刻的。该书的写作也是高屋建瓴，非常有参考价值。但是，该书毕竟是2016年出版的（中译本《深度学习》于2017年由人民邮电出版社出版），其参考文献都是2015年以前的。而2016年和2017年是深度学习爆发的两年，很多革命性的模型和技术被发现或深入发展，例如著名的深度残差网络、生成对抗网络（Goodfellow是生成对抗网络的发现者，但他的书并没有详细介绍生成对抗网络，可能他在写书时还没有意识到生成对抗网络后来会产生如此大的影响）等。本书则在完整论述深度学习主流技术的同时，尽可能涵盖更多最新的内容，从而帮助读者更好地了解深度学习的前沿进展。这些内容取材于ICML、NIPS、ICLR、CVPR、IJCAI、AAAI等顶级会议以及JMLR、TPAMI等顶级期刊，尤其重点关注会议最佳论文等。也就是说，本书将选取截止到今日具有代表性的最前沿工作（包括被AAAI 2018、ICLR 2018、CVPR 2018和ICML 2018录用的最新论文）。本书是目前唯一一本系统讨论打开黑盒深度学习的可解释性和对抗样本攻击和防御深度学习的鲁棒性的著作，这两方面是深度学习目前面临的最大挑战。另外，本书还专门讨论深度聚类，这也是其他著作没有涉及的内容。
除了书上讲述的内容，作者也将在线提供大量论文、代码、数据集和彩图等学习资源。同时，由于深度学习发展迅速，作者将每年增加一些最新成果作为补充材料以飨读者。读者可以访问http：deeplearningresource.com以获取上述资源和补充材料，本书图片对应的彩图也可以在此下载。总之，作者尽最大努力帮助读者梳理和学习深度学习这一前沿技术。作者才疏学浅，水平和能力有限，书中可能有不足之处，还望广大读者不吝指教。
张宪超
2018年6月于大连燕南园
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
