新書推薦:
《
微观经济学(第三版)【2024诺贝尔经济学奖获奖者作品】
》
售價:HK$
155.7
《
Python贝叶斯深度学习
》
售價:HK$
89.4
《
启微·狂骉年代:西洋赛马在中国
》
售價:HK$
78.4
《
有趣的中国古建筑
》
售價:HK$
67.0
《
十一年夏至
》
售價:HK$
76.2
《
如何打造成功的商业赛事
》
售價:HK$
89.5
《
万千教育学前·透视学前儿童的发展:解析幼儿教师常问的那些问题
》
售價:HK$
58.2
《
慈悲与玫瑰
》
售價:HK$
87.4
|
編輯推薦: |
本书凝聚Sébastien Bubeck教授多年心血,专门为计算机科学家打造,内容涉及从黑箱优化的基本理论到结构优化和随机优化的最新发展,把机器学习中涉及的凸优化设计思想通过简练的数学语言进行了阐述,可作为计算机科学、软件工程、统计学、应用数学、数据科学与大数据、人工智能等专业本科生和研究生的基础教材,也可供数据科学家、工程师和科研人员参考。
|
內容簡介: |
本书介绍了凸优化中的主要复杂性定理及其相应的算法。从黑箱优化的基本理论出发,内容材料是朝着结构优化和随机优化的新进展。我们对黑箱优化的介绍,深受Nesterov的开创性著作和Nemirovski讲稿的影响,包括对切割平面方法的分析,以及(加速)梯度下降方案。我们还特别关注非欧几里德的情况(相关算法包括Frank Wolfe、镜像下降和对偶平均法),并讨论它们在机器中的相关性学习。我们慢慢的介绍了FISTA(优化一个光滑项和一个简单的非光滑项的和)、鞍点镜像代理(Nemirovski平滑替代Nesterov的光滑)和一个对内点方法的简明描述。在随机优化中,我们讨论了随机梯度下降、小批量、随机坐标下降和次线性算法。我们还简单地讨论了组合问题的凸松弛和随机性对取整(四舍五入)解的使用,以及基于随机游动的方法。
|
關於作者: |
塞巴斯蒂安·布贝克(Sébastien Bubeck)是微软Redmond研究院理论组的首席研究员,曾担任COLT 2013、COLT 2014的联席主席,NIPS 2012、NIPS 2014、NIPS 2016、COLT 2013、COLT 2014、COLT 2015、COLT 2016、ICML 2015、ICML 2016、ALT 2013、ALT 2014的项目委员会成员,也是COLT的指导委员会成员。其研究兴趣包括机器学习、凸优化、统计网络分析、随机图和随机矩阵,以及信息论在学习、优化和概率中的应用。
|
目錄:
|
译者序致谢第1章绪论111机器学习中的若干凸优化问题112凸性的基本性质313凸性的作用514黑箱模型715结构性优化816结果的概述和免责声明9第2章有限维的凸优化1221重心法1222椭球法1423Vaidya割平面法18231体积障碍19232Vaidya算法20233Vaidya方法分析20234限制条件和体积障碍2224共轭梯度26第3章维度无关的凸优化3031Lipschitz函数的投影次梯度下降3132光滑函数的梯度下降3333条件梯度下降3934强凸性43341 强凸函数和Lipschitz函数44342强凸光滑函数4535下限4736几何下降52361热身赛:梯度下降的几何学替代方案53362加速度55363几何下降法5637Nesterov加速梯度下降58371光滑强凸情况58372光滑的情况62第4章非欧氏空间几乎维度无关的凸优化6541镜像映射6642镜像下降6743镜像下降的标准设置7044惰性镜像下降7245镜像代理7446关于MD、DA和MP的向量场观点76第5章超越黑箱模型7851光滑项与简单非光滑项之和7852非光滑函数的光滑鞍点表示80521鞍点计算81522鞍点镜像下降82523鞍点镜像代理83524应用8453内点法87531障碍法87532牛顿法的传统分析88533自和谐函数90534ν自和谐障碍92535路径跟踪方案95536线性规划和半定规划的内点法96第6章凸优化与随机性9861非光滑随机优化9962光滑随机优化与小批量SGD10063光滑函数与强凸函数的和10364随机坐标下降107641坐标平滑优化的RCD算法108642用于光滑和强凸优化的RCD11065鞍点的随机加速11266凸松弛与随机取整11367基于随机游动的方法117参考文献120
|
內容試閱:
|
凸优化的数学研究已经有一个世纪了,最近的一些相关发展也激发了人们对这个问题的新兴趣.首先是认识到在20世纪80年代发展起来用于解决线性规划的内点法,也可以用来解决凸优化问题.这种方法使我们能够解决某些新的凸优化问题,如半定规划和二阶锥规划,几乎与线性规划一样容易.第二个发展是发现凸优化问题(超越最小二乘法和线性规划)在实践中使用得更普遍.自1990年以来,在自动控制系统、估计和信号处理、通信和网络、电子电路设计、数据分析和建模、统计和金融等领域已发现许多凸优化的应用.凸优化在组合优化和全局优化中也有着广泛的应用,如被用来寻找最优值的界,以及近似解.我们相信凸优化还有许多其他应用有待发现.将一个问题识别或表述为凸优化问题有很大的优势.最基本的优点是,使用内点法或其他特殊的凸优化方法可以非常可靠和有效地解决问题.这些求解方法是可靠的,可以嵌入到计算机辅助设计或分析工具中,甚至可以嵌入到实时反应或自动控制系统中.将问题描述为凸优化问题也有理论或概念上的优势.例如,相关联的对偶问题通常对原始问题存在一个有趣的解释,有时会产生一个有效的或分布式的解决方法.本书主要由六章组成.第1章综合介绍了一些机器学习中的凸优化问题和凸性的基本性质,以及凸性质存在的意义.第2章主要介绍有限维凸优化方法,包括重心法、椭球法、Vaidya割平面法以及共轭梯度法.第3章主要介绍维度无关的凸优化方法,包括Lipschitz函数的投影次梯度下降、光滑函数的梯度下降、条件梯度下降、几何下降以及Nesterov加速梯度下降.第4章主要介绍镜像下降的非欧氏空间与维度无关的凸优化方法以及关于MD、DA和MP的向量场观点.第5章主要介绍迭代收缩阈值算法、快速ISTA算法、CMD和RDA算法、鞍点镜像下降法的超越黑箱模型,以及超越黑箱模型的实际应用.第6章主要介绍凸优化和随机性的结合,包括(非)光滑随机优化、随机坐标下降、鞍点的随机加速、凸松弛与随机取整以及基于随机游动的方法.本书是Sébastien Bubeck教授凝聚多年心血,专门为计算机科学家打造的一本专著,它内容翔实,推导过程简洁,主要把机器学习中涉及的凸优化设计思想,通过简练的数学语言进行了阐述.在此,我也推荐读者在阅读本书时,通过自己擅长的计算机语言进行相关算法实现,并对实现过程进行性能优化和延伸.本书可以考虑作为计算机科学、软件工程、统计学、应用数学、数据科学与大数据、人工智能等专业本科生和研究生的基础教材,也可作为数据科学家、工程师和科研人员的案头工具书.本书主要由刘晓骏负责翻译、校对、审核、统稿和定稿,郭涛及其团队参与了译稿的校对工作,在此对他们表示衷心感谢.感谢机械工业出版社王春华编辑和柯敬贤编辑,他们在本书的翻译和出版过程中给了我悉心的指导.感谢所有参与本书出版的出版社工作人员对本书做出的贡献.为了能够让读者尽快读到这本书,我加快了翻译进度,但本书涵盖内容多,翻译难度大,任务重,加上本人翻译水平有限,在翻译过程中难免有错漏之处,欢迎读者在阅读过程中将关于本书的勘误、存在的问题和完善意见提交到Github(https://githubcom/guotao0628/PSforComputerScientists).刘晓骏 2020年夏于华南理工大学
|
|