我用夸克网盘分享了「智能运维：从0搭建大规模分布式AIOps系统.epub」，点击链接即可保存。打开「夸克APP」在线查看，支持多种文档格式转换。

内容简介

《智能运维：从0搭建大规模分布式AIOps系统》结合大企业的智能运维实践，全面完整地介绍智能运维的技术体系，让读者更加了解运维技术的现状和发展。同时，帮助运维工程师在一定程度上了解机器学习的常见算法模型，以及如何将它们应用到运维工作中。 《智能运维：从0搭建大规模分布式AIOps系统》共分4篇。第1篇运维发展史，重点阐述当前运维的发展现状及面临的技术挑战；第2篇智能运维基础设施，重点讲述大数据场景下的数据存储、大数据处理和分析的方法与经验，以及海量数据多维度多指标的处理分析技术；第3篇智能运维技术详解，重点关注在新时期大数据时代下智能化的运维技术，包括数据聚合与关联、数据异常点检测、故障诊断和分析、趋势预测算法；第4篇技术案例详解，为大家梳理了通过开源框架ELK快速构建智能监控系统的整体方案，还将分享微博平台和微博广告两个不同业务场景下智能监控系统的技术实践。 《智能运维：从0搭建大规模分布式AIOps系统》适合运维、开发、架构、DevOps工程师及广大互联网技术爱好者研读和借鉴。

作者简介

彭冬：微博广告基础架构团队负责人、技术专家，商业大数据平台及智能监控平台发起人，目前负责广告核心引擎基础架构、Hubble智能监控系统、商业基础数据平台（D+）等基础设施建设。关注计算广告、大数据、人工智能、高可用系统架构设计、区块链等方向。在加入微博之前，曾就职于百度负责大数据平台建设，曾担任趣点科技联合创始人兼CTO等职位。毕业于西北工业大学，曾在国内外知名期刊发表多篇学术论文，拥有9项发明专利。 朱伟@kimi：微博广告SRE团队技术负责人，高级运维工程师，2016年4月加入微博，目前主要负责微博广告智能监控报警平台和服务治理等项目的建设与研究。 刘俊：微博平台部监控技术负责人，负责微博平台、PC微博大规模监控系统的建设，主要关注实时大数据、运维自动化、智能化方向。2014年加入微博，之前曾在新浪、搜狐等公司从事运维监控方面的工作。 王莉：University of Georgia硕士研究生，主要研究用机器学习方法，识别植物被水淹没的季节性规律，研究成果已发表在SCI高影响因子期刊。2017年加入微博广告团队，致力于用数据分析和机器学习模型，优化广告业务策略，洞悉商业价值。 陆松林：微博广告数据仓库负责人，高级研发工程师，先后就职于搜狐、爱奇艺，主要研究数据仓库、数据治理相关技术。 车亚强：微博广告大数据开发工程师，曾在百度外卖负责实时流、微服务相关研发工作，目前主要研究方向为实时流、微服务架构设计。

网友热评

呆men: 太浅了，从0搭建倒是真的，但是进度条到了50%就不走了。话术较多，不是硬壳技术书籍。 仰望星空: 内容涉及到的东西很多，可以概要了解下运维需要的技术栈。书中某些章节有拼凑嫌疑。 Charles: 对于第八章，第十五章河第十六章第内容很失望 惟以不永怀: 国内书籍作者为多个的烂书的概率极大，想了一下也是，多个作者分写各章，没有一个对整书负责的。AIops，概念高大上，落到书中全是一堆水货文章，现在出书的门槛低到这种程度的，开源软件的配置、代码贴贴就成一本书了，搞技术的人这么浮躁，这样出书不仅挣不到资历，相反还暴露了自己的急功近利。最近几年烂技术书籍越来越多了，各种蹭热点，写几篇博文也就算了，出书这不是浪费树木嘛~

图书目录

第1篇开门见山：运维发展史 第1章运维现状2 1.1运维工程2 1.1.1认识运维2 1.1.2主要职责4 1.1.3运维技术5 1.2运维发展历程6 1.2.1人工阶段6 1.2.2工具和自动化阶段7 1.2.3平台化阶段7 1.2.4智能运维阶段8 1.3运维现状9 1.3.1故障频发9 1.3.2系统复杂性10 1.3.3大数据环境12 1.4本章小结14 1.5参考文献14 第2章智能运维15 2.1海量数据的存储、分析和处理16 2.2多维度、多数据源18 2.3信息过载19 2.4复杂业务模型下的故障定位21 2.5本章小结22 2.6参考文献22 第2篇站在巨人肩上：智能运维基础设施 第3章开源数据采集技术25 3.1数据采集工具对比25 3.2轻量级采集工具Filebeat26 3.2.1Filebeat工作原理26 3.2.2Filebeat的安装与配置28 3.2.3启动和运行Filebeat38 3.3日志采集解析工具38 3.3.1Logstash工作原理39 3.3.2安装Logstash40 3.3.3配置Logstash41 3.3.4启动Logstash49 3.4本章小结49 3.5参考文献50 第4章分布式消息队列51 4.1开源消息队列对比与分析51 4.1.1概述51 4.1.2ZeroMQ51 4.1.3ActiveMQ52 4.1.4RocketMQ52 4.1.5Kafka53 4.2Kafka的安装与使用53 4.2.1组件概念53 4.2.2基本特性53 4.2.3安装与使用54 4.2.4JavaAPI的使用55 4.3案例分析57 4.3.1日志采集58 4.3.2实时结算58 4.3.3实时计算58 4.4本章小结58 4.5参考文献59 第5章大数据存储技术60 5.1传统数据存储60 5.1.1传统应用的架构60 5.1.2传统存储的运行机制61 5.1.3传统存储带来的问题62 5.2基于HDFS的分布式存储63 5.2.1分布式存储的定义63 5.2.2HDFS的基本原理64 5.2.3HDFS架构解析65 5.2.4HDFS的优势66 5.2.5HDFS不适合的场景67 5.3分层存储68 5.3.1数据仓库68 5.3.2数据仓库分层架构70 5.3.3分层存储的好处73 5.4案例分析73 5.4.1数据存储架构73 5.4.2数据仓库建模74 5.4.3常见的存储问题及解决方案80 5.5本章小结80 5.6参考文献80 第6章大规模数据离线计算分析82 6.1经典的离线计算82 6.1.1Linux神级工具sed和awk82 6.1.2Python数据处理Pandas基础84 6.1.3Python的优势和不足88 6.2分布式离线计算89 6.2.1MapReduce离线计算89 6.2.2离线计算的数据倾斜问题97 6.2.3分布式离线计算的技术栈100 6.3案例分析101 6.3.1离线计算管理102 6.3.2离线计算原子控制103 6.3.3离线计算的数据质量103 6.4本章小结104 6.5参考文献105 第7章实时计算框架106 7.1关于实时流计算106 7.1.1如何提高实时流计算的实时性106 7.1.2如何提高实时流计算结果的准确性107 7.1.3如何提高实时流计算结果的响应速度107 7.2SparkStreaming计算框架介绍107 7.2.1概述107 7.2.2基本概念108 7.2.3运行原理108 7.2.4编程模型109 7.2.5SparkStreaming的使用110 7.2.6优化运行时间114 7.3Flink计算框架115 7.3.1基本概念116 7.3.2Flink特点116 7.3.3运行原理118 7.3.4JavaAPI的使用121 7.4案例分析124 7.4.1背景介绍125 7.4.2架构设计126 7.4.3效果分析126 7.5本章小结126 7.6参考文献126 第8章时序数据分析框架127 8.1时序数据库简介127 8.1.1什么是时序数据库127 8.1.2时序数据库的特点128 8.1.3时序数据库的对比130 8.2时序数据库Graphite131 8.2.1Graphite简介131 8.2.2Graphite在微博广告监控系统中的应用137 8.3多维分析利器Druid139 8.3.1什么是Druid139 8.3.2Druid架构140 8.3.3Druid在微博广告监控平台中的应用144 8.4性能神器ClickHouse147 8.4.1什么是ClickHouse147 8.4.2ClickHouse的特性148 8.4.3ClickHouse的不足149 8.4.4安装配置ClickHouse149 8.4.5表引擎153 8.4.6函数支持157 8.5本章小结160 8.6参考文献160 第9章机器学习框架161 9.1简介161 9.2TensorFlow介绍162 9.2.1什么是TensorFlow162 9.2.2下载安装162 9.2.3“HelloTensorFlow”示例166 9.3TensorFlow进阶166 9.3.1基础理论167 9.3.2模型准备169 9.3.3训练数据169 9.3.4模型训练171 9.3.5生成seq2seq句子174 9.3.6运行演示175 9.4本章小结178 9.5参考文献179 第3篇运维新时代：智能运维技术详解 第10章数据聚合与关联技术182 10.1数据聚合182 10.1.1聚合运算183 10.1.2多维度聚合186 10.2降低维度188 10.2.1将告警聚合成关联“事件”189 10.2.2减少误报：告警分类190 10.3数据关联192 10.4实时数据关联案例193 10.4.1设计方案193 10.4.2效果195 10.5本章小结195 10.6参考文献195 第11章数据异常点检测技术196 11.1概述196 11.2异常检测方法198 11.2.1基于统计模型的异常点检测199 11.2.2基于邻近度的异常点检测202 11.2.3基于密度的异常点检测203 11.3独立森林204 11.4本章小结207 11.5参考文献207 第12章故障诊断和分析策略208 12.1日志标准化209 12.2全链路追踪210 12.3SLA的统一210 12.4传统的故障定位方法211 12.4.1监控告警型211 12.4.2日志分析型212 12.5人工智能在故障定位领域的应用213 12.5.1基于关联规则的相关性分析213 12.5.2基于决策树的故障诊断217 12.6本章小结222 12.7参考文献222 第13章趋势预测算法223 13.1移动平均法223 13.2指数平滑法224 13.3ARIMA模型226 13.3.1简介226 13.3.2重要概念226 13.3.3参数解释228 13.3.4建模步骤230 13.3.5ARIMA模型案例232 13.4神经网络模型236 13.4.1卷积神经网络236 13.4.2循环神经网络238 13.4.3长短期记忆网络239 13.4.4应用说明241 13.5本章小结241 13.6参考文献242 第4篇智能运维架构实践：技术案例详解 第14章快速构建日志监控系统244 14.1Elasticsearch分布式搜索引擎244 14.1.1基本概念244 14.1.2分布式文档存储与读取248 14.1.3分布式文档检索250 14.1.4分片管理252 14.1.5路由策略254 14.1.6映射255 14.2可视化工具Kibana258 14.2.1Management260 14.2.2Discover260 14.2.3Visualize262 14.2.4Dashboard263 14.2.5Timelion263 14.2.6DevTools264 14.3ELK搭建实践265 14.3.1Logstash安装配置265 14.3.2Elasticsearch集群安装配置266 14.3.3Kibana安装配置273 14.4本章小结274 14.5参考文献274 第15章微博广告智能监控系统275 15.1背景介绍275 15.1.1监控指标体系275 15.1.2功能设计原则276 15.2整体架构277 15.3核心功能分析278 15.3.1全景监控278 15.3.2趋势预测281 15.3.3动态阈值285 15.3.4服务治理285 15.4本章小结287 第16章微博平台通用监控系统288 16.1背景289 16.2整体架构290 16.3核心模块291 16.3.1数据采集（Logtailer）291 16.3.2数据路由（Statsd-proxy）293 16.3.3聚合运算（Statsd）294 16.3.4数据分发（C-Relay）和数据存储294 16.3.5告警模块295 16.3.6API设计299 16.3.7数据可视化300 16.4第三方应用301 16.4.1决策支持系统301 16.4.2运维自动化302 16.4.3成本分析和容量日报302 16.4.4机器学习302 16.5本章小节302 附录A中国大数据技术大会2017（BDTC2017）CSDN专访实录303