有些朋友问,公号怎么好久没有更新了,是不是弃坑了?!
首先,没有。。。但是,很抱歉,最近因为工作变更的原因,事情比较繁忙,所以不太有时间写新的文章。还有一些早前写的,但还没有在公号上发的文章,因为技术迭代,内容也有些需要审视更新以后,才好意思发上来,免得误导读者。所以,可能得先忙一阵子了,我会尽快回来的;)
之前的文章,整理了一下,补充了一些内容,做了一些更新,现已出版上市了。无耻的推广一下哈;)淘宝,JD都有现货,Amazon貌似还是预售状态中
感谢博文视点的
侠少,感谢各位替本书写推荐语软文的朋友们,感谢之前蘑菇街大数据团队的各位小伙伴。目录列表:
第1章大数据平台整体建设思想1
1.1什么是大数据平台1
1.2大数据平台的建设目标3
1.2.1别人的大数据平台是怎样的3
1.2.2和业内领先的大数据平台的差距4
1.2.3大数据平台建设目标小结6
1.3大数据平台的建设指导方针6
1.3.1组件工具化7
1.3.2工具平台化8
1.3.3平台服务化9
1.3.4平台产品化10
1.3.5对中小公司大数据平台的适用性11
1.4大数据平台的两种建设路径12
1.4.1垂直业务领域一站到底的建设方式13
1.4.2通用组件建设,组合支持业务的方式13
1.4.3从蘑菇街平台的实践经验对比两种建设路径14
1.4.4两种建设路径的对比小结16
第2章服务意识和产品思想的培养17
2.1明确大数据平台服务能力的评估标准17
2.1.1大数据平台团队的职能定位18
2.1.2打通上下游系统和业务流程的能力18
2.2满足用户真正的需求19
2.3认清服务的代价,做好心理建设20
2.4寻找解决服务代价问题的方案23
2.4.1路线选择带来的代价问题23
2.4.2如何降低服务自身的代价25
2.5大数据平台的产品化思想29
2.5.1从用户体验的角度谈产品设计31
2.5.2从价值和利益的角度谈产品思维36
2.6小结38
第3章工作流(作业)调度系统39
3.1作业调度系统基础理论40
3.1.1调度系统分类40
3.1.2工作流调度系统的两种心法流派45
3.1.3工作流调度系统功能特性详解49
3.2Jarvis调度系统产品开发实践55
3.2.1需求定位分析55
3.2.2具体功能目标的详细分析和实践57
3.2.3第二代Jarvis现状和将来75
3.3小结79
第4章集成开发环境门户建设81
4.1集成开发环境的功能定位82
4.1.1集成开发环境的整体服务思路83
4.1.2集成开发环境的具体产品建设目标86
4.1.3小结93
4.2开发平台测试环境建设94
4.2.1问题背景94
4.2.2系统功能性测试环境95
4.2.3数据业务类测试环境96
4.2.4小结
第5章数据采集、传输、交换、同步服务
5.1数据交换服务场景和常见开源方案
5.1.1大数据平台数据交换服务业务场景
5.1.2常见数据交换服务解决方案介绍
5.2数据交换服务具体产品实践
5.2.1数据交换服务底层组件
5.2.2数据交换服务管控平台
5.2.3蘑菇街数据交换服务的实践现状和未来改进计划
5.3用户行为链路分析之日志埋点采集跟踪方案实践
5.3.1记日志有什么难的
5.3.2蘑菇街的用户行为日志采集方案实践
5.3.3小结
第6章数据可视化平台
6.1什么是数据可视化平台
6.1.1数据可视化平台名词定义
6.1.2已经有了那么多商业BI系统,为什么还要造轮子
6.2数据可视化平台产品实践
6.2.1可视化平台产品定位和需求分析
6.2.2具体产品功能需求实践详解
6.2.3将来的改进目标
6.2.4产品实践小结
第7章安全与权限管控
7.1权限管理的目标是什么
7.1.1适度安全,降低人为风险
7.1.2隔离环境,提高工作效率
7.1.3权责明晰,规范业务流程
7.1.4权限管理目标小结
7.2如何解决安全和便利的矛盾
7.2.1安全和便利天生矛盾
7.2.2改变角度,转移目标
7.2.3把握尺度
7.2.4可能的变通措施
7.2.5思想小结
7.3权限管控系统产品方案和技术分析
7.3.1常见开源方案
7.3.2Kerberos
7.3.3Sentry和Ranger
7.3.4Knox
7.3.5开源项目中常见的权限模型概念
7.4基于开发平台服务入口的权限管控方案
7.4.1权限管控方案实践
7.4.2底层统一权限管控和平台边界权限管控方案对比
第8章数据质量管理
8.1元数据管理平台
8.1.1元数据管理平台管理什么
8.1.2元数据管理相关系统方案介绍
8.1.3元数据管理系统工程实践
8.2DQC数据质量中心
8.2.1DQC数据质量中心业界方案
8.2.2DQC数据质量系统建设实践
8.3数据质量管理小结
第9章大数据集群迁移经验谈
9.1集群迁移都要面对哪些麻烦事
9.1.1集群和机房外部环境问题
9.1.2平台自身组件和服务依赖问题
9.1.3业务模式和沟通配合问题
9.1.4业务逻辑和数据正确性问题
9.2集群搬迁方案的总体目标、原则、流程
9.3一些具体问题的分析和实践
9.3.1如何保证正确性
9.3.2集群数据同步拷贝方案
9.3.3各种无法双跑的业务场景梳理
9.4小结
第10章谈谈大数据码农的职业发展问题
10.1如何成为一名糟糕的大数据平台工程师
10.1.1我是小白我怕谁
10.1.2敏而好学,不耻下问
10.1.3效率优先,中文至上
10.1.4流行的就是最好的
10.1.5我们的征途,是星辰大海
10.1.6书中自有颜如玉,热衷阅读代码
10.1.7谜之问题的谜之解决方式
10.1.8勤奋好学,但是回头即忘
10.1.9小结
10.2职业选择和我们早晚要面对的中年危机问题
10.2.1中年危机,要从娃娃抓起
10.2.2中年危机之抗焦虑指南
10.2.3如何才能获得自由
10.2.4案例
10.2.5小结
望月的蚂蚁抬头望月,低头等赞