阿里云数据库专家玄惭:云数据库超大流量峰值保障最佳实践

  • 时间:
  • 浏览:0

1)了解历次超大流量峰值时云数据库备战保障中再次出先过程的问提;

你说歌词 ,2013年主就是指数增长和数据链路改造迁移。“2013年是阿里云数据库支撑双11商家后台核心数据库的第二年。其承担了天猫400%的订单量。原因用好几个 关键词来形容2013年的双11,那就是变化。第一年双11实例规模量不是很大,然而2013年的双11实例数规模则是成指数级别增长。从前的数据访问链路层的容量原因只能再支持那末规模的用户量。或多或少或多或少大伙儿日后日后刚现在开始对数据链路访问层进行改造迁移。改造迁移过程的时间点与双11的备战时间点重合,由此触发了非常多的变化,给双11的备战工作造成了很大的压力。一路拼搏,终于在双11日后把链路架构稳定下来。双11当天,记忆尤深的是下午6点左右再次出先的惊心动魄的场面。原因好几个 用户发送了超大长度的SQL到阿里云数据库,一同原因Proxy一种生活问提,或多或少或多或少整个proxy集群再次出先异常。其实问提调慢得到了处置,影响可控,但给大伙儿敲响了警钟——2014年要重点把数据链路上方层稳定下来。”

采访正文:

而在一名优秀的DBA怎么才能 才能 修炼上,他认为责任和敬畏心非常重要。

“2015年集群的规模那末大,双11大伙儿为集群发展对象了2-3倍容量资源供用户弹性升级使用。为了使新上线的机器得到资源最大化利用,以保障系统的稳定,可不也能将老机器上的实例离散到新机器上。一同双11活动日后大伙儿可不也能把你你一种生活批扩容的主机下线,将其补充到或多或少业务集群进行售卖,以实现资源利用率最大化。针对上方的好几个 应用场景,RDS启动了移山项目。移山离散策略着力于对主机以及实例最近的性能数据进行计算,得出可不也能迁移离散的实例列表。移山收容策略则对集群和主机的性能数据进行计算,进而得出可不也能收容的主机实例列表。”

高峰期间集群的总QPS达到了近400W每秒;

说到大流量高并发互联网应用实践,就不得不提下阿里云DBA核心专家玄惭。他在数据库领域,连续4年支持天猫双11。

议题简介本次演讲收集收集了自RDS成立至今,在历次大流量峰值中怎么才能 才能 保障活动中云数据库备战的最佳实践,包括日后的改造,压测和扩容;期间的监控,预案执行和应急处置;日后的收容和总结。力求全链路地帮助客户安全稳定地渡过超大流量峰值,让在你备战过程中少走或多或少弯路,多或多或少从容。

“2014年的双11,阿里云数据库在经历了两年的心智心智心智成熟是什么是什么图片 图片 的句子的句子的句子是什么日后日后日后刚现在开始迎来心智心智心智成熟是什么是什么图片 图片 的句子的句子的句子是什么。汲取了2013年数据链路改造的惨痛教训,大伙儿在双11前统一了所有集群的数据链路访问。在支持灵活数据链路访问模式,高安全链路访问模式下,实现了SQL注入的拦截功能,帮助用户更简单地防护数据库的安全,处置数据库被注入攻破。双11当天表现平稳。承担了天猫96%的订单量。集群QPS峰值达到142W。集群RDS实例数也达到了历史新高。”2014年是原因存在的一年,玄惭点评到。

百万商家在AliCloudDB上稳定运行,全网实现了0故障,0丢单。

:《云数据库超大流量峰值保障最佳实践》

听众收益:

峰会统一报名链接:http://yq.aliyun.com/webinar/join/49

大流量高并发互联网应用实践在线峰会官网:https://yq.aliyun.com/activity/112

在稳定性上,玄惭补充到:“错综复杂的系统的稳定运行离不开好几个 必不可少的系统,即全链路的监控系统和巡检系统。”巡检系统帮助你把系统各个组件日常运行过程中再次出先的问提暴露处置,把问提消灭在萌芽阶段,防范于蔚然,巡检规则可不也能你不断地去完善,这可不也能好几个 过程;全链路监控系统帮助管理者也能清晰地判断问提再次出先在那里,系统的各个部件清晰地展示在你的身旁,当问提存在过可不也促进快速定位问提,降低故障再次出先的时间。他认为,不怎么才能 是在错综复杂的系统中,有十几二十多个部件,那末全链路的监控系统,根本就无法掌控。

玄惭在本次技术峰会上分享的是《云数据库超大流量峰值保障最佳实践》议题,该议题收集收集了自RDS成立至今,在历次大流量峰值中怎么才能 才能 保障活动中云数据库备战的最佳实践,包括日后的改造,压测和扩容;期间的监控,预案执行和应急处置;日后的收容和总结。力求全链路地帮助客户安全稳定地渡过超大流量峰值,让在你备战过程中少走或多或少弯路,多或多或少从容。

从前的成就,在当初是怎么才能 才能 实现技术突破的?

玄惭称,具备责任心和敬畏心是优秀DBA的基础,“好几个 企业最宝贵的资产在你手上,可不也能要具备哪些主次。”其次,处置线上的故障时,可不也能有大心脏去扛住外界的压力,一同还可不也能细心,我能 在错综复杂多乱的环境下抓住问提的本质,快速处置问提;“最后,还可不也能有好几个 乐于总结分享的心态,我见到或多或少或多或少业界Top专家都具备你你一种生活特点。”

单个商家最高处置订单的能力超过400万单;

这位经过四年双十一沉淀的阿里技术专家还表示,你你一种生活议题对开发、运维、DBA、架构师都具有非常好的参考指导意义,“当然原因你是好几个 公司的技术负责人,我也希望你也能学习。”

“2012年双11备战,记忆犹新。双11的前好几个 月,阿里云数据库团队白天要准备资源和双11所有工作,三更三更半夜还可不也能协助用户将数据库迁移上云。弹性升级可不也能对实例逐个进行升级,商家的数据库也可不也能逐个进行优化,并为商家提出优化建议。天猫双11可不也能扛过零点高峰?我的心里是打鼓的,但结果让大伙儿深受鼓舞,完正OK。”在采访中,玄惭说。

这四年的双十一支持,也我能 沉淀下来不少经验。

关于分享者

更多峰会议题,请参见官网:https://yq.aliyun.com/activity/112

其所在团队的亮眼成绩如下:

2)掌握历次超大流量峰值时云数据库备战保障的最佳实践

他认为,安全和稳定是好几个 全链路的事情,从客户的应用端访问,到上方链路层,最后到底层的数据存取,要构建好几个 安全和稳定体系十分错综复杂。“以ApsaraDB MySQL安全能力的构建思路与法律法子,安全的问提可不也能从事前、事中、事后好几个 时间轴,以及存储层、网络层、访问层、应用层十个 层面,立体化地构建处置方案。于企业而言,不同的数据可不也能不同安全策略。”

他建议,对于或多或少安全程度要求较低的数据,对应的安全策略是:配置了HA高可用;每月一次验证备份的可靠性,备份保留400天;一同关闭公网访问原因采用VPC、IP白名单;涉及到用户隐私的高级数据,云数据库的安全策略进一步升级:首先云数据数据库密码是1-3月更换一次;一同打开TDE加密;数据备份完正存储在OSS中,可保留90天之久;此外数据库还应该支持同城容灾。对于核心数据而言,云数据库首先在应用层加密,支持SSL加密传输,备份可保留720天,一同支持跨地域容灾和两地三中心的部署法律法子(完正可参考“你的数据在云上,安全吗”)。

罗龙九(花名:玄惭),阿里云DBA专家,有着雄厚的DBA经验,经历阿里历年双11考验,负责阿里云RDS线上稳定以及专家服务团队,积累了6年对阿里云数据库用户的运维、调优、诊断等雄厚的经验。