2019年的秘密春节期间,想必很多人都参加了几十个亿的亿背后“大项目”,成为几百亿次互动的秘密一分子。
2014年起,亿背后移动手机版红包就成为每年除夕春节联欢晚会“全家桶”的秘密重要“小食”之一。近几年,亿背后随着移动互联网的秘密极速发展,除夕夜的亿背后“互联网味道”愈加浓烈。除了央视的秘密春节联欢晚会,就是亿背后“红包大战”响应最为热烈。
2019年“春晚红包”的秘密旋风依旧如故,不同的亿背后是,春晚红包战场进来一位新的秘密搅局者——百度。2019年1月17日下午,亿背后百度宣布与中央电视台达成深度合作。秘密由此,百度成为了2019年央视春节联欢晚会的独家互动合作伙伴。
百度的集好运卡和团圆红包两个主题从1月28日小年开始,一直持续到2月4日除夕。除百度APP以外,包括好看视频、全民小视频、百度贴吧、百度极速版、百度网盘、百度地图、宝宝知道等多个百度产品矩阵,均可在其APP首页上找到活动入口。
从雷锋网的实际体验中了解到,百度红包贯穿了整个春晚、以及整个春节假期,甚至在元宵节又补发了一轮数额达两亿的红包,弥补未抢上红包的用户的遗憾。近日,在主题为“揭秘春晚红包背后的技术”的第七届百度技术开放日上,百度高级副总裁、AI技术平台体系(AIG)和基础技术体系(TG)总负责人王海峰、百度副总裁侯震宇、百度多位架构师为在校学生、码农揭秘了百度首次参与央视春晚红包的背后故事。
雷锋网了解到,每年春晚的红包环节,涉及数亿用户参与互动。多场景互动,每秒钟千万级并发请求,相应地在极短的时间内带来高需求量、大流量、数据风暴、高并发等巨大挑战。每年双十一都带给服务器巨大的流量冲击,侯震宇在开放日上称,在春晚面前双十一的流量可能还是小了很多。
摇红包摇不出来、摇红包摇出来一个空白页,或者摇出来一个503出来是不行的,这是我们应对的几个比较大的挑战。对于广大网民、广大的老百姓而言,春节是一个非常祥和欢乐的场景,百度没有给他们添堵。侯震宇笑称。
根据百度官方披露的数据显示,春节期间全球观众参与百度红包互动次数达到208亿次,1000多名工程师在百度的工作园区加班。百度春晚红包项目涉及数十个产品和平台,110+种场景,280+个预案,百余团队参与,上千人协同,平均每天新增需求和任务千余个,自动化测试上万次。
那么百度在春晚期间究竟用到了哪些技术,这些技术细节如何?
全系统全链路的优化设计:整体架构设计与优化、统一前端接入优化、极端并发的数据库优化
百度架构师介绍,春晚红包项目架构设计中采用的是以大化小、隔离、弹性、智能、动态、自愈,同时高效控制总成本的设计理念。在架构设计方面,将整体系统拆解成四大业务系统和大量基础设施与服务。提出了多项具有针对性的优化方案。用户可以通过摇一摇、信息流、视频、语音、搜索等多样化形式参与。
有统一前端接入优化、安全防攻击、资源协调和动态调度能力,全链路压测与攻防,以及内测、预案与剧本等关键技术和方案。雷锋网了解到,BFE(百度统一前端)是百度统一的七层流量转发平台。在春晚红包项目中,BFE是IDC流量的统一入口,提供流量调度、接入转发、限流、应用层防火墙等能力。每日转发请求数接近1万亿。基于BFE的快速开发能力,可以通过将部分业务逻辑前置到BFE,降低了整体的系统开销。同时基于自研专用流式计算系统,提供实时报表能力,在亿级别流量下可以实时反馈系统状况。
此外,由于数据库服务处于业务链路的最底层,具有相当重要的作业,对其稳定性、可靠性及并发能力提出了更高的要求和需求。 百度通过set化等关键技术方案,达到对业务透明且灵活扩展、故障最小化隔离能力;在流量管控上,基于流量画像能力,结合安全检测及拦截能力、多维度多层级流控能力,达到对整体服务的过载保护和安全防护能力,能有效保障整体服务的可用性、数据的安全性,达到数据库千万级QPS处理能力;最后结合近百项的剧本及自动监控预案措施,进一步加固了春晚数据库服务保障能力。
技术积累:服务的混部调度、弹性的资源供给、稳定的CDN服务
百度春晚红包业务覆盖了搜索、推荐、语音、视频等多个业务,不仅仅是简单的“摇一摇”。当亿级用户同时启动,并与百度云建连时,对服务器部署的要求较高。
技术方案上,重点通过百度云集群内部全混部,利用集群流转支持,满足活动的资源需求。百度服务混部调度则采用了BestEffort(BE)模式,弹性使用全百度云的集群资源。BE模式对原正常业务实现了无侵入使用,满足了春晚服务提前进场与快速便捷退场的需求。围绕潜在问题场景,设计了秒级弹性伸缩的方案,以防备意想不到的“状况”出现。
百度官方称,百度云的媒体云平台涵盖视频/图片类数据的采集、生产、上传、存储、处理、分发、播放的一体基础设施云平台。具备万亿文件千P数据的存储、每天千万级媒资处理、数百节点50T+带宽的分发网络和一站式智能视频解决方案。
大规模工程能力保障:工程能力、自动化、自助化压测平台、全要素链路压测与攻防
百度春晚蓝军负责为春晚系统制造各种麻烦,进行“战场”的真实规模演练。首先是,全要素全链路压测,用来模拟真实用户行为,构造大于春晚极限并发的压力洪峰,验证从供电、网络等基础设施,到上层软件架构的服务能力。
此前,雷锋网报道中,百度安全对雷锋网介绍称,在此次活动中压力颇大的风控环节,使用了业务安全风控平台“昊天镜”,基于5层复合机器学习和威胁情报大脑,发挥了对规模化深层黑产感知、人机识别、群控加代理集群拦截及黑产溯源的功能。
此外,百度此前和与运营商形成联合预案,预防DNS攻击,并通过猎鹰监控与运营商刷新DNS,防止 DNS 劫持,针对四层攻击(SYN Flood、ACK Flood、UDP Flood)等,实行 GTC 流量调度、智云盾发现、运营商黑洞、清洗(UDP)策略等,过滤恶意用户,拦截DDos攻击、打击隐私窃取等。
开放日上,侯震宇分享了一个关于百度贴吧的“题外话”。2005年,侯震宇负责百度贴吧。当年是湖南卫视的《超级女生》选秀节目最为火爆的一年。所有关于超女的各种粉丝、各种热情在互联网上,都体现在了百度贴吧上。百度贴吧也正是从05年打的那场仗之后,才正式成为中国当时乃至现在最火爆、最大的一个论坛。
侯震宇认为,百度处理高并发能力也是从那时积累起来的经验。而谈及百度服务的稳定性,“我们从成立的第一天开始,百度后端服务器的数量,就要超过了前台的服务器,从第一天开始就这样。所以,百度从一开始就是一家基于数据分析、基于云计算作为底层基础的一家公司。很长一段时间里面,包括现在。大家在检查自己的网络是否正常的时候,都是打开百度的首页。”侯震宇说。
2018年,百度公布第四季度财报时,也首次披露了百度云的具体营收数字。2018Q4财报显示,百度云第四季度营收达11亿元人民币,比2017年第四季度营收的两倍还要多,同比增长超过100%。跻身中国云计算市场前三名,至此,BAT云计算占据了国内公有云业务的前三名。
2018年12月18日,百度架构调整,同时也为加快AI与产业结合,承载AI to B和云业务的发展。百度将智能云事业部(ACU)升级为智能云事业群组(ACG)。百度高级副总裁、AI技术平台体系(AIG)和基础技术体系(TG)总负责人王海峰在开放日致辞中也提到了这次重要的技术架构调整。
“百度技术的平台,不是从去年12月才开始。我们技术积累,从百度公司成立起就开始做。而从2010年初,我们就开始就打造AI技术平台和AI方方面面的一个完整的学习。从2013年开始的百度就开始强调平台化。”王海峰说,同时,我们也逐渐把这些技术开放出来,供社会各界来使用。12月份的调整以后,意味着我们更强化了平台化以及技术平台的能力。
2018年、2019年无论是互联网厂商,还是ICT厂商,都将AI融入云计算,智能+云成为趋势。2018年,全联接大会上,华为轮值董事长徐直军正式公布了华为的AI发展战略:投资基础研究、打造全栈方案、投资开放生态和人才培养、解决方案增强、内部效率提升。
其中,全栈方案囊括了,打造面向云、边缘和端等全场景的、独立的以及协同的、全栈解决方案。此次,大会也标志着“+智能”深度融入了华为云计算的业务发展中。国庆期间,腾讯时隔六年的架构再调整。新成立了“云与智慧产业事业群”CSIG。腾讯也落实了2017年“AI in All”的口号。2018年11月26日,阿里巴巴组织架构调整宣布,阿里云事业群升级为阿里云智能事业群。
在前不久,阿里云主题为“十年再出发”大会上,阿里云数十款重磅产品,也围绕着“智能”展开。应用的数据化、智能化是阿里云的核心之一。由此可见,“智能”+云已成为行业共识。百度作为云计算市场的“后进者”,在短短几年内,迅速“上位”。
一方面,来自于百度内部对云计算市场的重视。另一方面,云计算作为企业战略“必争之地”,在百度整体AI战略的大框架下,百度对智能云的重视势必将与日俱增。春晚红包也是百度展示其云计算实力最佳的时机。全球信息技术研究和顾问公司Gartner预测,2019年全球公有云服务市场将从2018年的1758亿美元,增长17.3%,达2062亿美元。
Gartner预计,到2022年,90%购买公有云IaaS的企业机构将从集成IaaS和平台即服务PaaS供应商购买,使用其提供的IaaS和PaaS功能。集成IaaS和PaaS产品的需求正在推动下一波云基础设施的采用。而国内云计算市场,未来在5G、产业互联网、物联网、AI多种技术的驱动下,也将走向综合能力的竞争。
无论是百度智能云、抑或阿里、华为、腾讯,挑战与机遇并存。