4小時(shí)實(shí)現(xiàn)16次資源精準(zhǔn)騰挪 京東云成功護(hù)航紅包互動(dòng)的背后
來(lái)源：中金在線(xiàn)
?
2022-02-04 13:33:03
“扛住了！扛住了！贏了！”寸步不離緊盯數(shù)據(jù)大屏的京東備戰(zhàn)團(tuán)隊(duì)轉(zhuǎn)瞬間一片歡呼雀躍，伴隨著零點(diǎn)二十分鐘左右最后一輪紅包互動(dòng)的如約而至，京東首次“春晚征程”圓滿(mǎn)落下帷幕。
500)this.width=500" align="center" hspace=10 vspace=10 alt="4小時(shí)實(shí)現(xiàn)16次資源精準(zhǔn)騰挪京東云成功護(hù)航紅包互動(dòng)的背后">
除夕當(dāng)天參與一線(xiàn)值守的京東云技術(shù)人員歡慶圓滿(mǎn)完成任務(wù)
相比過(guò)往入局者們爭(zhēng)先恐后打響線(xiàn)上流量爭(zhēng)奪的狙擊戰(zhàn)，京東這次可謂克服“流量+履約”的“難上加難”，不但從容應(yīng)對(duì)了高達(dá)數(shù)億峰值的極端并發(fā)流量洗禮；還有序肩負(fù)起全國(guó)“年貨春運(yùn)”中零售和物流等整體供應(yīng)鏈履約，妥妥刷新春晚全球最復(fù)雜技術(shù)場(chǎng)景紀(jì)錄，堪稱(chēng)絕絕子！
回顧前期籌備的種種時(shí)刻，今年的春晚紅包互動(dòng)著實(shí)給京東出了一道不小的難題！“此過(guò)程中，京東技術(shù)體系需要支持紅包互動(dòng)及購(gòu)物交易場(chǎng)景，兩個(gè)場(chǎng)景差異性大，峰值頻繁往返切換，技術(shù)挑戰(zhàn)極大；另外除紅包互動(dòng)場(chǎng)景外正值年貨節(jié)，京東技術(shù)體系還需要支持京東的交易、支付、客服、分揀、配送等眾多業(yè)務(wù)場(chǎng)景，鏈路超長(zhǎng)。每一個(gè)鏈路節(jié)點(diǎn)的增加，都大幅提升了項(xiàng)目技術(shù)系統(tǒng)的復(fù)雜度和保障難度。這座極具技術(shù)挑戰(zhàn)的‘珠穆朗瑪’不好攀登！”備戰(zhàn)團(tuán)隊(duì)成員們紛紛表示。
但令人驚嘆的是，僅僅19天，在不增加計(jì)算資源且獨(dú)立支持的情況下，超10000名技術(shù)人員基于京東云行云研發(fā)效能平臺(tái)協(xié)同作戰(zhàn)，憑借早已修煉多年的云原生數(shù)字基礎(chǔ)設(shè)施以及歷經(jīng)多次大規(guī)模場(chǎng)景技術(shù)錘煉的混合多云操作系統(tǒng)云艦等技術(shù)，利用遍布全國(guó)的70多座數(shù)據(jù)中心，為世界級(jí)最大規(guī)?；?dòng)成功搭建了一個(gè)超高彈性、高效敏捷的數(shù)字底座，成功應(yīng)對(duì)了史上最高網(wǎng)絡(luò)互動(dòng)流量高峰與最復(fù)雜應(yīng)用場(chǎng)景。
500)this.width=500" align="center" hspace=10 vspace=10 alt="4小時(shí)實(shí)現(xiàn)16次資源精準(zhǔn)騰挪京東云成功護(hù)航紅包互動(dòng)的背后">
奮戰(zhàn)在一線(xiàn)的京東云技術(shù)人員
4小時(shí)互動(dòng)不斷、累計(jì)互動(dòng)量達(dá)691億次、上萬(wàn)名技術(shù)人員高效協(xié)同、16次秒級(jí)精準(zhǔn)騰挪、秒級(jí)資源順暢切換……京東云憑啥能成？
500)this.width=500" align="center" hspace=10 vspace=10 alt="4小時(shí)實(shí)現(xiàn)16次資源精準(zhǔn)騰挪京東云成功護(hù)航紅包互動(dòng)的背后">
“京東第一次！春晚紅包互動(dòng)，我們可是立了軍令狀！”
“這是京東第一次獨(dú)立支持春晚紅包互動(dòng)這么個(gè)大項(xiàng)目，一定要打個(gè)漂亮仗！“談起容易做起來(lái)卻非常難！京東紅包項(xiàng)目組技術(shù)負(fù)責(zé)人介紹，“春晚互動(dòng)項(xiàng)目不僅僅是一個(gè)極具挑戰(zhàn)性的技術(shù)問(wèn)題，更是一個(gè)多部門(mén)高效協(xié)作的問(wèn)題，時(shí)間緊、任務(wù)急、挑戰(zhàn)大、涉及人員復(fù)雜等問(wèn)題都是必須要應(yīng)對(duì)的。為此我們?cè)诙虝r(shí)間內(nèi)專(zhuān)門(mén)拉通了數(shù)十個(gè)一級(jí)部門(mén)，超過(guò)一萬(wàn)名以上的研發(fā)人員聯(lián)手作戰(zhàn)，實(shí)現(xiàn)多個(gè)業(yè)務(wù)系統(tǒng)的有序?qū)雍驼{(diào)優(yōu)，讓整個(gè)項(xiàng)目高效協(xié)同起來(lái)?！眰鋺?zhàn)之初，京東就已形成了完善的備戰(zhàn)體系架構(gòu)：由備戰(zhàn)總指揮統(tǒng)一部署，項(xiàng)目備戰(zhàn)團(tuán)隊(duì)跟進(jìn)，統(tǒng)一協(xié)調(diào)橫跨零售、科技、物流等多個(gè)部門(mén)的所有研發(fā)團(tuán)隊(duì)。
500)this.width=500" align="center" hspace=10 vspace=10 alt="4小時(shí)實(shí)現(xiàn)16次資源精準(zhǔn)騰挪京東云成功護(hù)航紅包互動(dòng)的背后">
京東云產(chǎn)品研發(fā)部工程師討論春晚項(xiàng)目
據(jù)悉京東技術(shù)體系有超3000名技術(shù)人員參與了項(xiàng)目的技術(shù)攻關(guān)與保障工作，除夕當(dāng)天參與一線(xiàn)值守的技術(shù)保障人員就多達(dá)2000人。超萬(wàn)名京東人協(xié)同作戰(zhàn)的背后，是跨度多達(dá)一個(gè)月的年貨節(jié)、春晚紅包互動(dòng)等精彩時(shí)刻，更重要的是為全國(guó)消費(fèi)者創(chuàng)造了極致體驗(yàn)并帶動(dòng)數(shù)十萬(wàn)商家、客戶(hù)與合作伙伴共同分享了節(jié)日盛宴的喜慶祥和。
用“變形金剛”的思維來(lái)應(yīng)對(duì)這次的“難上加難”
掐指一算，春晚紅包互動(dòng)已經(jīng)邁入第七個(gè)年頭，今年京東云在首次護(hù)航虎年春晚中完全告別通過(guò)單純?cè)黾臃?wù)器資源來(lái)攻克高并發(fā)的傳統(tǒng)操作，憑借更加高效敏捷的資源騰挪調(diào)度以及云原生基礎(chǔ)設(shè)施、混合多云操作系統(tǒng)云艦等技術(shù)殺手锏，根據(jù)“戰(zhàn)場(chǎng)”變化而快速“變身”滿(mǎn)足需求，就像變形金剛一樣。
對(duì)此2022春晚項(xiàng)目IDC基礎(chǔ)保障負(fù)責(zé)人、京東云基礎(chǔ)設(shè)施研發(fā)部高級(jí)總監(jiān)，負(fù)責(zé)京東云基礎(chǔ)設(shè)施研發(fā)部高級(jí)總監(jiān)常亮表示：“為了應(yīng)對(duì)本次春晚互動(dòng)，我們并沒(méi)有單獨(dú)準(zhǔn)備額外的資源，一方面因?yàn)槎唐谂R時(shí)投入過(guò)大，與京東云長(zhǎng)期追求的精細(xì)化研發(fā)資源管理理念相悖；另一方面由于疫情導(dǎo)致的全球供應(yīng)鏈緊張，讓增加資源的客觀路徑變得行不通。所以?xún)H僅就是通過(guò)之前‘618’以及‘11.11’的資源，通過(guò)內(nèi)部快速騰挪以及擴(kuò)容，做到秒級(jí)調(diào)度近300萬(wàn)個(gè)容器、超1000萬(wàn)核算力資源在春晚互動(dòng)以及年貨春運(yùn)兩種模式中迅速切換，雖然困難很大但我們成功了。”
500)this.width=500" align="center" hspace=10 vspace=10 alt="4小時(shí)實(shí)現(xiàn)16次資源精準(zhǔn)騰挪京東云成功護(hù)航紅包互動(dòng)的背后">
除夕值守的京東云技術(shù)人員進(jìn)行春晚前的工作部署
從拆借資源滿(mǎn)足復(fù)雜需求過(guò)渡到提升系統(tǒng)架構(gòu)的高效敏捷能力做到快速變陣來(lái)應(yīng)對(duì)紛繁挑戰(zhàn)，尤其是鍛造提升大規(guī)模場(chǎng)景極端并發(fā)下的能力，在某種程度上代表著云廠商技術(shù)能力的持續(xù)性創(chuàng)新，這一次京東云借助春晚舞臺(tái)可謂身體力行。
從資源優(yōu)化的角度深挖下去，我們知道，本次春晚紅包互動(dòng)的難點(diǎn)就在于“紅包+消費(fèi)”疊加帶來(lái)的全鏈路復(fù)雜性，“如此高并發(fā)的流量下，過(guò)去在大促環(huán)節(jié)中使用的雙活架構(gòu)在應(yīng)對(duì)挑戰(zhàn)時(shí)顯然后力不足，所以很重要的就是通過(guò)業(yè)務(wù)評(píng)估完成系統(tǒng)分級(jí)來(lái)達(dá)成資源的最優(yōu)化調(diào)配。”基于此，項(xiàng)目籌備團(tuán)隊(duì)早早預(yù)想到并制定了分級(jí)標(biāo)準(zhǔn)(SABC)來(lái)完成資源的動(dòng)態(tài)調(diào)整與更新。例如在春晚互動(dòng)環(huán)節(jié)中，紅包互動(dòng)鏈路系統(tǒng)就為S級(jí)，反之其他則會(huì)酌情降級(jí)，這樣一來(lái)就可確保在互動(dòng)過(guò)程中高優(yōu)先級(jí)的應(yīng)用系統(tǒng)盡量多得到資源使用機(jī)會(huì)，做到“更少資源辦大事兒”。
當(dāng)然在敏捷靈活的資源應(yīng)對(duì)提升上，本次春晚紅包互動(dòng)項(xiàng)目照例亮出了京東云“當(dāng)家王牌”，即強(qiáng)大的混合多云操作系統(tǒng)云艦。得益于京東云從內(nèi)而發(fā)的云原生技術(shù)穩(wěn)定支持，通過(guò)發(fā)揮其針對(duì)大規(guī)模異構(gòu)基礎(chǔ)設(shè)施的敏捷調(diào)度以及資源靈活平滑擴(kuò)容等能力，確保全局資源編排和成本最優(yōu)、系統(tǒng)運(yùn)行最穩(wěn)。尤其是內(nèi)嵌其中的智能調(diào)度系統(tǒng)，利用了機(jī)器學(xué)習(xí)、深度學(xué)習(xí)智能算法，對(duì)應(yīng)用資源使用情況進(jìn)行預(yù)測(cè)來(lái)完成彈性?xún)?yōu)化；同時(shí)，超大規(guī)模離在線(xiàn)混部技術(shù)也在本次技術(shù)籌備中為化解長(zhǎng)周期脈沖式流量洪峰實(shí)現(xiàn)了有限資源的充分利用，原來(lái)三臺(tái)機(jī)器能解決的問(wèn)題，這次只要一臺(tái)就搞定了，讓算力發(fā)揮出最大價(jià)值。
談及將“人算”做到極致來(lái)迎接“天算”的考驗(yàn)，這次備戰(zhàn)項(xiàng)目團(tuán)隊(duì)也頗有心得。為了做到靈活敏捷的響應(yīng)，團(tuán)隊(duì)在活動(dòng)前就對(duì)可能發(fā)生的流量分布進(jìn)行了預(yù)測(cè)。例如根據(jù)過(guò)往觀看春晚并參與活動(dòng)的多維數(shù)據(jù)，率先繪制了“流量地圖”來(lái)提前預(yù)判地域流量差異，并進(jìn)行資源的針對(duì)性部署。
關(guān)于預(yù)測(cè)，春晚項(xiàng)目T-PaaS及中間件負(fù)責(zé)人張金柱做了一個(gè)形象生動(dòng)的比喻：“如果將這次紅包互動(dòng)項(xiàng)目看作是讓數(shù)以?xún)|計(jì)的觀眾快速進(jìn)入到某個(gè)場(chǎng)館來(lái)觀看比賽的話(huà)，中間件其實(shí)相當(dāng)于場(chǎng)館的各個(gè)通道。我們需要配合資源調(diào)度系統(tǒng)快速、合理地打開(kāi)這些通道，承接涌入的人流，保證大家有序、可控地進(jìn)入到自己的座位觀看比賽，其實(shí)就是確保大家能夠順利參與到紅包互動(dòng)中來(lái)。對(duì)此我們會(huì)根據(jù)目前掌握的數(shù)據(jù)分析預(yù)判大流量可能出現(xiàn)的環(huán)節(jié)，并做好對(duì)應(yīng)的資源部署與調(diào)整的同時(shí)，預(yù)判流量流轉(zhuǎn)的路徑以及走向，做好把控和引導(dǎo)及時(shí)響應(yīng)資源需求來(lái)進(jìn)行擴(kuò)縮容，確?！邢薜馁Y源用在刀刃上’以及快就一個(gè)字?！?br />
春晚互動(dòng)以及保障方案的快速落地，除了在很大程度上體現(xiàn)了京東云積木化IT思維，更是多年來(lái)應(yīng)對(duì)自身6.18和11.11的常態(tài)化備戰(zhàn)經(jīng)驗(yàn)。這次針對(duì)可能出現(xiàn)的意外情況，京東云首創(chuàng)“應(yīng)急劇本”作為異常演練預(yù)案。“在備戰(zhàn)過(guò)程中，通過(guò)多達(dá)7輪的壓力測(cè)試，其中還包括公網(wǎng)壓測(cè)以及斷網(wǎng)演練等，反復(fù)練習(xí)預(yù)案的操作步驟并觀察效果，同時(shí)還要考察系統(tǒng)上運(yùn)行的應(yīng)用的健康度，進(jìn)而驗(yàn)證是否符合預(yù)期效果并不斷調(diào)整，更好應(yīng)對(duì)突發(fā)的業(yè)務(wù)異常和模塊異常等情況，為互動(dòng)保駕護(hù)航?！敝乇Ｈ藛T總結(jié)道。
500)this.width=500" align="center" hspace=10 vspace=10 alt="4小時(shí)實(shí)現(xiàn)16次資源精準(zhǔn)騰挪京東云成功護(hù)航紅包互動(dòng)的背后">
奮戰(zhàn)在一線(xiàn)的京東云技術(shù)人員
如今的京東云可通過(guò)一站式安全、高效生產(chǎn)體系來(lái)助力研發(fā)進(jìn)行全鏈路、全方位的架構(gòu)升級(jí)和精細(xì)化資源管理，做到越來(lái)越多依靠系統(tǒng)來(lái)確保重大節(jié)點(diǎn)的穩(wěn)定，而不是單純依靠技術(shù)人力，這是打磨了兩年的泰山項(xiàng)目的可貴經(jīng)驗(yàn)，更是快速平穩(wěn)應(yīng)對(duì)特殊業(yè)務(wù)場(chǎng)景的能力修煉。
洪峰疊加履約從單純上云到更好用云
記憶猶新的春晚流量洪峰背后，是龐大而復(fù)雜的世界級(jí)的供應(yīng)鏈應(yīng)用場(chǎng)景。眾所周知，本次京東在支持春晚的同時(shí)還肩負(fù)起了支持全國(guó)“年貨春運(yùn)”中零售和物流等整體供應(yīng)鏈履約的工作，涉及前端App平臺(tái)、訂單、結(jié)算、支付、搜索、推薦，到后端的倉(cāng)儲(chǔ)、配送、客服、售后等多種業(yè)務(wù)系統(tǒng)，可以說(shuō)依靠多年在業(yè)務(wù)場(chǎng)景淬煉而成的“云鏈一體”高響應(yīng)、高敏捷能力，成功唱響一曲：從單純“上云”滿(mǎn)足業(yè)務(wù)需求到“用好云”、提升創(chuàng)新效能的高歌，不僅僅展現(xiàn)了自身的硬核技術(shù)實(shí)力，更能夠看做是中國(guó)云計(jì)算行業(yè)創(chuàng)新發(fā)展的一道剪影。
長(zhǎng)期以來(lái)，京東對(duì)供應(yīng)鏈的全鏈路進(jìn)行了應(yīng)用創(chuàng)新，實(shí)現(xiàn)近1000萬(wàn)自營(yíng)商品的世界級(jí)庫(kù)存周轉(zhuǎn)，全國(guó)超300座城市的分鐘級(jí)送達(dá)；利用智能供應(yīng)鏈超級(jí)自動(dòng)化完成對(duì)商品全流程進(jìn)行智能決策+自動(dòng)采買(mǎi)，并采用“京慧”數(shù)字化供應(yīng)鏈服務(wù)解決方案，為海量商家提供一體化供應(yīng)鏈優(yōu)化決策服務(wù)，這次更是攜手更多實(shí)體企業(yè)在春節(jié)期間繼續(xù)實(shí)現(xiàn)高質(zhì)量增長(zhǎng)。
另外2022年作為京東連續(xù)第10年“春節(jié)也送貨”：讓全國(guó)30個(gè)省份、超過(guò)300個(gè)城市、近1500個(gè)區(qū)縣的消費(fèi)者，即使是在除夕、大年初一也可以正常下單收貨，享受超過(guò)20萬(wàn)名京東物流小哥送貨上門(mén)的春節(jié)物流服務(wù)，用“年貨春運(yùn)”充分滿(mǎn)足商家與消費(fèi)者在春節(jié)期間的服務(wù)需求。
當(dāng)然要實(shí)現(xiàn)“更快更好”的物流配送目標(biāo)，確保訂單的短時(shí)高效準(zhǔn)確送達(dá)，平臺(tái)智能訂單分發(fā)系統(tǒng)、運(yùn)力調(diào)控系統(tǒng)、顧客與商家雙向數(shù)據(jù)的實(shí)時(shí)同步運(yùn)算都面臨著極大挑戰(zhàn)，此時(shí)安全及穩(wěn)定的云服務(wù)底座就顯得格外重要。
目前京東物流已實(shí)現(xiàn)全量上云，“跑”在云上的數(shù)據(jù)庫(kù)根據(jù)預(yù)先估計(jì)好的數(shù)據(jù)量做好資源規(guī)劃和分配，真正洪峰到來(lái)之時(shí)云數(shù)據(jù)庫(kù)就會(huì)通過(guò)高可用架構(gòu)、自動(dòng)故障切換、彈性擴(kuò)容機(jī)制等一系列數(shù)據(jù)庫(kù)級(jí)別的技術(shù)手段，保證數(shù)據(jù)可備份，故障可切換，增量可擴(kuò)容，從容應(yīng)對(duì)流量高峰期間的數(shù)據(jù)壓力，充分實(shí)現(xiàn)對(duì)京東“年貨春運(yùn)”春節(jié)24小時(shí)不打烊的全鏈路保障。
500)this.width=500" align="center" hspace=10 vspace=10 alt="4小時(shí)實(shí)現(xiàn)16次資源精準(zhǔn)騰挪京東云成功護(hù)航紅包互動(dòng)的背后">
京東云支持京東連續(xù)第10年春節(jié)也送貨
“今年春晚對(duì)于支付端的挑戰(zhàn)也是非常大的”，春晚項(xiàng)目支付端負(fù)責(zé)人表示：“今年除了原有的訂單交易鏈路上的流量之外，在發(fā)獎(jiǎng)、紅包查閱、用戶(hù)登錄注冊(cè)等多個(gè)鏈路均會(huì)受到流量洪峰的考驗(yàn)?！睂?duì)此京東云自主產(chǎn)權(quán)的支付結(jié)算服務(wù)平臺(tái)，充分利用動(dòng)態(tài)規(guī)則拆分算法專(zhuān)利解決了海量數(shù)據(jù)對(duì)賬問(wèn)題，達(dá)成核心交易系統(tǒng)持續(xù)不間斷能力超99.99%，具備極強(qiáng)的容災(zāi)能力及可觀的吞吐量，成功應(yīng)對(duì)支撐春晚峰值流量的同時(shí)為用戶(hù)提供安全、穩(wěn)定、便捷的紅包互動(dòng)體驗(yàn)。
500)this.width=500" align="center" hspace=10 vspace=10 alt="4小時(shí)實(shí)現(xiàn)16次資源精準(zhǔn)騰挪京東云成功護(hù)航紅包互動(dòng)的背后">
奮戰(zhàn)在一線(xiàn)的京東云技術(shù)人員
為保障廣大消費(fèi)者春節(jié)期間的用戶(hù)體驗(yàn)，京東首個(gè)智能數(shù)字人客服芊言也正式上崗啦，致力提供有技術(shù)、有溫度的客戶(hù)服務(wù)體驗(yàn)；芊言自然交流、流暢互動(dòng)的背后是京東云自主研發(fā)的京東智能客服言犀提供世界領(lǐng)先的多模態(tài)交互技術(shù)。春節(jié)期間芊言和其他“客服伙伴”將承載史上最高的SaaS服務(wù)流量洪峰，為用戶(hù)提供7*24小時(shí)全鏈路場(chǎng)景智能化服務(wù)。最新數(shù)據(jù)顯示，自年貨節(jié)啟動(dòng)至春晚結(jié)束，京東智能客服言犀累計(jì)咨詢(xún)服務(wù)量達(dá)5.5億次，為16.5萬(wàn)商家提供超1億次服務(wù)，陪伴全國(guó)人民舒心辦年貨，安心過(guò)大年。
歷經(jīng)備戰(zhàn)時(shí)間史上最短、互動(dòng)活動(dòng)史上最長(zhǎng)、世界上規(guī)模最大的網(wǎng)絡(luò)互動(dòng)活動(dòng)、全球最復(fù)雜場(chǎng)景的360度考驗(yàn)，對(duì)京東云來(lái)說(shuō)，本次春晚紅包互動(dòng)除了應(yīng)對(duì)極端且復(fù)雜場(chǎng)景的綜合技術(shù)能力提升之外，更是從流量角逐到產(chǎn)業(yè)數(shù)字化的變革，從業(yè)務(wù)“上云”到“更用好云”的深化。
除夕當(dāng)天參與一線(xiàn)值守的京東云技術(shù)人員歡慶圓滿(mǎn)完成任務(wù)
相比過(guò)往入局者們爭(zhēng)先恐后打響線(xiàn)上流量爭(zhēng)奪的狙擊戰(zhàn)，京東這次可謂克服“流量+履約”的“難上加難”，不但從容應(yīng)對(duì)了高達(dá)數(shù)億峰值的極端并發(fā)流量洗禮；還有序肩負(fù)起全國(guó)“年貨春運(yùn)”中零售和物流等整體供應(yīng)鏈履約，妥妥刷新春晚全球最復(fù)雜技術(shù)場(chǎng)景紀(jì)錄，堪稱(chēng)絕絕子！
回顧前期籌備的種種時(shí)刻，今年的春晚紅包互動(dòng)著實(shí)給京東出了一道不小的難題！“此過(guò)程中，京東技術(shù)體系需要支持紅包互動(dòng)及購(gòu)物交易場(chǎng)景，兩個(gè)場(chǎng)景差異性大，峰值頻繁往返切換，技術(shù)挑戰(zhàn)極大；另外除紅包互動(dòng)場(chǎng)景外正值年貨節(jié)，京東技術(shù)體系還需要支持京東的交易、支付、客服、分揀、配送等眾多業(yè)務(wù)場(chǎng)景，鏈路超長(zhǎng)。每一個(gè)鏈路節(jié)點(diǎn)的增加，都大幅提升了項(xiàng)目技術(shù)系統(tǒng)的復(fù)雜度和保障難度。這座極具技術(shù)挑戰(zhàn)的‘珠穆朗瑪’不好攀登！”備戰(zhàn)團(tuán)隊(duì)成員們紛紛表示。
但令人驚嘆的是，僅僅19天，在不增加計(jì)算資源且獨(dú)立支持的情況下，超10000名技術(shù)人員基于京東云行云研發(fā)效能平臺(tái)協(xié)同作戰(zhàn)，憑借早已修煉多年的云原生數(shù)字基礎(chǔ)設(shè)施以及歷經(jīng)多次大規(guī)模場(chǎng)景技術(shù)錘煉的混合多云操作系統(tǒng)云艦等技術(shù)，利用遍布全國(guó)的70多座數(shù)據(jù)中心，為世界級(jí)最大規(guī)?；?dòng)成功搭建了一個(gè)超高彈性、高效敏捷的數(shù)字底座，成功應(yīng)對(duì)了史上最高網(wǎng)絡(luò)互動(dòng)流量高峰與最復(fù)雜應(yīng)用場(chǎng)景。
奮戰(zhàn)在一線(xiàn)的京東云技術(shù)人員
4小時(shí)互動(dòng)不斷、累計(jì)互動(dòng)量達(dá)691億次、上萬(wàn)名技術(shù)人員高效協(xié)同、16次秒級(jí)精準(zhǔn)騰挪、秒級(jí)資源順暢切換……京東云憑啥能成？
“京東第一次！春晚紅包互動(dòng)，我們可是立了軍令狀！”
“這是京東第一次獨(dú)立支持春晚紅包互動(dòng)這么個(gè)大項(xiàng)目，一定要打個(gè)漂亮仗！“談起容易做起來(lái)卻非常難！京東紅包項(xiàng)目組技術(shù)負(fù)責(zé)人介紹，“春晚互動(dòng)項(xiàng)目不僅僅是一個(gè)極具挑戰(zhàn)性的技術(shù)問(wèn)題，更是一個(gè)多部門(mén)高效協(xié)作的問(wèn)題，時(shí)間緊、任務(wù)急、挑戰(zhàn)大、涉及人員復(fù)雜等問(wèn)題都是必須要應(yīng)對(duì)的。為此我們?cè)诙虝r(shí)間內(nèi)專(zhuān)門(mén)拉通了數(shù)十個(gè)一級(jí)部門(mén)，超過(guò)一萬(wàn)名以上的研發(fā)人員聯(lián)手作戰(zhàn)，實(shí)現(xiàn)多個(gè)業(yè)務(wù)系統(tǒng)的有序?qū)雍驼{(diào)優(yōu)，讓整個(gè)項(xiàng)目高效協(xié)同起來(lái)?！眰鋺?zhàn)之初，京東就已形成了完善的備戰(zhàn)體系架構(gòu)：由備戰(zhàn)總指揮統(tǒng)一部署，項(xiàng)目備戰(zhàn)團(tuán)隊(duì)跟進(jìn)，統(tǒng)一協(xié)調(diào)橫跨零售、科技、物流等多個(gè)部門(mén)的所有研發(fā)團(tuán)隊(duì)。
京東云產(chǎn)品研發(fā)部工程師討論春晚項(xiàng)目
據(jù)悉京東技術(shù)體系有超3000名技術(shù)人員參與了項(xiàng)目的技術(shù)攻關(guān)與保障工作，除夕當(dāng)天參與一線(xiàn)值守的技術(shù)保障人員就多達(dá)2000人。超萬(wàn)名京東人協(xié)同作戰(zhàn)的背后，是跨度多達(dá)一個(gè)月的年貨節(jié)、春晚紅包互動(dòng)等精彩時(shí)刻，更重要的是為全國(guó)消費(fèi)者創(chuàng)造了極致體驗(yàn)并帶動(dòng)數(shù)十萬(wàn)商家、客戶(hù)與合作伙伴共同分享了節(jié)日盛宴的喜慶祥和。
用“變形金剛”的思維來(lái)應(yīng)對(duì)這次的“難上加難”
掐指一算，春晚紅包互動(dòng)已經(jīng)邁入第七個(gè)年頭，今年京東云在首次護(hù)航虎年春晚中完全告別通過(guò)單純?cè)黾臃?wù)器資源來(lái)攻克高并發(fā)的傳統(tǒng)操作，憑借更加高效敏捷的資源騰挪調(diào)度以及云原生基礎(chǔ)設(shè)施、混合多云操作系統(tǒng)云艦等技術(shù)殺手锏，根據(jù)“戰(zhàn)場(chǎng)”變化而快速“變身”滿(mǎn)足需求，就像變形金剛一樣。
對(duì)此2022春晚項(xiàng)目IDC基礎(chǔ)保障負(fù)責(zé)人、京東云基礎(chǔ)設(shè)施研發(fā)部高級(jí)總監(jiān)，負(fù)責(zé)京東云基礎(chǔ)設(shè)施研發(fā)部高級(jí)總監(jiān)常亮表示：“為了應(yīng)對(duì)本次春晚互動(dòng)，我們并沒(méi)有單獨(dú)準(zhǔn)備額外的資源，一方面因?yàn)槎唐谂R時(shí)投入過(guò)大，與京東云長(zhǎng)期追求的精細(xì)化研發(fā)資源管理理念相悖；另一方面由于疫情導(dǎo)致的全球供應(yīng)鏈緊張，讓增加資源的客觀路徑變得行不通。所以?xún)H僅就是通過(guò)之前‘618’以及‘11.11’的資源，通過(guò)內(nèi)部快速騰挪以及擴(kuò)容，做到秒級(jí)調(diào)度近300萬(wàn)個(gè)容器、超1000萬(wàn)核算力資源在春晚互動(dòng)以及年貨春運(yùn)兩種模式中迅速切換，雖然困難很大但我們成功了。”
除夕值守的京東云技術(shù)人員進(jìn)行春晚前的工作部署
從拆借資源滿(mǎn)足復(fù)雜需求過(guò)渡到提升系統(tǒng)架構(gòu)的高效敏捷能力做到快速變陣來(lái)應(yīng)對(duì)紛繁挑戰(zhàn)，尤其是鍛造提升大規(guī)模場(chǎng)景極端并發(fā)下的能力，在某種程度上代表著云廠商技術(shù)能力的持續(xù)性創(chuàng)新，這一次京東云借助春晚舞臺(tái)可謂身體力行。
從資源優(yōu)化的角度深挖下去，我們知道，本次春晚紅包互動(dòng)的難點(diǎn)就在于“紅包+消費(fèi)”疊加帶來(lái)的全鏈路復(fù)雜性，“如此高并發(fā)的流量下，過(guò)去在大促環(huán)節(jié)中使用的雙活架構(gòu)在應(yīng)對(duì)挑戰(zhàn)時(shí)顯然后力不足，所以很重要的就是通過(guò)業(yè)務(wù)評(píng)估完成系統(tǒng)分級(jí)來(lái)達(dá)成資源的最優(yōu)化調(diào)配。”基于此，項(xiàng)目籌備團(tuán)隊(duì)早早預(yù)想到并制定了分級(jí)標(biāo)準(zhǔn)(SABC)來(lái)完成資源的動(dòng)態(tài)調(diào)整與更新。例如在春晚互動(dòng)環(huán)節(jié)中，紅包互動(dòng)鏈路系統(tǒng)就為S級(jí)，反之其他則會(huì)酌情降級(jí)，這樣一來(lái)就可確保在互動(dòng)過(guò)程中高優(yōu)先級(jí)的應(yīng)用系統(tǒng)盡量多得到資源使用機(jī)會(huì)，做到“更少資源辦大事兒”。
當(dāng)然在敏捷靈活的資源應(yīng)對(duì)提升上，本次春晚紅包互動(dòng)項(xiàng)目照例亮出了京東云“當(dāng)家王牌”，即強(qiáng)大的混合多云操作系統(tǒng)云艦。得益于京東云從內(nèi)而發(fā)的云原生技術(shù)穩(wěn)定支持，通過(guò)發(fā)揮其針對(duì)大規(guī)模異構(gòu)基礎(chǔ)設(shè)施的敏捷調(diào)度以及資源靈活平滑擴(kuò)容等能力，確保全局資源編排和成本最優(yōu)、系統(tǒng)運(yùn)行最穩(wěn)。尤其是內(nèi)嵌其中的智能調(diào)度系統(tǒng)，利用了機(jī)器學(xué)習(xí)、深度學(xué)習(xí)智能算法，對(duì)應(yīng)用資源使用情況進(jìn)行預(yù)測(cè)來(lái)完成彈性?xún)?yōu)化；同時(shí)，超大規(guī)模離在線(xiàn)混部技術(shù)也在本次技術(shù)籌備中為化解長(zhǎng)周期脈沖式流量洪峰實(shí)現(xiàn)了有限資源的充分利用，原來(lái)三臺(tái)機(jī)器能解決的問(wèn)題，這次只要一臺(tái)就搞定了，讓算力發(fā)揮出最大價(jià)值。
談及將“人算”做到極致來(lái)迎接“天算”的考驗(yàn)，這次備戰(zhàn)項(xiàng)目團(tuán)隊(duì)也頗有心得。為了做到靈活敏捷的響應(yīng)，團(tuán)隊(duì)在活動(dòng)前就對(duì)可能發(fā)生的流量分布進(jìn)行了預(yù)測(cè)。例如根據(jù)過(guò)往觀看春晚并參與活動(dòng)的多維數(shù)據(jù)，率先繪制了“流量地圖”來(lái)提前預(yù)判地域流量差異，并進(jìn)行資源的針對(duì)性部署。
關(guān)于預(yù)測(cè)，春晚項(xiàng)目T-PaaS及中間件負(fù)責(zé)人張金柱做了一個(gè)形象生動(dòng)的比喻：“如果將這次紅包互動(dòng)項(xiàng)目看作是讓數(shù)以?xún)|計(jì)的觀眾快速進(jìn)入到某個(gè)場(chǎng)館來(lái)觀看比賽的話(huà)，中間件其實(shí)相當(dāng)于場(chǎng)館的各個(gè)通道。我們需要配合資源調(diào)度系統(tǒng)快速、合理地打開(kāi)這些通道，承接涌入的人流，保證大家有序、可控地進(jìn)入到自己的座位觀看比賽，其實(shí)就是確保大家能夠順利參與到紅包互動(dòng)中來(lái)。對(duì)此我們會(huì)根據(jù)目前掌握的數(shù)據(jù)分析預(yù)判大流量可能出現(xiàn)的環(huán)節(jié)，并做好對(duì)應(yīng)的資源部署與調(diào)整的同時(shí)，預(yù)判流量流轉(zhuǎn)的路徑以及走向，做好把控和引導(dǎo)及時(shí)響應(yīng)資源需求來(lái)進(jìn)行擴(kuò)縮容，確?！邢薜馁Y源用在刀刃上’以及快就一個(gè)字?！?br />
春晚互動(dòng)以及保障方案的快速落地，除了在很大程度上體現(xiàn)了京東云積木化IT思維，更是多年來(lái)應(yīng)對(duì)自身6.18和11.11的常態(tài)化備戰(zhàn)經(jīng)驗(yàn)。這次針對(duì)可能出現(xiàn)的意外情況，京東云首創(chuàng)“應(yīng)急劇本”作為異常演練預(yù)案。“在備戰(zhàn)過(guò)程中，通過(guò)多達(dá)7輪的壓力測(cè)試，其中還包括公網(wǎng)壓測(cè)以及斷網(wǎng)演練等，反復(fù)練習(xí)預(yù)案的操作步驟并觀察效果，同時(shí)還要考察系統(tǒng)上運(yùn)行的應(yīng)用的健康度，進(jìn)而驗(yàn)證是否符合預(yù)期效果并不斷調(diào)整，更好應(yīng)對(duì)突發(fā)的業(yè)務(wù)異常和模塊異常等情況，為互動(dòng)保駕護(hù)航?！敝乇Ｈ藛T總結(jié)道。
奮戰(zhàn)在一線(xiàn)的京東云技術(shù)人員
如今的京東云可通過(guò)一站式安全、高效生產(chǎn)體系來(lái)助力研發(fā)進(jìn)行全鏈路、全方位的架構(gòu)升級(jí)和精細(xì)化資源管理，做到越來(lái)越多依靠系統(tǒng)來(lái)確保重大節(jié)點(diǎn)的穩(wěn)定，而不是單純依靠技術(shù)人力，這是打磨了兩年的泰山項(xiàng)目的可貴經(jīng)驗(yàn)，更是快速平穩(wěn)應(yīng)對(duì)特殊業(yè)務(wù)場(chǎng)景的能力修煉。
洪峰疊加履約從單純上云到更好用云
記憶猶新的春晚流量洪峰背后，是龐大而復(fù)雜的世界級(jí)的供應(yīng)鏈應(yīng)用場(chǎng)景。眾所周知，本次京東在支持春晚的同時(shí)還肩負(fù)起了支持全國(guó)“年貨春運(yùn)”中零售和物流等整體供應(yīng)鏈履約的工作，涉及前端App平臺(tái)、訂單、結(jié)算、支付、搜索、推薦，到后端的倉(cāng)儲(chǔ)、配送、客服、售后等多種業(yè)務(wù)系統(tǒng)，可以說(shuō)依靠多年在業(yè)務(wù)場(chǎng)景淬煉而成的“云鏈一體”高響應(yīng)、高敏捷能力，成功唱響一曲：從單純“上云”滿(mǎn)足業(yè)務(wù)需求到“用好云”、提升創(chuàng)新效能的高歌，不僅僅展現(xiàn)了自身的硬核技術(shù)實(shí)力，更能夠看做是中國(guó)云計(jì)算行業(yè)創(chuàng)新發(fā)展的一道剪影。
長(zhǎng)期以來(lái)，京東對(duì)供應(yīng)鏈的全鏈路進(jìn)行了應(yīng)用創(chuàng)新，實(shí)現(xiàn)近1000萬(wàn)自營(yíng)商品的世界級(jí)庫(kù)存周轉(zhuǎn)，全國(guó)超300座城市的分鐘級(jí)送達(dá)；利用智能供應(yīng)鏈超級(jí)自動(dòng)化完成對(duì)商品全流程進(jìn)行智能決策+自動(dòng)采買(mǎi)，并采用“京慧”數(shù)字化供應(yīng)鏈服務(wù)解決方案，為海量商家提供一體化供應(yīng)鏈優(yōu)化決策服務(wù)，這次更是攜手更多實(shí)體企業(yè)在春節(jié)期間繼續(xù)實(shí)現(xiàn)高質(zhì)量增長(zhǎng)。
另外2022年作為京東連續(xù)第10年“春節(jié)也送貨”：讓全國(guó)30個(gè)省份、超過(guò)300個(gè)城市、近1500個(gè)區(qū)縣的消費(fèi)者，即使是在除夕、大年初一也可以正常下單收貨，享受超過(guò)20萬(wàn)名京東物流小哥送貨上門(mén)的春節(jié)物流服務(wù)，用“年貨春運(yùn)”充分滿(mǎn)足商家與消費(fèi)者在春節(jié)期間的服務(wù)需求。
當(dāng)然要實(shí)現(xiàn)“更快更好”的物流配送目標(biāo)，確保訂單的短時(shí)高效準(zhǔn)確送達(dá)，平臺(tái)智能訂單分發(fā)系統(tǒng)、運(yùn)力調(diào)控系統(tǒng)、顧客與商家雙向數(shù)據(jù)的實(shí)時(shí)同步運(yùn)算都面臨著極大挑戰(zhàn)，此時(shí)安全及穩(wěn)定的云服務(wù)底座就顯得格外重要。
目前京東物流已實(shí)現(xiàn)全量上云，“跑”在云上的數(shù)據(jù)庫(kù)根據(jù)預(yù)先估計(jì)好的數(shù)據(jù)量做好資源規(guī)劃和分配，真正洪峰到來(lái)之時(shí)云數(shù)據(jù)庫(kù)就會(huì)通過(guò)高可用架構(gòu)、自動(dòng)故障切換、彈性擴(kuò)容機(jī)制等一系列數(shù)據(jù)庫(kù)級(jí)別的技術(shù)手段，保證數(shù)據(jù)可備份，故障可切換，增量可擴(kuò)容，從容應(yīng)對(duì)流量高峰期間的數(shù)據(jù)壓力，充分實(shí)現(xiàn)對(duì)京東“年貨春運(yùn)”春節(jié)24小時(shí)不打烊的全鏈路保障。
京東云支持京東連續(xù)第10年春節(jié)也送貨
“今年春晚對(duì)于支付端的挑戰(zhàn)也是非常大的”，春晚項(xiàng)目支付端負(fù)責(zé)人表示：“今年除了原有的訂單交易鏈路上的流量之外，在發(fā)獎(jiǎng)、紅包查閱、用戶(hù)登錄注冊(cè)等多個(gè)鏈路均會(huì)受到流量洪峰的考驗(yàn)?！睂?duì)此京東云自主產(chǎn)權(quán)的支付結(jié)算服務(wù)平臺(tái)，充分利用動(dòng)態(tài)規(guī)則拆分算法專(zhuān)利解決了海量數(shù)據(jù)對(duì)賬問(wèn)題，達(dá)成核心交易系統(tǒng)持續(xù)不間斷能力超99.99%，具備極強(qiáng)的容災(zāi)能力及可觀的吞吐量，成功應(yīng)對(duì)支撐春晚峰值流量的同時(shí)為用戶(hù)提供安全、穩(wěn)定、便捷的紅包互動(dòng)體驗(yàn)。
奮戰(zhàn)在一線(xiàn)的京東云技術(shù)人員
為保障廣大消費(fèi)者春節(jié)期間的用戶(hù)體驗(yàn)，京東首個(gè)智能數(shù)字人客服芊言也正式上崗啦，致力提供有技術(shù)、有溫度的客戶(hù)服務(wù)體驗(yàn)；芊言自然交流、流暢互動(dòng)的背后是京東云自主研發(fā)的京東智能客服言犀提供世界領(lǐng)先的多模態(tài)交互技術(shù)。春節(jié)期間芊言和其他“客服伙伴”將承載史上最高的SaaS服務(wù)流量洪峰，為用戶(hù)提供7*24小時(shí)全鏈路場(chǎng)景智能化服務(wù)。最新數(shù)據(jù)顯示，自年貨節(jié)啟動(dòng)至春晚結(jié)束，京東智能客服言犀累計(jì)咨詢(xún)服務(wù)量達(dá)5.5億次，為16.5萬(wàn)商家提供超1億次服務(wù)，陪伴全國(guó)人民舒心辦年貨，安心過(guò)大年。
歷經(jīng)備戰(zhàn)時(shí)間史上最短、互動(dòng)活動(dòng)史上最長(zhǎng)、世界上規(guī)模最大的網(wǎng)絡(luò)互動(dòng)活動(dòng)、全球最復(fù)雜場(chǎng)景的360度考驗(yàn)，對(duì)京東云來(lái)說(shuō)，本次春晚紅包互動(dòng)除了應(yīng)對(duì)極端且復(fù)雜場(chǎng)景的綜合技術(shù)能力提升之外，更是從流量角逐到產(chǎn)業(yè)數(shù)字化的變革，從業(yè)務(wù)“上云”到“更用好云”的深化。
