色光帶,大鐘寺附近的寫字樓還遠沒有安靜下來。
字節跳動辦公區裡,基礎設施值班組正在日常加班。
這樣的強度對於音符廠來說,已經是日常。
心臟和字節,隻有一個能跳動。
趙寶明端著咖啡坐回工位時,麵前的一塊監控大屏忽然跳了一下。
陝西區域的實時請求曲線出現了一道垂直向下的折線。
他停住鼠標,“西安掉量了?”
旁邊負責網絡質量監控的工程師陳可扭過頭來看他的屏幕。
趙寶明點開區域維度,將陝西進一步拆到城市級。
西安
頁麵刷新。
19時24分59秒以前,曲線仍然平穩。
19時25分00秒之後,斷崖式下降。
抖海、頭條、洋柿子小說以及公司其他國內業務中,來源地被IP地理庫、運營商接入信息和客戶端定位共同識別為西安的在線請求量,在短短兩秒內同時歸零。
趙寶明臉上的困意瞬間消失,一下子清醒了,
“可可,把時間窗口拉到一分鐘。”
陳可已經在操作。
一分鐘粒度展開成秒級數據。
19時24分58秒,正常。
19時24分59秒,正常。
19時25分00秒,大規模連接斷開。
19時25分01秒,QUIC會話數量驟降。
19時25分02秒,TCP存量連接快速清空。
19時25分03秒,西安區域新建連接數接近零。
19時25分05秒以後,隻剩下極少量因IP地理庫誤差被標記為“西安”的請求,還在零星跳動。
陳可皺起眉,“啥情況,看著不像機房故障啊。”
趙寶明把咖啡放到一邊。
如果隻是字節某個邊緣節點發生故障,流量應該按照調度策略遷移到鄰近節點。DNS調度、Anycast路由以及運營商側的流量工程都會讓業務出現時延升高、回源比例上升或者局部丟包,卻很難讓一個千萬級別人口城市的終端請求同時消失。
更何況消失的不隻有視頻業務。
後台統一可觀測平台已經開始連續報警。
陝西西安區域活躍設備數異常。
西安區域邊緣緩存節點可用性異。
一條接一條。
幾十秒後,報警被自動聚合,嚴重等級開始上調。
坐在另一排的網絡工程師宋文澤突然叫了一聲。
“趙哥,過來看這個。”
趙寶明走過去。
看本書最新章節,請到oop.tw
宋文澤屏幕上打開的是網絡側數據。
移動、電信、聯通。西安區域全部出現異常。
宋文澤把BGP監控頁麵調出來。
“陝西相關公網前綴大部分還在路由表裡,沒有發生大麵積撤銷。上遊AS也正常。也就是說,從互聯網的路由控製平麵看,這些地址很多仍然‘存在’。”
陳可站在兩人後麵,接了一句,“可沒人用了。”
辦公室安靜了下來。
19時26分11秒,周啟明拿起內部電話。
“值班經理呢?”
“會議室。”
“叫顧航過來。”
不到一分鐘,基礎設施值班經理顧航推開門。
“什麼情況?”
周啟明沒解釋,直接把城市級曲線投到主屏。
顧航站在屏幕前看了幾秒,“陝西其他城市?
“正常”
“基站級數據有嗎?”
“我們拿不到運營商完整基站數據,隻能用自有業務探針、網絡質量采樣和用戶請求反推。”
陳可把空間熱力圖又放大一級。
這一回,幾個人都沒說話。
。整規此如會不界邊的網斷性域區場一,常通
。現出路線沿會斷中纜光
。響影區分電供到受會電停
。界邊政行的製繪類人條一循遵格嚴會不更斷中信通的成造災火、水洪、震地
。圈一了切廓輪的市安西著沿刀把一用人有像卻,區黑片這前眼可
”。去上疊圖劃區政行把“,口開於終航顧
。圖底出調澤文宋
。上圖力熱絡網時實在蓋覆界邊政行市安西的明透半
。謬荒乎近得高度合重
。了掉挖中界世時實的網聯互國中從被像安西
。高提動手航顧被級等件事部內,秒40分82時91
”。人責負應響急應和全安息信、ERS、施設礎基絡網知通“
”。室公辦安西係聯再“
。話電起拿澤文宋
。話電班值政行的的部分安西動跳節字有裡錄訊通
。號撥
。待等
。通接有沒
。碼號個一換
。通接有沒然仍
”。上不係聯也人“
。了變於終色神航顧
。圍範的理處夠能節字了出超經已事件這
。秒32分03時91
。明通火燈然仍市城
。通不泄水得堵舊依環三北
。求請理處在仍器務服數無,頻視著刷在仍機手數無
。天了變底徹經已,市城座一的外裡公千近在遠,道知不還人分部大