鯨品堂｜什麽技術（shù），讓浩（hào）鯨科技（jì）拿下中國移動大獎？

2022-03-22 1064

導讀：為（wéi）進一步強化IT係統的支撐服務能力，保障業務連續性，切實提升客戶感知，自2021年9月17日至12月26日，中國移（yí）動信息技術公司（sī）組織開展了“百日無故障（zhàng）”專項活動。

国产亚洲熟妇在线视频科技受邀參加，在高效、高質量產品保障支撐（chēng）下，集中結算業務係（xì）統實現了全年穩定運行，並獲得了由中國（guó）移動信息計（jì）費清結算中心頒發的“融合提升獎”獎項（xiàng）。

我們將走進獲獎背後（hòu）的故事（shì），為（wéi）大家介紹其中的技術。

劍出“鯨”廬—打造一體化（huà）運維體係

隨著集團各（gè）省（shěng）份租戶陸續上線，後期（qī）業務快速發展，純手工運維（wéi）出賬嚴重影響（xiǎng）出賬（zhàng）效（xiào）率。每月上百項（xiàng）出賬任務，錯綜複（fù）雜，都需要人為進行判斷以及執行，稍（shāo）有不慎，就會（huì）引發（fā）係統故障以（yǐ）及客戶投訴。據此，我們突破現狀（zhuàng），根據集團特有的租戶理念，打造租戶一屏運維，創（chuàng）建多維工作平台，實現運維可視化、自動化、可移（yí）植化，使得效能大大提升。

一屏運維（wéi），實（shí）現運維在線閉環管控

集團租戶一屏運維，提供（gòng）在線事務管理功能（néng）及日常運維在線處理功能。其涵蓋（gài）運維出賬、數據稽核全程事務，每（měi）月定時進行實例化任務項，每天定時啟動需（xū）要執行的任務項，實時結（jié）算，實時（shí）稽核異（yì）常數據，實現租戶運維閉環管控，提升租戶的運維能（néng）力。

運維出賬事項在線（xiàn）化：針對省份（fèn）梳（shū）理出的（de）上百項出賬任（rèn）務，上千個出賬環節步驟進行了在線配置，通過一屏運維界麵，采用日曆展示方式，清晰（xī）查閱本月每天執行事務並全流程跟蹤。

運維出賬事項自動化：對配置（zhì）好（hǎo）的各項事務流程環節步驟，到點自動執行，並對執行後的（de）結（jié）果（guǒ）數據進行自（zì）動稽核及告警。

運維出賬事項閉環化：對結算數據進行自動稽核後，根（gēn）據預判進入異常修複流程，進行自動化重（chóng）處理，生產出滿足出賬要求的結算數據。

租（zū）戶間出賬事務複製：針對租戶的新增，支持擴（kuò）展引擎支撐網格結（jié）算，提（tí）供（gòng）租戶之間複製功能及全流程向（xiàng）導式配置指（zhǐ）引（避免了租戶成百上千的出（chū）賬稽核流（liú）程、環節、步驟重複配置），減少人員投入，提（tí）升運維配（pèi）置（zhì）效率。

多維工作（zuò）台（tái），支（zhī）撐結算運營（yíng）可視化

多維工作台，是根據租戶的多（duō）層次多角色管理，針對不同角（jiǎo）色定義功（gōng）能各異的（de）工作台，各角色人員能夠（gòu）基於各自的關注點在此平台參與其結（jié）算工作。以“千人（rén）千麵”的運維理念，提供不同角色關注點（diǎn）各（gè）異的日報（bào）、月報和工作（zuò）台，通過多維在線報告掌握係統狀況（kuàng），促進（jìn）各角色人員的事務（wù）提醒和快（kuài）速處理。

集團（tuán）領導視圖：提供各省業務結（jié）算情（qíng）況、同環比波動、係統健康度展示

集團管理員視圖：提（tí）供當前（qián）業務結算情況（kuàng）、運維事務進展、各層告警視圖展（zhǎn）示

省份管理員視圖：處理事務和告警（jǐng）、本（běn）省各業務結算情況、出賬事務（wù）進展情況、係統業（yè）務各項指標展現

係統管理員視圖：全景事務、各層告警情況（kuàng）、業務各項指標、出賬情況、結算業務情況展示

係統運維人（rén）員視圖：待處理事務和告警（jǐng）情（qíng）況、出賬事務進展情（qíng）況，係統運行各項指標展現

日、月報展示：自動生成業務日、月報和運維日、月報, 無需人工整理輸出, 係統根據（jù）日常出賬情況數據，以及稽核過程數據，自動生成

結算智庫和規則庫，工於積累，傳承（chéng）有序

多維（wéi）工作平台，不僅通過多維度的運維數據，稽（jī）核（hé）數據匯聚成各層麵視圖報告，推送到各角色人員進行查看，實（shí）時關注集中結算業務係統結算動態，高效地拉通了（le）運（yùn）維人員、管理人員及客戶之間的協作，提升了（le）係統運維效率，還提供共（gòng）享規則庫（kù）和結算智庫的（de）功能，快速落實新（xīn）租戶的交付和實施（shī）。

建設預置共（gòng）享規則庫（kù），提供共性規則庫從集團（tuán）到租戶間同步操作，加快新租戶實施提升SAAS級租戶模式（shì），讓新租戶（hù）具（jù）備快速運營業務的能力。

根據租戶的共（gòng）性，建設結算智庫，針對運維過（guò）程進行知（zhī）識沉澱，對（duì）於重要（yào）功能進（jìn）行引導，加（jiā）快操作人員熟悉（xī）使用，完善落地全線文檔，促（cù）進（jìn）經驗傳承和分享。

編外：落地效果

一屏運維、多維工作平台的成功使用，使得結算產品的可用性、可維護性、可移植性都得到了大大的（de）提升，極大改進了生產能力，2021年，移動集團集中結算項目端到端人（rén）力投入從原來45人降低到24人，人力與人效都直接（jiē）提升50%。

在移動集中結算（suàn）三期實施中，根據各省業務特性，將進一步對一體化運維進行（háng）提升優化，總結實踐經營，推（tuī）廣（guǎng）到電信傭金省份（fèn），提升結算（suàn）相（xiàng）關（guān）產品運維效率。

眾劍（jiàn）鑠鯨-組建一體化團隊

團隊應該按項目的特征要求組建，不同的產品以及不同的階段都會（huì）對團隊的構成模式（shì）提出不同的要求，針對（duì）性越強必然越高效。圍繞建立一體運維體係的目標，組（zǔ）建一體化團隊進行支撐亦成必然。

組建端到端運維團隊，進行全程總（zǒng）控

設立項目一號位，負責需求落地全過程管控。首先，統一負責需求任務入口和拆解，確（què）保需求的可行性、有效性（xìng）和有價性；其次各團隊間，統一調度管控，打破團隊壁壘，協調團隊間（jiān）合作（zuò），提升（shēng）團隊效率，促進團隊良性發展；再次實時跟蹤項目各環節和過程，確保需求按時按質（zhì）交付到生產，對過程問（wèn）題（tí）進行閉環跟蹤處理，讓需求從調研到落地流程化管控，保障需求的順（shùn）利實施。

規範研發團隊管理，提升版本研發質量

采（cǎi）用敏捷研（yán）發模式，進行快速高效研發。首先，對需求（qiú）進行（háng）場景、業務、流程的學習，明（míng）確需求業務場景；其次，組織站會，快（kuài）速回顧前一天成果（guǒ）和問題複盤，不留問題積（jī）壓；再次（cì），定期開（kāi）展學習沙龍，全員學習Head First 設計模式，研究共（gòng）性模塊公用研發、通讀spring源碼、juc源碼等，提升代碼質量和效能；按照季度進行代碼互（hù）查，增強代碼規範；最後，參與實施，進行業務場景擴充和深入了解，提升業務技能，通過一（yī）係（xì）列措施，加（jiā）上研發人員對（duì）底層源（yuán）碼的精益求精摸（mō）索，全年版本研發（fā）故障率控製在7%以下。

提高（gāo）測試要求，保證版本交付質量

首先，測試（shì）工作前置，提前熟悉需求（qiú），進行需求分析，輸出測試場景，負（fù）責產品版本（běn）測試，深入參與（yǔ）一線，支撐現場運維；其次，引（yǐn）入自動化測試，配置自（zì）動化測試案（àn）例，定時進行係統版（bǎn）本的回歸測試；再次，增（zēng）加現場版本（běn）驗證環節，用於（yú）版本發布前驗收測試（shì），通過全場景數據覆蓋以及深入（rù）一線支撐運（yùn）維的（de）方式，測試人員的業務（wù）能（néng）力和交付效能直線提升，全年（nián）版本（běn）交付故障泄露率（lǜ）控製在1%以下。

通過（guò）需求、研發、測試流程可控有效規範管理，並采用自動化運維工具，充分調動各團隊力量，保證了版本（běn）的計劃（huá）、研發（fā）和交付質量，縮短了版本交付周（zhōu）期，讓業務生產穩定運行無故障。

劍指一線-垂（chuí）直交（jiāo）付（fù）

一體化團隊造就了垂直交付（fù）模式。研發團隊積極配合現場運（yùn）維，深入一線，充分利用一屏（píng）運維（wéi）和多維工作台的自動化功能，簡化運維，提（tí）升運維支撐能（néng）力，讓項目（mù）實施規範化、標準化。

第一，在（zài）現（xiàn）場構建模擬（nǐ）生產環境，進行功能場景、性（xìng）能等驗證，確保版（bǎn）本質（zhì）量，穩健實施，針（zhēn）對重（chóng）要的新功能（néng）進行高亮式（shì）操作指引，加快用戶對新功能的（de）熟悉，提升用戶的體驗。

第二，充分運用一屏運維和多維工作平台，將100多項出賬事務配置到平台，進行出賬事務可視化管理，自動化出賬，建立預置數據，創建共性規則庫，實現規則模板化，進行租戶（hù）同步（bù），快速落地新租（zū）戶交付運營。

第三，提前稽核發現出賬過程問題，根據係統運維自檢輸出配置不規範的報告，提（tí）前發現效率低下的配置進（jìn）行調整，保證出賬性能的穩定。

最後，需求積極結合版本實施，進行業務場（chǎng）景的可持續更新，實時跟（gēn）蹤，進行需求（qiú）的迭代更新和規劃，保證新舊場景的（de）有序穩（wěn）定更迭。

總之，規範、管理、技術上盡可能地以“圍繞需求、追蹤計劃、堵住（zhù）故（gù）障、截掉泄露”中心路線不偏移；堅持以不（bú）變應（yīng）萬變的，以萬（wàn）變應不變的心態；明確（què）角色職責，堅持以讓自己和客戶都滿意的目標，形成既定的（de）打法（fǎ）和風格。

媒體中心

媒體中心

鯨品堂｜什麽技術（shù），讓浩（hào）鯨科技（jì）拿下中國移動大獎？

鯨智百應

關於我們（men）

產（chǎn）品與解決方案

成功故（gù）事