鯨品堂｜WhaleDI自助建模實（shí）踐（jiàn）與（yǔ）探索

在過去的十年裏，深度學習等技術的出現，讓AI迎來了蓬勃發展的（de）第三次浪（làng）潮。目前AI能力已經在銀行、商超、小額支付、城市軌道交通等各行業得到了廣泛的應用，例（lì）如人臉識別、圖像識別、證件類文（wén）字（zì）提（tí）取等。但隨著更多創新的智能化（huà）應用的爆發（fā）式（shì）增長，如智慧社區的高空拋物，智慧小區的電瓶車入電（diàn）梯，餐（cān）飲行業中的明廚亮灶等，針（zhēn）對各行各業的越來越複雜的應用場景，如何去解決AI方麵的專業（yè）人才不足、算法開發成本高、訓練周期長、建模效率（lǜ）低以及投入產出結果不可控等問題（tí）就成了AI賦能應用落地的難題。

麵對AI建模的挑戰與困難，自助建模應運而生，它（tā）是幫助用戶實（shí）現AI應用的低門檻、零代碼的模型開發工具。業務人員無需專業的開發基礎和編碼（mǎ）能力，隻需上傳數據集，通（tōng）過自助建模（mó）界麵引導和簡單操作即可完成模型訓練和部署，數小時便（biàn）可（kě）輕鬆獲得AI模型。

OCR是近年比較火熱的（de）領域。像身份證識別（bié）、車牌識別等都需要運用（yòng）到OCR技術，而像身份證識別的場景又非常多（duō）。比如，如支付寶、微信、小程序應用裏的身份認證功能（néng），上傳的身份證圖片經過識別後（hòu），無需人工幹預（yù）就可將身份信息提取（qǔ）出來完成（chéng）認證，十分方便。那（nà）麽我們的AI又是（shì）如何在這種（zhǒng）具體業務場景中提供匹配的能力呢？其中要經過什麽樣的（de）流（liú）程，才能最終賦能應用？對於開發者來說，通過對（duì）具體案例流程的（de）了解，就（jiù）能夠（gòu）快速的掌握開發所需要的能力（lì），從而實現自主創新開發。下麵，我們就以“為身份證國徽麵OCR識別進行AI建模”這個場景為例（lì），與大（dà）家一（yī）同展開（kāi）探究。

自助建模（mó）不同於高代碼（mǎ）建（jiàn）模方式，它的業務目標是提供流程化操（cāo）作界麵，滿足用戶（hù）從上傳文（wén）件、數據標注到自動（dòng）化建模和模型部署在一個（gè）可視化配置頁麵中完成，從而大（dà）大減少建模（mó）難度和提高建模效率。

以身（shēn）份證（zhèng）國徽麵（miàn）OCR識別為例，來詳細介紹自助建模的流程：

在整個自助建模流程中，業務人員可完成建模的全流程操（cāo）作，無需算法工程師直接參與，也無需進行代碼編寫，則可完成（chéng）身份證國徽麵OCR識別場景的建模，經過模型部署後，則可完成（chéng）對上層應用賦能。

工欲善其事，必先（xiān）利其器，所以開始自助建模之前我們還是要選擇一個（gè）合（hé）適的建（jiàn）模工具，人（rén）在（zài）江湖走怎麽能沒有一個響亮的名號和趁手的武器呢（ne），WhaleDI自助建（jiàn）模就是我們要介（jiè）紹的工具。那麽有些朋友可（kě）能會好奇了，我們自助建模工具到底有何"超強技能"來支（zhī）撐（chēng）業務應用？以OCR識別（bié）的場景舉例：

在實際生產中，樣（yàng）本數據對建模非常重（chóng）要（yào），由於（yú）業務局限與樣本數據安全問題，很難搜集到業務場景所需的樣本數據，若（ruò）基於少量的樣本數據進行模型訓練，生成的模型效果會比較差，往往達不到生產的要求。

構建自動預處理的樣本生成器（qì），通過少量的樣本數據，進行標注。基於已標注數據，將標注區內容抹除，生（shēng）成（chéng）數據模板（bǎn），再基於此模板生成大量模擬樣本，從而快速擴展樣本集規模，滿足實際情況（kuàng）所用樣本集。

如圖1，從業務中搜集到（dào）的樣本集，整理其中不同字段文本的業務規則（zé），包括機關名稱字段（duàn）、時間期限字段，並（bìng）進行樣本標注。

如（rú）圖2，對樣本數據去除標注區域文字（zì）得到模板樣本，再從對應的文本（běn）語料庫中生成文（wén）本圖片，再進行（háng）樣本的顏色、亮度、對比度、文字大小、形（xíng）狀等進行調節，合成到模板樣本中，從而生（shēng）成樣本。

如圖3，大規模生成（chéng）業務生產中所需樣本（běn），解決樣本不足的問題。

為實現建模全流程自動化，降低（dī）技術門檻（kǎn），提升建模效率，讓完全不懂代碼的用（yòng）戶也可進行訓練建模，減少（shǎo）對（duì）算法技術不（bú）懂的恐懼，工具中內置預訓練模型，如：圖像檢測、OCR識別（bié）、圖像分類、文（wén）本分類等，用戶可以根據使用場景進（jìn）行選擇。

當使（shǐ）用OCR識別場景時，在實際生產（chǎn）過程中，由於拍（pāi）攝時，角度不一定都是正麵的，會存在90°，180°，270°等旋轉角度的情況，導致建模的時候，無法識別，建模的準確率降低。為了解決這一個（gè）問題，內置預訓練模型則會進行校正圖（tú）片的方向，最終會輸（shū）出正方向的（de）圖片進行處理。

針對檢測內容區域，會存在目標文字截（jié）斷（duàn）的情況，同時，對文字識（shí）別需（xū）要編寫大（dà）量的規（guī）則分類，很難覆蓋生產中能遇到真（zhēn）實場景，且模型較為複雜（zá）不具備性能優（yōu）勢，模型效果較差。而內置預訓練模型，則會在進行文字檢測後生成（chéng）結果時（shí），便進行文字分類（lèi），隻檢測圖片（piàn）區域中的關鍵文字（zì）內容，從而（ér）降低檢測幹擾以及文字截斷的情況，提高文本檢測的性能。

針對文字識別，通用文字識（shí）別字典覆蓋漢（hàn）字不夠完（wán）全，遇到生僻字（zì）、變形字、扭曲字等情況，識別準確率較低，而內置預訓練模型（xíng），進行數據增強提升：

在訓練（liàn）得（dé）到模型之（zhī）後，整個建模過程還不能算結束，往往還需要對模型進行（háng）評估。一般很難一次性得到滿意的模型，我們需要反複的進行樣本數（shù）據的分析，參（cān）數調整，不斷重複迭代訓練生成模型。根據封裝的模型（xíng）評估腳本，可以針（zhēn）對測試集（jí）生成模型的指標，如準（zhǔn）確率、精確率、召回率（lǜ）、F1值等。但模型指標，隻能知道模型的（de）效果，當（dāng）我們根據模型指標發現效果不好時，怎樣通（tōng）過樣本分析提高模型效果？

我（wǒ）們進行標（biāo）注（zhù）時（shí），會通過標簽來標記標注（zhù）的（de）內容，當（dāng）模型識別出結果後（hòu），會根據標簽也生（shēng）成一個結果，通過（guò）兩者進行比對，則能知道識別的內容是否準確，同時篩選出該（gāi）負樣本數據。如下圖：

若篩（shāi）選出負樣本後，則可對樣本數據（jù）進行判斷，標（biāo）注區（qū）域是否有問題。常（cháng）見問題如：標注區域是否覆蓋住標注（zhù）內容等。若發現是識別的不準，可以選擇更換模型語料庫，然後再次對負樣本進行標注檢查，生成（chéng）模板，生成樣本數據，進行迭代訓練輸出模型。

基於訓練後的（de）模型效果，若不滿意，可返回上傳樣本集步驟，優化完善（shàn）樣本集（jí）、自動化參數組合調優，再次進行模型訓練，即可訓練（liàn）出新模型版本，從而（ér）完成流程化迭代，保（bǎo）障（zhàng）模型效（xiào）果最佳性並持續（xù）可（kě）優化。我們這種流程化的自助建模工具，可以簡化用戶的操作，用戶隻需通過步驟指導進行迭代訓練模型即（jí）可。極大地減少（shǎo）了使用難度，有（yǒu）效提（tí）高用戶建（jiàn）模效率（lǜ），滿足AI快速落地的場景應用。

智能（néng）應用場景落地困難，在開篇提（tí）及的一係列問題以及挑戰，其本（běn）質在於AI建模規（guī）模化（huà）、流程化、模塊化、工具（jù）化能力不足。如果（guǒ）能簡化智能應用的建模開發周期，麵向樣本數（shù）據（jù）、算法腳本、模型等內容形成便捷易用（yòng）的工（gōng）具體（tǐ）係，使工具標準化、統（tǒng）一化，實現模型算法的可構建、可複用、可迭代，方可確保支撐AI快速落地場景應用。

自（zì）助建模就是流程化、模塊（kuài）化、工具化的自動化建模工具，它把（bǎ）算法建模的難點全部進（jìn）行預置與封裝，如（rú），具備（bèi）內置的預訓練模（mó）型算法、已封裝的高級參數設置等。整個（gè）流程可由業務人員自（zì）助完成，可依托少量樣本數據，便能快速高效進行建模。可通過流程化的模型迭代，進行自動（dòng）化建模調優，保障模型（xíng）效果。其特征以及作用如下：