介紹

在本文中，我們將使用 OpenCV 庫(kù)來(lái)開(kāi)發(fā) Python 文檔掃描器。

OpenCV 的簡(jiǎn)要概述： OpenCV 是一個(gè)開(kāi)源庫(kù)，用于各種計(jì)算機(jī)語(yǔ)言的圖像處理，包括 Python、C＋＋ 等。它可用于檢測(cè)照片（例如使用人臉檢測(cè)系統(tǒng)的人臉） 。

我們的軟件應(yīng)該能夠正確對(duì)齊文檔，檢測(cè)捕獲圖像的邊界，提升文檔的質(zhì)量，并最終提供更好的圖像作為輸出。本質(zhì)上，我們將輸入一個(gè)文檔，即用相機(jī)拍攝的未經(jīng)編輯的圖像。OpenCV 將處理該圖像。

我們的基本工作流程是：

形態(tài)學(xué)運(yùn)算邊緣和輪廓檢測(cè)識(shí)別角點(diǎn)轉(zhuǎn)變視角執(zhí)行形態(tài)學(xué)操作

形態(tài)學(xué)：是一系列圖像處理程序和算法，根據(jù)圖像的高度和寬度來(lái)處理圖片。最重要的是它們的大小，而不是它們的相對(duì)像素值排序。

kernel ＝ np．ones（（5，5），np．uint8）

img ＝ cv2．morphologyEx（img， cv2．MORPH＿CLOSE， kernel， iterations＝ 3）

我們可以使用morphologyEx（） 函數(shù)執(zhí)行操作。Morphology 中的“close”操作與Erosion相同，在此之前是Dilation過(guò)程。

我們將創(chuàng)建一個(gè)空白文檔，因?yàn)樵谔幚磉吘墪r(shí)圖片里的內(nèi)容會(huì)妨礙你，我們不想冒險(xiǎn)刪除它們。

從捕獲的圖像中刪除背景

照片中非我們拍攝對(duì)象的部分也必須刪除。與裁剪圖像類似，我們將只專注于維護(hù)圖像所需的部分。可以使用GrabCut庫(kù)。

GrabCut 在接收到輸入圖片及其邊界后，剔除邊界外的所有元素。

為了利用 GrabCut 來(lái)識(shí)別背景，我們還可以為用戶提供手動(dòng)設(shè)置文檔邊框的選項(xiàng)。

不過(guò)，目前，GrabCut 將能夠通過(guò)從圖像的每個(gè)角落取 20 個(gè)像素作為背景來(lái)自動(dòng)識(shí)別前景。

mask ＝ np．zeros（img．shape［：2］，np．uint8）

bgdModel ＝ np．zeros（（1，65），np．float64）

fgdModel ＝ np．zeros（（1，65），np．float64）

rect ＝ （20，20，img．shape［1］－20，img．shape［0］－20）

cv2．grabCut（img，mask，rect，bgdModel，fgdModel，5，cv2．GC＿INIT＿WITH＿RECT）

mask2 ＝ np．where（（mask＝＝2）｜（mask＝＝0），0，1）．a(chǎn)stype（＇uint8＇）

img ＝ img＊mask2［：，：，np．newaxis］

這里的“rect”變量表示我們?cè)敢夥蛛x的邊界。你可能會(huì)遇到部分背景進(jìn)入線條內(nèi)部的情況，但這是可以接受的。我們的目標(biāo)是對(duì)象的任何部分都不應(yīng)超出邊界。

邊緣和輪廓檢測(cè)

我們目前擁有一份與原始文件大小相同的空白文件。同樣，我們將進(jìn)行邊緣檢測(cè)。我們將為此使用Canny函數(shù)。

為了清理文檔的噪聲，我們還使用了高斯模糊。

（注意：Canny 函數(shù)僅適用于灰度圖像，因此如果圖像尚不存在，則將圖像轉(zhuǎn)換為灰度）。

gray ＝ cv2．cvtColor（img， cv2．COLOR＿BGR2GRAY）

gray ＝ cv2．GaussianBlur（gray， （11， 11）， 0）

＃ Edge Detection．

canny ＝ cv2．Canny（gray， 0， 200）

canny ＝ cv2．dilate（canny， cv2．getStructuringElement（cv2．MORPH＿ELLIPSE， （5， 5）））

我們?cè)谧詈笠恍蟹糯罅藞D像。

在此之后，我們可以繼續(xù)進(jìn)行輪廓檢測(cè)：

我們只會(huì)記錄最大的輪廓并在一個(gè)新的空白文檔上進(jìn)行交互。

gray ＝ cv2．cvtColor（img， cv2．COLOR＿BGR2GRAY）

gray ＝ cv2．GaussianBlur（gray， （11， 11）， 0）

＃ Edge Detection．

canny ＝ cv2．Canny（gray， 0， 200）

canny ＝ cv2．dilate（canny， cv2．getStructuringElement（cv2．MORPH＿ELLIPSE， （5， 5）））

識(shí)別角點(diǎn)

我們將使用已經(jīng)注意到的四個(gè)角對(duì)齊紙張。使用“ Douglas－Peucker ”方法和approxPolyDp（）函數(shù)。

con ＝ np．zeros＿like（img）

＃ Loop over the contours．

for c in page：

 ＃ Approximate the contour．

 epsilon ＝ 0．02 ＊ cv2．a(chǎn)rcLength（c， True）

 corners ＝ cv2．a(chǎn)pproxPolyDP（c， epsilon， True）

 ＃ If our approximated contour has four points

 if len（corners） ＝＝ 4：

     break

cv2．drawContours（con， c， －1， （0， 255， 255）， 3）

cv2．drawContours（con， corners， －1， （0， 255， 0）， 10）

corners ＝ sorted（np．concatenate（corners）．tolist（））

for index， c in enumerate（corners）：

 character ＝ chr（65 ＋ index）

 cv2．putText（con， character， tuple（c）， cv2．FONT＿HERSHEY＿SIMPLEX， 1， （255， 0， 0）， 1， cv2．LINE＿AA）

標(biāo)準(zhǔn)化四點(diǎn)定位

def order＿points（pts）：

   rect ＝ np．zeros（（4， 2）， dtype＝＇float32＇）

   pts ＝ np．a(chǎn)rray（pts）

   s ＝ pts．sum（axis＝1）

   rect［0］ ＝ pts［np．a(chǎn)rgmin（s）］

   rect［2］ ＝ pts［np．a(chǎn)rgmax（s）］

   diff ＝ np．diff（pts， axis＝1）

   rect［1］ ＝ pts［np．a(chǎn)rgmin（diff）］

   rect［3］ ＝ pts［np．a(chǎn)rgmax（diff）］

   return rect．a(chǎn)stype（＇int＇）．tolist（）

尋找目的地坐標(biāo)：

最后一組坐標(biāo)可以改變圖像的視角。如果從通常的視角以一定角度拍攝，這將很有幫助。

（tl， tr， br， bl） ＝ pts

＃ Finding the maximum width．

widthA ＝ np．sqrt（（（br［0］ － bl［0］） ＊＊ 2） ＋ （（br［1］ － bl［1］） ＊＊ 2））

widthB ＝ np．sqrt（（（tr［0］ － tl［0］） ＊＊ 2） ＋ （（tr［1］ － tl［1］） ＊＊ 2））

maxWidth ＝ max（int（widthA）， int（widthB））

＃ Finding the maximum height．    

heightA ＝ np．sqrt（（（tr［0］ － br［0］） ＊＊ 2） ＋ （（tr［1］ － br［1］） ＊＊ 2））

heightB ＝ np．sqrt（（（tl［0］ － bl［0］） ＊＊ 2） ＋ （（tl［1］ － bl［1］） ＊＊ 2））

maxHeight ＝ max（int（heightA）， int（heightB））

＃ Final destination co－ordinates．

destination＿corners ＝ ［［0， 0］， ［maxWidth， 0］， ［maxWidth， maxHeight］， ［0， maxHeight］］

透視變換

源照片的坐標(biāo)現(xiàn)在必須與我們事先發(fā)現(xiàn)的目標(biāo)坐標(biāo)對(duì)齊。完成此階段后，圖像看起來(lái)就像是從紙張的正上方拍攝的一樣。

＃ Getting the homography．

M ＝ cv2．getPerspectiveTransform（np．float32（corners）， np．float32（destination＿corners））

final ＝ cv2．warpPerspective（orig＿img， M， （destination＿corners［2］［0］， destination＿corners［2］［1］）， flags＝cv2．INTER＿LINEAR）

現(xiàn)在很明顯，以一定角度拍攝的圖像現(xiàn)在已經(jīng)被完美地掃描出來(lái)了。

測(cè)試觀察

已經(jīng)在許多不同方向的照片上測(cè)試了這些代碼，你也可以這樣做。在每個(gè)樣例上，它都表現(xiàn)出色。

即使圖像的背景是白色（即類似于頁(yè)面本身顏色的顏色），GrabCut 也有效且清晰地定義了邊界線。

結(jié)論

本教程教我們?nèi)绾问褂?OpenCV 快速輕松地創(chuàng)建文檔掃描儀。

總結(jié)：

上傳圖片后，執(zhí)行了：

1. 生成與原始文件高度和寬度相同的空白文檔的形態(tài)學(xué)操作

2. 從圖像中刪除了背景。

3. 檢測(cè)到圖像中的輪廓和邊界。

4. 檢測(cè)到的圖像角點(diǎn)，以矩形的形式

5. 變換圖像的透視圖（如果有）

此文檔掃描儀的一些限制： 即使文檔的一部分在捕獲時(shí)位于邊界框架之外，該項(xiàng)目也應(yīng)正常運(yùn)行。但它也會(huì)導(dǎo)致不準(zhǔn)確的透視變換。

廣泛使用的文檔掃描儀應(yīng)用程序采用了幾種深度學(xué)習(xí)算法，因?yàn)樗鼈兊慕Y(jié)果更加徹底和準(zhǔn)確。

       原文標(biāo)題 : 使用 OpenCV 構(gòu)建文檔掃描儀