基於爬蟲程序的需求分析和概念原型


最近的時間一直花費在一個工程實踐項目上,恰好學習上遇到了需求分析和概念原型的問題,剛好拿來學習一番。

一、概述

目前的工程實踐項目是基於Python的智能信息收集系統設計與實現,主要是通過對相關數據進行爬取,歸類,格式化存儲。再對或得到的數據進行分析處理,得到我們想要的結果。

本文將以對豆瓣影評的內容爬取為例

 

二、需求分析

我們的主要目的有以下幾點:

1、用戶可以查找待爬取的數據

2、用戶可以根據需要爬取豆瓣網的數據

3、用戶能夠查看爬取到本地的數據

 

三、用例建模

用例(英語:use case),或譯使用案例、用況,是軟件工程或系統工程中對系統如何反應外界請求的描述,是一種通過用戶的使用場景來獲取需求的技術。每個用例提供了一個或多個場景,該場景說明了系統是如何和最終用戶或其它系統互動,也就是誰可以用系統做什么,從而獲得一個明確的業務目標。編寫用例時要避免使用技術術語,而應該用最終用戶或者領域專家的語言。用例一般是由軟件開發者和最終用戶共同創作的。在UML的文檔中,Use Case的定義是:在不展現一個系統或子系統內部結構的情況下,對系統或子系統的某個連貫的功能單元的定義和描述。

3.1 用例建模

3.2 小結

Use Case 是系統提供的功能塊,換句話來說Use Case演示了人們如何使用系統。通過Use Case觀察系統,能夠將系統實現與系統目標分開,有助於了解最重要的部分――滿足用戶要求和期望,而不會沉浸於實現細節。通過Use Case 用戶可以看到系統提供的功能,先確定系統范圍再深入開展項目工作。

 

四、業務領域建模

4.1 概念

業務領域建模是開發團隊用於獲取業務領域知識的過程。因為軟件工程師往往需要工作在不同的業務領域或者不同項目中,他們需要業務領域知識來開發軟件系統。軟件工程師往往來自不同的專業背景,這可能會影響他們對業務領域的認知。因此業務領域建模有助於開發團隊獲取業務領域知識形成統一的業務認知。

4.2 收集信息

收集應用業務領域的信息。聚焦在功能需求層面,也考慮其他類型的需求和資料。

4.3 頭腦風暴

集思廣益,團隊成員一起從收集的業務領域的信息中按規則識別業務領域相關的概念並列出重要的應用業務領域概念,給出這些概念的屬性,以及這些概念之間的關系。

4.4 概念分類

給這些應用業務領域概念分類。分別列出哪些是類、哪些屬性和屬性值、以及列出類之間的繼承關系、聚合關系和關聯關系。

4.5 UML類圖

 

 五、數據模型建模

數據模型(Data Model)是數據特征的抽象,它從抽象層次上描述了系統的靜態特征、動態行為和約束條件,為數據庫系統的信息表示與操作提供一個抽象的框架。數據模型所描述的內容有三部分,分別是數據結構、數據操作和數據約束。

①數據結構:數據模型中的數據結構主要描述數據的類型、內容、性質以及數據間的聯系等。數據結構是數據模型的基礎,數據操作和約束都建立在數據結構上。不同的數據結構具有不同的操作和約束
②數據操作:數據模型中數據操作主要描述在相應的數據結構上的操作類型和操作方式
③數據約束:數據模型中的數據約束主要描述數據結構內數據間的語法、詞義聯系、它們之間的制約和依存關系,以及數據動態變化的規則,以保證數據的正確、有效和相容
 
數據模型

 

六、概念原型

概念是人對能代表某種事物或發展過程的特點及意義所形成的思維結論。概念原型是一種虛擬的、理想化的軟件產品形式。

6.1 工作過程

 用戶登錄上爬蟲系統,選擇性的爬取自己想要的影評內容,也可以查看上次爬取的內容,還能夠對已爬取的內容進行檢索。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM