python爬蟲項目需求分析和概念原型


1 基於Python的智能信息收集和數據分析系統概述

該項目的用戶主要是相關企業的銷售人員,可以通過該分析系統查看所要銷售物品的價格數據。

數據來源主要是卓創網和新浪財經

1.1 用戶需求

用戶需求主要有如下方面

  1. 查看不同產品的價格數據
  2. 獲取所查看的產品的價格數據

2 用例圖(用例建模)

2.1 概念解釋

2.1.1 什么是用例

用例(Use Case)的核心概念中首先它是一個業務過程(business process),經過邏輯整理抽象出來的一個業務過程,這是用例的實質。

什么是業務過程?在待開發軟件所處的業務領域內完成特定業務任務(business task)的一系列活動就是業務過程。

簡而言之就是對用戶和系統間交互關系的一種抽象展示

2.1.2 用例的信息流特征

從圖示可以清晰發現用例是聯系參與者的關鍵

image-20201206155327541

2.1.3 用例的三個抽象層級

下面以打電話這個用例作說明

  1. 抽象用例(Abstract use case):“打電話”這一動名詞短語就是一個抽象用例
  2. 高層用例(High level use case):打電話這一用例的開始狀態就是用戶拿起電話機聽筒准備撥號,終止狀態就是用戶聽到了接通電話的鈴聲反饋
  3. 擴展用例(Expanded use case):將參與者和待開發軟件系統為了完成用例所規定的業務任務的交互過程一步一步詳細地描述出來,比如把打電話這個過程用戶的步驟和系統的步驟全部羅列出來,如下圖所示

image-20201206160603652

2.2 用例建模

image-20201206161832261

3 業務領域建模

3.1 什么是業務領域建模

業務領域建模是開發團隊用於獲取業務領域知識的過程。因為軟件工程師往往需要工作在不同的業務領域或者不同項目中,他們需要業務領域知識來開發軟件系統。軟件工程師往往來自不同的專業背景,這可能會影響他們對業務領域的認知。因此業務領域建模有助於開發團隊獲取業務領域知識形成統一的業務認知。

開發團隊獲取業務領域知識的過程一般包括收集業務領域相關信息、執行團隊頭腦風暴、對業務領域相關的知識概念進行分類,最后用UML類圖將業務領域知識圖形化展示。

3.2 建模步驟

第一步,收集應用業務領域的信息。聚焦在功能需求層面,也考慮其他類型的需求和資料;

第二步,頭腦風暴。列出重要的應用業務領域概念,給出這些概念的屬性,以及這些概念之間的關系;

第三步,給這些應用業務領域概念分類。分別列出哪些是類、哪些屬性和屬性值、以及列出類之間的繼承關系、聚合關系和關聯關系。

第四步,將結果用 UML 類圖畫出來

3.3 業務領域建模

image-20201209210646520

4 數據模型建模

4.1 什么是數據模型

數據建模指的是對現實世界各類數據的抽象組織,確定數據庫需管轄的范圍、數據的組織形式等直至轉化成現實的數據庫。 將經過系統分析后抽象出來的概念模型轉化為物理模型后,建立數據庫實體以及各實體之間關系的過程

4.2 數據模型的內容

數據模型所描述的內容有三部分,分別是數據結構數據操作數據約束

  1. 數據結構:數據模型中的數據結構主要描述數據的類型、內容、性質以及數據間的聯系等。數據結構是數據模型的基礎,數據操作和約束都建立在數據結構上。不同的數據結構具有不同的操作和約束。
  2. 數據操作:數據模型中數據操作主要描述在相應的數據結構上的操作類型和操作方式。
  3. 數據約束:數據模型中的數據約束主要描述數據結構內數據間的語法、詞義聯系、它們之間的制約和依存關系,以及數據動態變化的規則,以保證數據的正確、有效和相容。

4.3 數據模型建模

image-20201209213156602

5 概念原型

5.1 什么是概念原型

概念是人對能代表某種事物或發展過程的特點及意義所形成的思維結論。概念原型是一種虛擬的、理想化的軟件產品形式

概念原型=用例+數據模型

5.2 工作過程

工作過程: 用戶登錄后,選擇性的爬取自己想要的URL,可以查看爬取后的內容,並且可以對數據進行可視化處理


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM