python爬虫项目需求分析和概念原型


1 基于Python的智能信息收集和数据分析系统概述

该项目的用户主要是相关企业的销售人员,可以通过该分析系统查看所要销售物品的价格数据。

数据来源主要是卓创网和新浪财经

1.1 用户需求

用户需求主要有如下方面

  1. 查看不同产品的价格数据
  2. 获取所查看的产品的价格数据

2 用例图(用例建模)

2.1 概念解释

2.1.1 什么是用例

用例(Use Case)的核心概念中首先它是一个业务过程(business process),经过逻辑整理抽象出来的一个业务过程,这是用例的实质。

什么是业务过程?在待开发软件所处的业务领域内完成特定业务任务(business task)的一系列活动就是业务过程。

简而言之就是对用户和系统间交互关系的一种抽象展示

2.1.2 用例的信息流特征

从图示可以清晰发现用例是联系参与者的关键

image-20201206155327541

2.1.3 用例的三个抽象层级

下面以打电话这个用例作说明

  1. 抽象用例(Abstract use case):“打电话”这一动名词短语就是一个抽象用例
  2. 高层用例(High level use case):打电话这一用例的开始状态就是用户拿起电话机听筒准备拨号,终止状态就是用户听到了接通电话的铃声反馈
  3. 扩展用例(Expanded use case):将参与者和待开发软件系统为了完成用例所规定的业务任务的交互过程一步一步详细地描述出来,比如把打电话这个过程用户的步骤和系统的步骤全部罗列出来,如下图所示

image-20201206160603652

2.2 用例建模

image-20201206161832261

3 业务领域建模

3.1 什么是业务领域建模

业务领域建模是开发团队用于获取业务领域知识的过程。因为软件工程师往往需要工作在不同的业务领域或者不同项目中,他们需要业务领域知识来开发软件系统。软件工程师往往来自不同的专业背景,这可能会影响他们对业务领域的认知。因此业务领域建模有助于开发团队获取业务领域知识形成统一的业务认知。

开发团队获取业务领域知识的过程一般包括收集业务领域相关信息、执行团队头脑风暴、对业务领域相关的知识概念进行分类,最后用UML类图将业务领域知识图形化展示。

3.2 建模步骤

第一步,收集应用业务领域的信息。聚焦在功能需求层面,也考虑其他类型的需求和资料;

第二步,头脑风暴。列出重要的应用业务领域概念,给出这些概念的属性,以及这些概念之间的关系;

第三步,给这些应用业务领域概念分类。分别列出哪些是类、哪些属性和属性值、以及列出类之间的继承关系、聚合关系和关联关系。

第四步,将结果用 UML 类图画出来

3.3 业务领域建模

image-20201209210646520

4 数据模型建模

4.1 什么是数据模型

数据建模指的是对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后,建立数据库实体以及各实体之间关系的过程

4.2 数据模型的内容

数据模型所描述的内容有三部分,分别是数据结构数据操作数据约束

  1. 数据结构:数据模型中的数据结构主要描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础,数据操作和约束都建立在数据结构上。不同的数据结构具有不同的操作和约束。
  2. 数据操作:数据模型中数据操作主要描述在相应的数据结构上的操作类型和操作方式。
  3. 数据约束:数据模型中的数据约束主要描述数据结构内数据间的语法、词义联系、它们之间的制约和依存关系,以及数据动态变化的规则,以保证数据的正确、有效和相容。

4.3 数据模型建模

image-20201209213156602

5 概念原型

5.1 什么是概念原型

概念是人对能代表某种事物或发展过程的特点及意义所形成的思维结论。概念原型是一种虚拟的、理想化的软件产品形式

概念原型=用例+数据模型

5.2 工作过程

工作过程: 用户登录后,选择性的爬取自己想要的URL,可以查看爬取后的内容,并且可以对数据进行可视化处理


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM