基于Python的金融新闻数据挖掘及可视化系统的设计与实现

基于Python的金融新闻数据挖掘及可视化系统的设计与实现目录摘要.ABSTRACT.…I第1章绪论.21.1选题背景...21.2论文研究的主要内容21.3说明书组织结构。。。。2第2章相关技术简介.42.1 PYTHON语言介绍.42.2 PYTHON爬虫技术..42.3RE0 UESTS库详解...52.3.1get(0方法详解.52.3.2head)方法详解..62.3.3json格式post请求.62.4HTTP协议原理..62.4.1HTTP协议简介….62.4.2HTTP协议起始行.72.4.3HTTP协议首部字段….72.4.4HTTP协议的请求方法.92.5开发环境搭建.92.5.1 Python安装.….102.5.2 Requests库安装..10第3章系统需求分析与总体设计123.1可行性分析.123.1.1技术可行性分析.123.1.2经济可行性分析.123.1.3法律可行性分析.….133.1.4操作可行性…133.2需求分析....143.2.1功能需求….143.2.2非功能需求.10000n14163.3系统开发环境及条件173.3.1硬件条件.…173.3.2软件平台.…..173.4系统逻辑层次设计13.5多媒体采集流程设计183.6搜索引擎爬虫体系结构183.7搜索引擎抓取工作过程19第4章系统详细设计与实现204.1系统功能结构设计..204.2系统功能模块设计..214.2.1网页爬取模块设计..214.2.2搜索策略模块设计..214.2.3文本处理模块设计..224.2.4UL数据去重与优化模块设计234.2.5数据存储设计.244.3系统实现.....244.3.1数据爬取….24第5章系统测试.265.1测试原理.265.2测试方法265.3测试结果...27第6章结论.28参考文献..29致谢.…30基于Python的金融新闻数据挖掘及可视化系统的设计与实现摘要在21世纪的今天，是信息化的时代，谁优先获取信息，谁就能掌握主动。互联网的发展，让人们获取信息更容易。网络信息具有开放性特点，只要连接网络，就能获取一部分想要的信息，而深层次信息的获取具有一定难度，探索网络信息有效获取方法与手段，具有一定的实际意义与价值本设计在分析Python语言功能特点以及爬虫基本原理方法基础上，采用更新、更完整的设计方法，开发了一套金融新闻数据分析系统，包含了财经网站信息爬取、信息存储和分析功能，较好地实现网页各类信息获取需求。本论文首先分析基于爬虫的金融新闻数据分析系统所需的基本功能和组件需求，然后按软件工程方法从系统需求分析、体系结构设计、功能模块划分和模式分析等方面对系统分析与设计流程进行了详细论述。关键词：网络爬虫；金融新闻数据；PythonDESIGN AND IMPLEMENTATION OFFINANCIAL NEWS DATA MINING ANDVISUALIZATION SYSTEM BASED ON PYTHONABSTRACTIn the 21st century,it is an information age.Whoever gives priority to obtaininginformation can take the initiative.The development of the Internet has made it easier forpeople to obtain information.Network information has the characteristics of openness,as longas the network is connected,you can obtain a part of the desired information,and theacquisition of deep-level information has a certain degree of difficulty,exploring the effectiveacquisition of network information methods and means,has certain practical significance andvalue.Based on the analysis of Python language features and basic principles and methods ofcrawlers,this design adopts a newer and more complete design method to develop a set offinancial news data analysis system,which includes the functions of financial websiteinformation crawling,information storage and analysis,so as to better achieve the requirementsof various webpage information acquisition.This paper firstly analyzes the basic functions and component requirements of crawlerbased financial news data analysis system,and then discusses the system analysis and designprocess in detail from the aspects of system demand analysis,architecture design,functionmodule division and mode analysis according to the software engineering method.KEY WORDS:Web crawler;Financial news data:Python