[摘要]本文研究与实现一个基于 Web 的新闻数据动态展示平台，该平台基于 Python 语言进

　　行开发实现，使用 Python 的第三方库完成新闻信息的爬取，将爬取到的新闻数据保存至 MySQL

　　数据库；在新闻数据源的基础上通过 jieba 分词技术对其进行文本处理分析，获取新闻中的关键

　　词；同时整合今日新闻内容为用户推荐各类热点新闻，运用 pyecharts 库将新闻内容以词云图的

　　新闻数据动态展示平台通过为用户推荐实时热点新闻展示新闻中的关键词，同时利用词云图

　　对新闻数据进行可视化，让用户可以随时随地关注实时的各种新闻信息，直观了解新闻中关键信

　　息，用户不仅能节省更多的时间，也可以更有针对性获取外界信息，拓展知识面。

　　发展变化的一种文体，随着互联网技术的蓬勃发展，每天各个新闻平台的新闻层出不

　　穷，人们每天都能够通过手机报、新闻网站、相关新闻软件等多种方式阅读新闻。在

　　互联网时代，网络新闻是基于网络进行传播的新闻，所以它包含快速、多面化、多渠

　　道、多媒体等特点，随着新闻信息的飞速增加，随之而来的是铺天盖地的广告信息、

　　无用的新闻信息、甚至是虚假的新闻掺杂在大量的新闻信息中滥竽充数，从而使得人

　　们难以快速的获取到真正有价值的新闻。同时，在这个信息量如此之多的时代，人们

　　需要快速的了解新闻的内容，所以为了让人们能够快速的浏览到每日最新的热点新闻，

　　同时快速了解新闻当中的关键信息，新闻数据动态展示平台应运而生，帮助用户不需

　　要花费太多时间与精力，就可以随时随地的关注实时的各种新闻信息，了解到新闻中

　　关键信息，对于个人而言，不仅能节省更多的时间，也可以更有针对性获取外界信息，

　　们不再仅仅只是追求物质上的满足，精神上的需求也同样重要，为了更好的顺应时代

　　潮流，追上世界高速发展的脚步，人们希望获取到当前最新的信息掌握社会资讯，当

　　前人们获取到新闻的方式也在不断的变化，从过去的报纸到现在的互联网中各种新闻

　　门户网站，人们可以时时处处获得到当前新闻信息，但是伴随着新闻信息的飞速增加，

　　随之而来的还有铺天盖地的广告，无用的新闻信息、甚至是不实的内容参杂在大量的

　　新闻信息中滥竽充数，例如我们打开一些新闻类网站或者像“腾讯新闻”、“新浪新闻”

　　等新闻应用软件时，在新闻旁边都会充斥着一些小广告，我们也会看到这类标题：

　　“惊天秘密…”，“疯狂转发…”，“央视曝光…”这类新闻，当我们点进去会发现这些

　　新闻内容与标题大相径庭甚至是不实的内容，同时还存在很多的广告，这些无关的内

　　到新闻中的关键信息，本平台为用户推荐每日时事新闻，同时展示新闻中的关键词帮

　　助用户快速了解一篇新闻中的关键信息，以词云图的形式重点突出今日新闻中出现频

　　率较高的“关键词”让用户一眼就能够看到主要的文本内容，从而帮助用户快速的找

　　网络新闻是基于网络进行传播的新闻，因此网络新闻具有快速、多面化、多渠道、

　　占网民整体的80.9%;手机网络新闻用户规模达7.26 亿,较2018 年底增长7356 万,占

　　过网络，随着手机 4G 的普及和信息技术的高速发展，新闻的传播方式及渠道越来越

　　丰富，新闻传播的方式不再仅仅是通过广播电视、报社杂志、新闻发布会等，在新的

　　技术支撑下可以利用如电子杂志、数字报纸、IPTV 等载体进行新闻传递。用户只需

　　要一部手机或者一台电脑，足不出户在家就可以随时随地的了解到当前国内外甚至是

　　到电子信息技术再到现在的 Internet 和大数据时代，技术对于新闻传播的影响越来

　　的腾讯新闻、今日头条这类新闻 APP，用户可以选择自己喜欢的新闻类别如娱乐、财

　　经、体育等这些不同类别的新闻进行关注，软件会根据用户关注的内容推荐相应的新

　　闻，同时软件会基于用户的使用习惯，通过算法预测用户感兴趣的信息和话题，从大

　　量的新闻数据中将用户最关心、最感兴趣的信息筛选出来。但是算法推送的滥用会让

　　用户受到一定的影响，会导致部分用户陷入“信息茧房”的困境，用户接收到的信息

　　会不自觉的向自己感兴趣的方面靠近，用户难以获取到“房间”之外的新信息，长期

　　户需要更加简单直观的了解到新闻的内容。通过借助可视化的手段能够以多样化的形

　　式展现出新闻的内容及背景，帮助用户更加直观的了解每日的新闻内容，同时也有利

　　于提高新闻传播效率。新闻可视化的种类有很多，如文字云、数据漫画等，越来越多

　　的新闻可视化方式让用户能够更容易阅读新闻，人们浏览新闻的习惯也受到了不同程

　　可视化已经逐步成为新闻媒体行业新的发展方向，新闻可视化传播的不断发展，帮助

　　在网络技术不断的进步与发展下，我们的网络环境日益完善，新闻也越来越丰富，

　　通过使用新闻APP 或者相关新闻门户网站我们能够快速的了解到每天正在发生的事情，

　　为我们的生活带来了便捷，但是在这些平台中也存在很多的“陷阱”，比如铺天盖地

　　的广告、无用的新闻、甚至是不实新闻，部分新闻还未经过验证真实性就被报道，并

　　很快在大范围里传播，这样会造成虚假新闻产生，尽管稍后对新闻进行澄清修改也不

　　能够改变它所带来的影响。因此各个新闻网站为用户推送新闻时，应当竭力改进新闻

　　本课题的研究目标是完成一个基于Web 的新闻数据动态展示平台，并且界面简洁、

　　友好、易操作。能够实现为用户推荐实时热点新闻，展示新闻中的关键词让用户快速

　　了解新闻内容，用户能够快速的浏览到每日最新的热点新闻和新闻中的关键内容，同

　　时利用词云图对新闻数据进行可视化，用户能够清晰直观的了解今日新闻中的关键信

　　息。本项目主要以网页的形式向用户展示实时热点新闻的推荐，以词云图的形式为用

　　本文研究与实现一个基于 Web 的新闻数据动态展示平台，研究基于 Python 使用

　　requests 库进行数据的采集，实现自动的抓取目标网站中的新闻信息如标题、时间、

　　正文等数据，保存到MySQL 数据库相应表格中，将获取到的新闻内容进行进一步的筛

　　学习研究目前有关于提取文本关键词的 TF-IDF 算法，实现提取新闻内容关键词，

　　最后借助 pyecharts 数据可视化工具实现将新闻以词云图的形式展示给用户。通过

　　Flask Web 框架构建新闻数据动态展示平台，实现用户在前端调度相应的模块，当接

　　本文研究与实现了一个基于 Web 的新闻数据动态展示平台，该平台基于 Python

　　语言通过使用 requests 库获取到每日新闻数据；通过 XPath 语法解析网页获取新闻

　　信息的标题、时间、内容等关键信息；通过pymysql 库构建相关信息表并将获取内容

　　存储到MySQL 数据库；通过jieba 分词技术将新闻内容进行整合得到新闻关键词；最

　　后通过Flask Web 框架构建网站展示每日实时热点新闻，结合pyecharts 库将今日新

　　闻关键内容以词云图的形式展示，本节主要介绍与分析构建新闻数据动态展示平台所

　　编程语言可以供我们选择，根据程序开发的需求我们可以选择最合适的编程语言来进

　　行开发，每一种编程语言都具有自己的长处，所以针对于新闻数据动态展示平台的构

　　Python 是一种高层次的结合了解释性、编译性、互动性和面向对象的脚本语言

　　在平台开发实现各项功能中最重要的部分就是获取每日最新的新闻数据，针对于网络

　　资源的抓取 Python 中包含了丰富且强大的第三方库，具有非常丰富的网络爬取模块，

　　同时针对于文本数据的处理也很灵活。在 Python 的第三方库中可以提供很多模块来

　　帮助我们实现需要的功能，同时 Python 支持多线程，可以提高整个系统下载和分析

　　送网络请求，服务器接收客户端的请求响应，再使用一定的规则将获取到的响应内容

　　闻平台的基础，当前的新闻网站非常多，为了获取到合适的新闻数据保证数据来源，

　　需要选择合适的新闻网站来进行爬虫。支持网络爬虫的语言有很多，如：PHP、JAVA、

　　C++、Python 等等，对比其他的编程语言 Python 抓取网页接口更加简洁，拥有高度

　　一致的编程模式，同时 Python 具有强大的第三方库，比如 requests 库、

　　BeautifulSoup 库、 scrapy 框架等等这些优秀的第三方库能够帮助我们更容易的实

　　爬取数据的过程主要包含四个步骤首先向目标URL 提出请求，得到响应信息，解

　　库的使用我们可以实现自动的爬取 HTML 页面，可以实现自动的向网络资源提交请求。

　　requests 库中通过构造一个向服务器请求资源的 Request 对象，再由服务器向主机

　　返回一个包含服务器资源的Response 对象，在Response 对象中包含爬虫返回的全部

　　网页解析工具：从获取的 Response 对象中提取想要的内容，首先要对获取到的

　　HTML 页面进行解析，在 Python 中经常使用的三种 HTML 解析工具：re 正则匹配，

　　网页解析提取到目标内容速度见表 1。re 正则表达式是原生 Python 自带的，而

　　用元字符，而Xpath 和BeautifulSoup 将获取的源码转化成一个对象，通过正则表达

　　式解析HTML 的速度最快，但是构造相关的re 表达式会相对困难较难理解，相比之下，

　　通过Xpath 语法解析网页获取目标信息在一定程度上比正则表达式更便捷一些。

　　所以首先需要对新闻文本进行分词，分词是提取新闻关键词的基础与前提，中文的结

　　构复杂不同于英文，英文是使用空格来分开每个单词的，而中文中包含歧义对于词的

　　划分没有统一的标准，同样的一句话可能包含两种或更多的切分方式，因此，中文分

　　词相比英文分词难度高很多。当前常见的中文分词工具有 jieba、pkuseg、SnowNLP

　　等等，其中 jieba 分词是一款非常流行的中文开源分词包，它是基于 Python 语言开

　　jieba 中文分词是在前缀词典的基础上完成高效的词图扫描，能够找出句子中所

　　有汉字可能组成词语的情况，将其构成有向无环图(DAG)，采用了动态规划查找最大

　　概率路径，找出基于词频的最大切分组合，针对未登录词，采用了基于汉字成词能力

　　在 jieba 分词的过程中会存在部分文字是繁体字的情况，jieba 分词能够将繁体

　　在jieba 分词过程中会有部分词语没有包含在词库中，而用户想将这部分新词或

　　指定的词切分出来，可以通过构建用户自定义词典提高分词的精确度。示例见图 7：

　　率”是文本分类中经典计算特征权重的方法，TF-IDF 的基本思想是在一篇文档中某

　　一个词语出现的次数非常多，但是在语料库其他文档中出现很少，就表示该词语具有

　　词频 TF（term-frequency）,是指某个词语在目标文本中出现的次数

　　量一个词语在文档中出现的有多频繁，平均而言出现越频繁的词，其重要性可能就越

　　计算词频时全部词语都被认为同等重要，但会出现部分词语频繁出现却可能并不重要，

　　如：“你”、“他”、“这些”这类词语，因此我们需要减轻在多个文档中频繁出现的词

　　计算出词t 在语料库特定文本中的 TF-IDF 值，TF-IDF 值越大所对应的词语就越

　　的核心功能，其他几乎所有功能都需要通过第三方的扩展来实现，同时它具有非常好

　　的扩容机制与第三方扩展环境，常见的软件都具有相应的扩展，因此，用户能够依照

　　自己的功能要求添加相应的第三方插件实现相关功能的开发，帮助用户能够更灵活、

　　Flask 的运行过程为在程序中为每个视图函数指定相应的 URL，当用户对该 URL