<repo_name>Jiachen-Zhang/News_Spider<file_sep>/src/data/电子报中文大纲.md
7/31 **【精彩南科·2019届毕业生专题报道】刘灵杰：志向坚定，方得始终**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019072217143153.jpg"  width="50%">

在致新书院活动室里，我们第一次见到了刘灵杰。沉稳内敛的气质、不急不缓的语气，都透露着一种低调的自信。在南方科技 […]

*https://newshub.sustech.edu.cn/zh/?p=24403&cat=3*



7/29 **第三届泛素-蛋白酶体与细胞稳态调控研讨会在我校召开**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019073016185786.jpg"  width="50%">

2019年7月21日至23日，南方科技大学与中国细胞生物学学会共同举办“第三届泛素-蛋白酶体与细胞稳态调控研讨会”。

*https://newshub.sustech.edu.cn/zh/?p=24508&cat=3*



7/29 **我校学子获2019年中国大学生跆拳道锦标赛季军**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019072911373293.jpg"  width="50%">

7月19日至24日，我校跆拳道队代表学校参加2019年中国大学生跆拳道锦标赛，我校前跆拳道队队长陈都同学拿下了58kg级第三名（季军）的战绩。

*https://newshub.sustech.edu.cn/zh/?p=24500&cat=3*



7/28 **【多彩夏季小学期】课堂篇：特色选修课精彩纷呈**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019072811433179.jpg"  width="50%">

我们将分别以“课堂篇”和“实践篇” ，带大家了解属于南科大的夏季小学期。在此次的“课堂篇”中，我们首先走进精彩纷呈的特色选修课。

*https://newshub.sustech.edu.cn/zh/?p=24456&cat=3*



7/27 **我校航模队在中国国际飞行器设计挑战赛获佳绩**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019072718450095.jpg"  width="50%">

我校航模队在中国国际飞行器设计挑战赛获佳绩

*https://newshub.sustech.edu.cn/zh/?p=24475&cat=3*



7/23 **我校联合主办国际媒体与教育大会  聚焦“人工智能与教育”**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019072407252723.png"  width="50%">

2019年7月23日，国际媒体与教育大会在深圳开幕。本次会议由南方科技大学和联合国教科文组织高等教育创新中心（中国深圳）主办，中国教育技术协会提供学术指导。

*https://newshub.sustech.edu.cn/zh/?p=24424&cat=3*



7/22 **【南科新知·十万个高科技为什么】“上帝掷骰子吗？”  量子力学的哥本哈根诠释**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019072210011523.gif"  width="50%">

“上帝掷骰子吗？” 这个问题直击整个量子力学理论框架的核心。 时至今日，即使一个对“量子力学”这一概念很陌生的 […]

*https://newshub.sustech.edu.cn/zh/?p=23654&cat=3*



7/19 **我校深港微电子学院优必选机器人夏令营结营**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071916384032.jpg"  width="50%">

为期三天的深港微电子学院2019年优必选机器人夏令营日前在一教108教室举行结营仪式，并进行了作品展示。

*https://newshub.sustech.edu.cn/zh/?p=24358&cat=3*



7/19 **我校学子在全国高校大学生金相大赛中获佳绩**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071916212535.jpg"  width="50%">

2019年7月13日至15日，第七届“蔡司·金相学会杯”全国高校大学生金相大赛在西安举行。我校材料科学与工程系三名学生代表南方科技大学参赛并获佳绩。

*https://newshub.sustech.edu.cn/zh/?p=24352&cat=3*



7/19 **国家神经外科专家贺晓生访问南科大医院 并指导功能神经外科领域手术**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071909460054.jpg"  width="50%">

近日，南方科技大学医院神经外科邀请国家知名神经外科专家、西京医院贺晓生教授来院莅临指导，并成功施行一例面肌痉挛微血管减压手术。此例手术开启了南科大医院功能神经外科领域的新篇章。

*https://newshub.sustech.edu.cn/zh/?p=24336&cat=3*



7/18 **【精彩南科·2019届毕业生专题报道】郭欣格：“跑”出精彩人生**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071510315183.jpg"  width="50%">

“人生是一场马拉松”——这是郭欣格在“十佳毕业生”演讲中的主题，跑马拉松的爱好带给了他坚持到底的恒心与毅力。

*https://newshub.sustech.edu.cn/zh/?p=24233&cat=3*



7/16 **我校学子参加国际水中机器人大赛获佳绩**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071610202886.jpg"  width="50%">

近日，我校学子参加国际水中机器人大赛，参赛队伍共获得4项二等奖、2项三等奖。

*https://newshub.sustech.edu.cn/zh/?p=24251&cat=3*



7/15 **我校作为首席科学家牵头单位获批国家重点研发计划项目**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071509154889.jpg"  width="50%">

南方科技大学生物医学工程系系主任蒋兴宇教授作为项目负责人的项目“使用合成DNA进行数据存储的技术研发”成功入选。

*https://newshub.sustech.edu.cn/zh/?p=24169&cat=3*



7/14 **我校今年本科招生录取工作结束，千余名学子圆梦南科大**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071509213458.jpg"  width="50%">

7月13日，南方科技大学2019年本科招生录取工作圆满结束。今年我校面向22个省（市、自治区）共录取新生1064人。

*https://newshub.sustech.edu.cn/zh/?p=24180&cat=3*



7/12 **南科大校友发展基金获首例校友个人定向捐赠**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071222355211.jpg"  width="50%">

2019年7月12日上午，南科大校友发展基金首例校友个人定向捐赠仪式在我校行政楼301会议室举行。

*https://newshub.sustech.edu.cn/zh/?p=24149&cat=3*



7/12 **河南省生产力促进中心主任常林朝访校**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071209134732.png"  width="50%">

2019年7月11日，河南省生产力促进中心主任常林朝一行访问我校。我校总会计师叶秦主持了座谈会。 座谈会上，我 […]

*https://newshub.sustech.edu.cn/zh/?p=24137&cat=3*



7/11 **“达·芬奇挑战营-2019夏令营”IBPC联合营结营比赛在我校举行**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071116592229.jpg"  width="50%">

2019年7月10日下午，新工科暑期课程暨“达·芬奇挑战营-2019夏令营”中的“IBPC 2019 联合营”结营比赛在我校教工之家举行。

*https://newshub.sustech.edu.cn/zh/?p=24132&cat=3*



7/11 **我校举办人工智能产学研论坛**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071114515631.jpg"  width="50%">

2019年南方科技大学人工智能产学研论坛7月8日在第一科研楼报告厅举行，吸引了近200名企业、投资机构代表以及 […]

*https://newshub.sustech.edu.cn/zh/?p=24124&cat=3*



7/10 **首届“艺炫南科·现代艺术节”开幕**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071017532475.png"  width="50%">

“艺炫南科·现代艺术节”7月10日-29日举行。

*https://newshub.sustech.edu.cn/zh/?p=24062&cat=3*



7/10 **我校举办首期“地球与行星科学国际暑期学校”**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071023251124.png"  width="50%">

该学术活动聚焦“地球与行星内部物理”，吸引了200余位科学家及青年学生参加。 

*https://newshub.sustech.edu.cn/zh/?p=24070&cat=3*



7/10 **郭雨蓉书记检查我校本科招生录取工作**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071111350281.png"  width="50%">

2019年7月10日上午，我校党委书记郭雨蓉来到本科招生录取现场检查指导招生录取工作，并慰问在场工作人员。

*https://newshub.sustech.edu.cn/zh/?p=24095&cat=3*



7/9 **市委组织部人才工作局局长张林来校调研**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070916440821-600x400.png"  width="50%">

深圳市委组织部人才工作局局长张林一行近日来我校调研。

*https://newshub.sustech.edu.cn/zh/?p=24056&cat=3*



7/9 **我校6名本科生秋季将赴MIT交流学习**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070415134733.jpg"  width="50%">

近日，南科大-MIT机械工程联合教育科研中心通过院系推荐、评审会面试等方式，选派6名本科生赴MIT（麻省理工学院）机械工程系参加2019年秋季学期本科生学习交流项目。

*https://newshub.sustech.edu.cn/zh/?p=23977&cat=3*



7/9 **​2019新材料产业技术校企交流对接会在我校召开**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070915004036-600x283.png"  width="50%">

“创新·整合·应用——新材料产业技术校企交流对接会”日前在我校图书馆110报告厅召开。该活动由南方科技大学、深 […]

*https://newshub.sustech.edu.cn/zh/?p=24038&cat=3*



7/9 **我校召开医疗产学研合作暨医工、医理结合研讨会**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070516241355.png"  width="50%">

近日，南科大附属医院建设办公室首次组织召开我校教授与附属第二医院产学研合作暨医工、医理结合研讨会。

*https://newshub.sustech.edu.cn/zh/?p=24009&cat=3*



7/8 **南科大医学院副教授陈国安发表论文 揭示环状RNA circHIPH3调控肺癌自噬新机制**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070916040583.jpg"  width="50%">

近日,国际著名医学期刊《Autophagy》在线发表了由南科大医学院副教授陈国安主导、国内外多家单位共同参与完成的研究论文，揭示了环状RNA circHIPH3在肺癌中的作用及调控自噬通路的新机制。

*https://newshub.sustech.edu.cn/zh/?p=24028&cat=3*



7/5 **我校写作与交流课程教研室召开春季学期期末教研会**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070517412230.jpg"  width="50%">

2019年7月4日，我校人文科学中心写作与交流课程教研室召开春季学期期末教研会。

*https://newshub.sustech.edu.cn/zh/?p=24018&cat=3*



7/5 **锁志刚院士做客首场材料大讲堂畅谈水凝胶魔力**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070516253830.png"  width="50%">

2019年6月28日，美国工程院和科学院两院院士锁志刚教授做客南科大材料科学与工程系第1期材料大讲堂。

*https://newshub.sustech.edu.cn/zh/?p=24008&cat=3*



7/5 **南科大本科毕业生发表封面文章 展示TiO2/g-C3N4纳米复合物用于可见光产氢研究成果**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070315174155.jpeg"  width="50%">

由我校化学系2019届毕业生张孜晟和博士后钟如意为共同第一作者的文章发表在《Applied Catalysis B》(IF=14) 和《Catal. Sci. Technol.》(IF=5.4)，并被选为封面论文。

*https://newshub.sustech.edu.cn/zh/?p=23901&cat=3*



7/4 **广东省“冲补强”建设委员会专家组来校指导 助力我校加快推进高水平大学建设**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070416450558.png"  width="50%">

2019年7月3日，广东省教育厅组织“冲一流、补短板、强特色”（以下简称“冲补强”）建设委员会专家组入校指导，助力我校加快推进高水平大学建设。

*https://newshub.sustech.edu.cn/zh/?p=23987&cat=3*



7/4 **麻省理工学院李雅达院士南科大讲堂讲述马约拉纳零模用于拓扑量子计算的途径**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070311472194.png"  width="50%">

近日，美国国家科学院院士、麻省理工学院物理系教授李雅达做客南科大讲堂，为我校师生带来了题为“马约拉纳零模：是否存在用于拓扑量子计算的途径？“的精彩讲座。

*https://newshub.sustech.edu.cn/zh/?p=23923&cat=3*



7/3 **南科大2019年研究生招生夏令营开营**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070323020918.jpg"  width="50%">

2019年7月3日，南方科技大学2019年研究生招生夏令营活动在润杨体育馆开营。

*https://newshub.sustech.edu.cn/zh/?p=23964&cat=3*



7/3 **我校与青海师范大学签署战略合作框架协议**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070415062797.jpg"  width="50%">

2019年7月1日，南方科技大学与青海师范大学战略合作框架协议签约仪式在我校国际会议厅举行。

*https://newshub.sustech.edu.cn/zh/?p=23973&cat=3*



7/3 **图说|2019届毕业生离校，他们留下了这些“礼物”**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070314344762.jpg"  width="50%">

南科大2019届毕业生已经踏上人生新起点，于7月2日全部离校。他们留下了这些“礼物”……

*https://newshub.sustech.edu.cn/zh/?p=23925&cat=3*



7/3 **我校工学院与南山智园开展产教研合作**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070315042139.png"  width="50%">

2019年6月27日，我校工学院党委与南山智园党委结对共建启动仪式在南山智园党群服务中心举行。

*https://newshub.sustech.edu.cn/zh/?p=23944&cat=3*



7/3 **南科大医院召开三级医院创建动员大会**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019071709302196.png"  width="50%">

南方科技大学医院三级医院创建动员大会近日在住院部501会议室召开。

*https://newshub.sustech.edu.cn/zh/?p=24281&cat=3*



7/2 **我校启动SDIM新工科暑期课程暨“达·芬奇挑战营-2019夏令营”**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070216595678.png"  width="50%">

2019年6月24日，我校系统设计与智能制造学院新工科课程暨“达·芬奇挑战营-2019夏令营”启动仪式在大湾区学创空间举行。

*https://newshub.sustech.edu.cn/zh/?p=23890&cat=3*



7/2 **我校人文社会科学学院教职工赴大亚湾核电基地考察学习**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070211305391.png"  width="50%">

2019年6月27日上午，我校人文社会科学学院党支部成员、人文社会科学中心教职工前往大亚湾核电站爱国主义教育基地考察学习。

*https://newshub.sustech.edu.cn/zh/?p=23887&cat=3*



7/1 **我校医学院开展临床医学师资培训活动**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070122363846.jpg"  width="50%">

 2019年6月25日下午，南科大第一期临床医学师资培训活动在我校荔园2栋308教室举行。

*https://newshub.sustech.edu.cn/zh/?p=23878&cat=3*



7/1 **南科大校友会举行第一届理事会第三次会议**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070122255335.jpg"  width="50%">

2019年6月30日下午，南方科技大学校友会第一届理事会第三次会议在我校行政楼401会议室召开。

*https://newshub.sustech.edu.cn/zh/?p=23873&cat=3*



7/1 **南科大与宝安共建深圳工业技术研究院**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070209102826.jpg"  width="50%">

2019年6月30日下午，我校与深圳市宝安区人民政府合作共建暨深圳工业技术研究院合作协议签约仪式在宝安区政府宝安厅举行。

*https://newshub.sustech.edu.cn/zh/?p=23865&cat=3*



7/1 **陈十一校长出席2019泰晤士高等教育年轻大学峰会 并在主题讨论组发言**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070119195649.jpeg"  width="50%">

2019年6月25日至28日，泰晤士高等教育年轻大学峰会在英国萨里举行。

*https://newshub.sustech.edu.cn/zh/?p=23510&cat=3*



7/1 **我校举办第五届柔性电子与软物质力学国际研讨会**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019073016253218.jpg"  width="50%">

2019年6月29日至6月30日,第五届柔性电子与软物质力学国际研讨会（ISFSE-IWSMM 2019）在我校举行。

*https://newshub.sustech.edu.cn/zh/?p=24515&cat=3*



7/1 **我校环境学院讲席教授刘俊国荣获中国青年科技奖**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070110332030.png"  width="50%">

2019年6月29日，在第十五届中国青年科技奖颁奖大会。我校环境科学与工程学院讲席教授刘俊国入选第十五届中国青年科技奖。

*https://newshub.sustech.edu.cn/zh/?p=23812&cat=3*



7/1 **教育部《南方科技大学本科教学合格评估方案》研制工作听取意见座谈会在我校举行**

<img src="https://newshub.sustech.edu.cn/zh/wp-content/uploads/2019/07/2019070111073171.jpg"  width="50%">

近日，教育部《南方科技大学本科教学合格评估方案》研制工作听取意见座谈会在我校行政楼401会议室举行。

*https://newshub.sustech.edu.cn/zh/?p=23834&cat=3*



<file_sep>/doc/数据库设计.md
```sqlite
CREATE TABLE "Article" (
	"id"	INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,
	"title"	TEXT NOT NULL UNIQUE,
	"date"	INTEGER NOT NULL,
	"abstract"	BLOB NOT NULL,
	"pic_link"	TEXT NOT NULL,
	"link"	TEXT NOT NULL,
	"isChinese"	INTEGER NOT NULL
)
```

<file_sep>/README.md
# News_Spider
Spider for SUSTech Monthly E-Newspaper


## 备注

### 虚拟环境使用

[link](https://docs.python.org/zh-cn/3.6/tutorial/venv.html)
<file_sep>/src/format_convertor.py
class convertor:
    def __init__<file_sep>/src/spider.py
#!../venv python
# coding: utf-8

# ## Import the library

from urllib.request import urlopen
from bs4 import BeautifulSoup
import ssl
import xml.etree.ElementTree as ET
import requests
import sqlite3


# Method for parse page
class spider:
  def __init__(self, _dateRangeMin, _dateRangeMax):
    # ## Build the headers
    # Ignore SSL certificate errors
    self.ctx = ssl.create_default_context()
    self.ctx.check_hostname = False
    self.ctx.verify_mode = ssl.CERT_NONE
    self.dateRangeMin = _dateRangeMin
    self.dateRangeMax = _dateRangeMax
  
  def connect_DB(self, db_path):
    self.DB = sqlite3.connect(db_path)
    self.cursor = self.DB.cursor()
    self.insert_sql = """INSERT OR IGNORE INTO Article 
                            (title, year, month, day, abstract, pic_url, url, isChinese) 
                            VALUES 
                            (?, ?, ?, ?, ?, ?, ?, ?)
                      """
    DB_creator_sql = """
          CREATE TABLE IF NOT EXISTS "Article" (
            "id"	INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,
            "title"	TEXT NOT NULL UNIQUE,
            "year"	INTEGER NOT NULL,
            "month"	INTEGER NOT NULL,
            "day"	INTEGER NOT NULL,
            "abstract"	BLOB NOT NULL,
            "pic_url"	INTEGER NOT NULL,
            "url"	TEXT NOT NULL,
            "isChinese"	INTEGER NOT NULL
          );
          """
    self.cursor.execute(DB_creator_sql)

  def disconnect_DB(self):
    self.DB.commit()
    self.cursor.close()
    self.DB.close()
    

  def get_CN_data(self):
    # ## Open the file
    # self.handle = open("./src/data/dataCN.txt", "w")
    origin_url = "https://newshub.sustech.edu.cn/zh/?cat=3&paged="
    for i in range(1, 20):
      result = self.__parse_page_CN(origin_url + str(i))
      if result is False:
          print("Finish")
          break
    self.DB.commit()
    # self.handle.close()


  def get_EN_data(self):
    # self.handle = open("./src/data/dataEN.txt", "w")
    self.headers = {
      'path': '/?tag=arts-culture&tagall=1&paged=4',
      "authority": 'newshub.sustech.edu.cn,',
      "accept": 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
      "accept-encoding": 'gzip, deflate, br',
      "accept-language": 'zh-CN,zh;q=0.9,en;q=0.8',
      "cache-control": 'max-age=0',
      "upgrade-insecure-requests": '1',
      "user-agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36',
    }
    origin_url = "https://newshub.sustech.edu.cn//?tag=arts-culture&tagall=1&paged="
    for i in range(1, 20):
      print(origin_url + str(i))
      result = self.__parse_page_EN(origin_url + str(i))
      if result is False:
        print("Finish")
        break
    # self.handle.close()

  def __parse_page_CN(self, url):
    html = urlopen(url, context=self.ctx).read()
    soup = BeautifulSoup(html, "html.parser")
    
    for news in soup.select(".m-newslist > ul > li"):
      date = news.find(class_="u-date").get_text().strip().replace("\n", "/")
      temp = date.split("/")
      date_num = int(temp[0] + temp[1])
      print(date_num)
      if date_num < self.dateRangeMin:
        print("finish")
        return False
      if date_num > self.dateRangeMax:
        print("ignore")
        continue
      
      s = str()
      title = news.find(class_="title f-clamp").get_text().strip()
      pic_url = news.find( class_="u-pic").attrs['style'].split("(")[1].split(")")[0]
      abstract = news.find(class_="details f-clamp4").get_text().replace("\n", "")
      url = news.a.attrs.get("href")

      # s += "Date: " + date + "\r\n"
      # s += "Title: " + title  + "\r\n"
      # s += "PicURL: " + pic_url + "\r\n"
      # s += "Abstract: "+ abstract + "\r\n"
      # s += "URL: " + url + "\r\n"
      # print(s)
      # self.handle.write(s.replace("\u2022", "").replace("\xa0", "").replace("\u200b", ""))
      # (title, year, month, day, abstract, pic_url, url, isChinese)
      data = (title, 2019, int(temp[0]), int(temp[1]), abstract, pic_url, url, 1)
      self.cursor.execute(self.insert_sql, data)
    return True
                  
  def __parse_page_EN(self, url):
    def get_abstract(url_article):
      html = urlopen(url_article).read()
      soup = BeautifulSoup(html, "html.parser")
      page = soup.find(class_="u-content col-sm-8 col-xs-12")
      abstract = page.find("p").get_text().split(".")[0] + "."
      return abstract
    print("parsing: " + repr(url))
    html = requests.get(url, headers=self.headers).text
    soup = BeautifulSoup(html, "html.parser")

    aim = soup.select("body")[0]
    for news in aim.find_all(class_="u-view"):
      date = news.find(class_="date").get_text().strip()
      dates = date.split("/")
      date_num = int(dates[0] + dates[1])
      if date_num < self.dateRangeMin:
        print("finish")
        return False
      if date_num > self.dateRangeMax:
        print("ignore")
        continue
      url_article = news.find("a").attrs['href']
      title = news.find("img").attrs["alt"]
      abstract = get_abstract(url_article)
      pic_url = news.find("img").attrs["src"]
      # str = ""
      # str += "Date: " + date + "\r\n"
      # str += "Title: " + title + "\r\n"
      # str += "PicURL: " + pic_url + "\r\n"
      # str += "Abstract: " + abstract + "\r\n"
      # str += "URL: " + url_article + "\r\n"
      # print(str)
      # self.handle.write(str.replace("\xa0", ""))
      data = (title, 2019, int(dates[0]), int(dates[1]), abstract, pic_url, url_article, 0)
      # (title, year, month, day, abstract, pic_url, url, isChinese)
      self.cursor.execute(self.insert_sql, data)      
    return True



class TitleSpider(spider):
  def __init__(self, _dateRangeMin, _dateRangeMax):
    super().__init__(_dateRangeMin, _dateRangeMax)
  def get_CN_data(self):
    print("START get_CN_data")
    # ## Open the file
    # self.handle = open("./src/data/dataCN.txt", "w")
    origin_url = "https://newshub.sustech.edu.cn/zh/news?page="
    for i in range(0, 10):
      result = self.__parse_page_CN(origin_url + str(i))
      if result is False:
          print("Finish")
          break
    self.DB.commit()
    print("END get_CN_data")
  def __parse_page_CN(self, url):
    html = urlopen(url, context=self.ctx).read()
    soup = BeautifulSoup(html, "html.parser")
    
    for news in soup.select(".m-newslist > ul > li"):
      date = news.find(class_="u-date").get_text().strip().replace("\n", "/")
      temp = date.split("/")
      date_num = int(temp[0] + temp[1])
      print(date_num)
      if date_num < self.dateRangeMin:
        print("finish")
        return False
      if date_num > self.dateRangeMax:
        print("ignore")
        continue
      
      s = str()
      title = news.find(class_="title f-clamp").get_text().strip()
      print(title)
      pic_url = news.find( class_="u-pic").attrs['style'].split("(")[1].split(")")[0]
      if pic_url.startswith('/'):
        pic_url = 'https://newshub.sustech.edu.cn' + pic_url
      abstract = news.find(class_="details f-clamp4").get_text().replace("\n", "")
      url = news.a.attrs.get("href")
      if url.startswith('/'):
        url = 'https://newshub.sustech.edu.cn' + url

      # s += "Date: " + date + "\r\n"
      # s += "Title: " + title  + "\r\n"
      # s += "PicURL: " + pic_url + "\r\n"
      # s += "Abstract: "+ abstract + "\r\n"
      # s += "URL: " + url + "\r\n"
      # print(s)
      # self.handle.write(s.replace("\u2022", "").replace("\xa0", "").replace("\u200b", ""))
      # (title, year, month, day, abstract, pic_url, url, isChinese)
      if ('2019' in url):
        return False
      data = (title, 2020, int(temp[0]), int(temp[1]), abstract, pic_url, url, 1)
      self.cursor.execute(self.insert_sql, data)
      print("write ", data)
    return True
  


if __name__ == '__main__':
  db_path = "./data/news_data.db"
  spider = TitleSpider(1121, 1231)
  # spider.connect_DB(db_path)
  # spider.get_CN_data()
  # spider.disconnect_DB()
  DB = sqlite3.connect(db_path)
  cursor = DB.cursor()


  def md_format_outline(file):
    sql_html_select = """
        SELECT (month || '/' || day) AS date, title, url
        FROM Article
        WHERE year = 2020
        AND (title LIKE '%获%' OR title LIKE '%当选%')
        ORDER BY month DESC, day DESC"""
    cursor.execute(sql_html_select)
    for t in cursor.fetchall():
      date = t[0]
      title = t[1]
      url = t[2]
      # write into file 
      file.write(date + " [" + title + "](" + url + ")\r\n\r\n")
  md_format_outline(file = open("./data/output.md", "w"))
  cursor.close()
  DB.close()
<file_sep>/src/data/output.md
12/28 [南科大两首校园歌曲获“鹏城歌飞扬”年度十佳金曲奖](https://newshub.sustech.edu.cn/zh/html/202012/39542.html)

12/25 [南科大牵头申报深圳海洋经济创新发展示范项目获批立项](https://newshub.sustech.edu.cn/zh/html/202012/39536.html)

12/24 [南科大研究生获ICARM 2020最佳学生论文奖](https://newshub.sustech.edu.cn/zh/html/202012/39535.html)

12/24 [南科大郑春苗团队项目荣获2020年度环境保护科学技术奖二等奖](https://newshub.sustech.edu.cn/zh/html/202012/39534.html)

12/14 [南科大学子在第十二届全国大学生数学竞赛（广东赛区）中获佳绩](https://newshub.sustech.edu.cn/zh/html/202012/39459.html)

12/13 [薛其坤校长荣获2020年“复旦-中植科学奖”](https://newshub.sustech.edu.cn/zh/html/202012/39455.html)

12/12 [南科大讲席教授刘俊国获“世界科学院奖”](https://newshub.sustech.edu.cn/zh/html/202012/39451.html)

12/11 [我校颁发优秀新生奖学金  805名学生获奖](https://newshub.sustech.edu.cn/zh/html/202012/39445.html)

12/11 [南科大教授胡清获2020年度环境技术进步奖一等奖](https://newshub.sustech.edu.cn/zh/html/202012/39446.html)

12/7 [南科大附中学子获世界机器人大赛总决赛Premier赛项冠军](https://newshub.sustech.edu.cn/zh/html/202012/39423.html)

12/7 [南科大学子在2020年广东省大学生羽毛球锦标赛中获佳绩](https://newshub.sustech.edu.cn/zh/html/202012/39424.html)

12/5 [南科大社科中心教授王晓葵获批社科基金重大项目](https://newshub.sustech.edu.cn/zh/html/202012/39414.html)

12/3 [南科大团队荣获第十届吴文俊人工智能专项奖（芯片项目）二等奖](https://newshub.sustech.edu.cn/zh/html/202012/39361.html)

11/25 [“南科大研究-本科生项目”获省教育调查大赛一等奖](https://newshub.sustech.edu.cn/zh/html/202011/39180.html)

11/25 [南科大讲席教授汪宏当选国际电子电气工程师协会会士](https://newshub.sustech.edu.cn/zh/html/202011/39185.html)

11/24 [我校教师荣获省高校思政课“抗疫”优秀教学案例一等奖](https://newshub.sustech.edu.cn/zh/html/202011/39173.html)

11/19 [南科大学子在2020年APAC HPC-AI超算挑战赛获佳绩](https://newshub.sustech.edu.cn/zh/html/202011/39141.html)

11/17 [2020泰晤士高等教育亚洲大奖揭晓 南科大荣获年度国际战略奖](https://newshub.sustech.edu.cn/zh/html/202011/39127.html)

11/14 [2020“科学探索奖”今日颁奖，南科大张立源教授获奖](https://mp.weixin.qq.com/s/ysbgEXEaHBBlne2-wurFKg)

11/14 [我校教师在省高校思政课青年教师教学基本功比赛中获佳绩](https://newshub.sustech.edu.cn/zh/html/202011/39108.html)

11/13 [我校作为牵头单位获批两个国家重点研发计划项目](https://newshub.sustech.edu.cn/zh/html/202011/39097.html)

11/5 [我校学子省大学生游泳锦标赛再获佳绩](https://newshub.sustech.edu.cn/zh/html/202011/39049.html)

11/3 [南科大讲席教授于明获IEEE国际微波理论与技术协会2020年微波应用奖](https://newshub.sustech.edu.cn/zh/html/202011/39021.html)

11/1 [我校生物系3同学4年内获南科大学士和伦敦国王学院硕士双学位](https://newshub.sustech.edu.cn/zh/html/202011/39024.html)

11/1 [南科大连续五年获深圳市“人才伯乐奖”](https://newshub.sustech.edu.cn/zh/html/202011/39023.html)

10/30 [南科大学子在全国大学生机器人大赛ROBOCON大赛获二等奖](https://newshub.sustech.edu.cn/zh/html/202010/39016.html)

10/29 [南科大学子在第二届国际大学生混凝土龙舟邀请赛中获佳绩](https://newshub.sustech.edu.cn/zh/html/202010/39012.html)

10/27 [南科大学者杨天罡、曾振中获“求是杰出青年学者奖”](https://newshub.sustech.edu.cn/zh/html/202010/38996.html)

10/26 [南科大学子刘鑫获“澳门科技奖”](https://newshub.sustech.edu.cn/zh/html/202010/38993.html)

10/23 [南科大助理教授张进获第七届中国运筹学会青年科技奖](https://newshub.sustech.edu.cn/zh/html/202010/38879.html)

10/23 [南科大学子在2020国际自主智能机器人大赛获佳绩](https://newshub.sustech.edu.cn/zh/html/202010/38880.html)

10/22 [南科大学子在第六届中国大学生程序设计竞赛（秦皇岛）获多个奖项](https://newshub.sustech.edu.cn/zh/html/202010/38866.html)

10/21 [南科大学子获RoboCom世界机器人开发者大赛（华南区）两项冠军](https://newshub.sustech.edu.cn/zh/html/202010/38858.html)

10/17 [我校刘青松、董伦红获省首届高校教师党支部书记素质能力大赛三等奖](https://newshub.sustech.edu.cn/zh/html/202010/38845.html)

10/13 [我校生物系教授杜嘉木获“卫志明青年创新奖”](https://newshub.sustech.edu.cn/zh/html/202010/38827.html)

10/3 [南科大学子获国际水中机器人大赛两项冠军](https://newshub.sustech.edu.cn/zh/html/202010/38794.html)

9/28 [南科大本科生获第35届国际自动软件工程大会ACM学生研究竞赛第一名](https://newshub.sustech.edu.cn/zh/html/202009/38775.html)

9/25 [南科大张立源获2020年度“科学探索奖”](https://newshub.sustech.edu.cn/zh/html/202009/38762.html)

9/15 [我校学生社团首个自主申请科普项目获批立项](https://newshub.sustech.edu.cn/zh/html/202009/38703.html)

9/10 [深圳表彰教育工作先进单位和先进个人  我校多个单位和老师获荣誉称号](https://newshub.sustech.edu.cn/zh/html/202009/38676.html)

9/9 [全国抗击新冠肺炎疫情表彰大会举行 南科大第二附属医院院长刘磊获两项荣誉](https://newshub.sustech.edu.cn/zh/html/202009/38673.html)

8/31 [南科学子在全国大学生光电设计竞赛决赛获佳绩](https://newshub.sustech.edu.cn/zh/html/202008/38625.html)

8/26 [南科大胡勇获广东省第五届高校（本科）青年教师竞赛（理科组）二等奖](https://newshub.sustech.edu.cn/zh/html/202008/38553.html)

8/22 [南科大环境学院易树平荣获2020年“最美生态环境科技工作者”称号](https://newshub.sustech.edu.cn/zh/html/202008/38533.html)

8/15 [南科大讲席教授王鹏获美国糖化学界最高奖<NAME>奖](https://newshub.sustech.edu.cn/zh/html/202008/38510.html)

7/31 [南科大教授刘俊国、<NAME>当选欧洲科学院院士](https://newshub.sustech.edu.cn/zh/html/202007/38487.html)

7/23 [南科大学子在第十二届“挑战杯”广东大学生创业大赛获4项金奖](https://newshub.sustech.edu.cn/zh/html/202007/38468.html)

7/23 [南科大学子“华为云杯”2020深圳开放数据应用创新大赛获佳绩](https://newshub.sustech.edu.cn/zh/html/202007/38466.html)

7/21 [南科大计算机系Hisao Ishibuchi团队系列科研成果近期获得多个奖项](https://newshub.sustech.edu.cn/zh/html/202007/38455.html)

7/11 [南科大姚新教授获IEEE FRANK ROSENBLATT AWARD国际大奖](https://newshub.sustech.edu.cn/zh/html/202007/38424.html)

7/7 [我校计算机系讲席教授<NAME> 当选世界艺术与科学学院（WAAS）院士](https://newshub.sustech.edu.cn/zh/html/202007/38413.html)

7/5 [我校特色思政课获批为中国科协“2020年度学风建设资助计划项目”](https://newshub.sustech.edu.cn/zh/html/202007/38397.html)

7/3 [深圳221名医生获聘导师教授，助力南科大一流医学学科建设](https://newshub.sustech.edu.cn/zh/html/202007/38377.html)

7/1 [南科大人文科学中心教授吴岩荣获2020年托马斯•D•克拉里森奖](https://newshub.sustech.edu.cn/zh/html/202007/38366.html)

6/30 [南科大环境学院教授胡清荣获2019年度环境保护科学技术奖二等奖](https://newshub.sustech.edu.cn/zh/html/202006/38360.html)

6/12 [我校学子在“综合设计”课程中获芯片研发成果](https://newshub.sustech.edu.cn/zh/html/202006/38232.html)

6/1 [深圳创新创意设计学院项目获立项批复  年内校园建设正式开工](https://newshub.sustech.edu.cn/zh/html/202006/37882.html)

5/4 [南科学子胡启锟当选“广东向上向善好青年”](https://newshub.sustech.edu.cn/zh/html/202005/36291.html)

3/30 [南科大讲席教授蒋兴宇当选美国医学与生物工程学会会士](https://newshub.sustech.edu.cn/zh/html/202003/35314.html)

3/27 [南科大作品获2019年广东教育好新闻一等奖](https://newshub.sustech.edu.cn/zh/html/202003/35263.html)

3/14 [南科大获2019广东省教育教学成果奖一等奖](https://newshub.sustech.edu.cn/zh/html/202003/34813.html)

3/8 [南科大近期获得一批省级项目和平台立项](https://newshub.sustech.edu.cn/zh/html/202003/34581.html)

3/6 [南科大植物细胞工厂分子设计省级重点实验室获批](https://newshub.sustech.edu.cn/zh/html/202003/34450.html)

3/5 [南科大获准建设深圳市首个国家级数学中心](https://newshub.sustech.edu.cn/zh/html/202003/34242.html)

3/2 [南科大学子考古陶瓷标本相关项目获省“攀登计划”重点资助](https://newshub.sustech.edu.cn/zh/html/202003/34275.html)

2/28 [南科大学子获CFA全球投资分析大赛华南赛区冠军](https://newshub.sustech.edu.cn/zh/html/202002/34101.html)

1/21 [2020外研社英语辩论冬令营·深圳站在我校举办 我校两名本科生获奖](https://newshub.sustech.edu.cn/zh/html/202001/32504.html)

1/18 [南科大电子系张青峰当选IET Fellow](https://newshub.sustech.edu.cn/zh/html/202001/32451.html)

1/17 [南科大电子系刘召军荣获国际信息显示学会<NAME>](https://newshub.sustech.edu.cn/zh/html/202001/32413.html)

1/14 [深圳特区报 | 南科大研究成果获评中国十大科技进展新闻](https://newshub.sustech.edu.cn/zh/html/202001/32320.html)

1/10 [未来网络研究院李清副教授获2019年南山区“十大优秀青工”](https://newshub.sustech.edu.cn/zh/html/202001/32369.html)

1/5 [南科大设计智造学院再获“新工科”建设捐款并启动首个实习基地](https://newshub.sustech.edu.cn/zh/html/202001/31989.html)

1/4 [南科大副教授汪飞、谷猛荣获2018、2019年度深圳市青年科技奖](https://newshub.sustech.edu.cn/zh/html/202001/31954.html)

1/3 [南科大副教授孙大陟产学研项目获2019年中国产学研合作创新成果优秀奖](https://newshub.sustech.edu.cn/zh/html/202001/31927.html)

1/3 [我校校友发展基金获首例校友企业定向捐赠](https://newshub.sustech.edu.cn/zh/html/202001/31920.html)

1/1 [我校风险分析预测与管控研究院院长<NAME>当选瑞士工程科学院院士](https://newshub.sustech.edu.cn/zh/html/202001/31796.html)

<file_sep>/requirements.txt
beautifulsoup4==4.8.0
pkg-resources==0.0.0
pypandoc==1.4
soupsieve==1.9.3
urllib3==1.25.3
<file_sep>/src/controller.py
# In[1]: Get data from website
import spider as my_spi
import datetime

# set the time range
month = datetime.datetime.now().month
print("制作" + str(month-1) + "月电子报")
dateRangeMin = int(str(month-1) + "01")
dateRangeMax = int(str(month) + "00")

# spider the data and store into database
db_path = "./src/data/news_data.db"
def spider_data():
    spider = my_spi.spider(dateRangeMin, dateRangeMax)
    spider.connect_DB(db_path)
    spider.get_CN_data()
    spider.get_EN_data()
    spider.disconnect_DB()


spider_data()

# In[2]: Extract data and generate markdown files
import sqlite3
import os


DB = sqlite3.connect(db_path)
cursor = DB.cursor()

sql_html_select = """
        SELECT (month || '/' || day) AS date, title, abstract, url, pic_url 
        FROM Article
        WHERE Month == ? And isChinese == (?)"""
def md_format(isChinese, file):
    cursor.execute(sql_html_select, [month-1 ,isChinese])
    for t in cursor.fetchall():
        date = t[0]
        title = t[1]
        abstract = t[2]
        url = t[3]
        pic_url = t[4]
        # write into file 
        file.write(date + " **" + title + "**\r\n\r\n")
        file.write("<img src=\"" + pic_url + "\"  width=\"50%\">" + "\r\n\r\n")
        file.write(abstract + "\r\n\r\n")
        file.write("*" + url + "*\r\n\r\n\r\n\r\n")


# generate outline
def md_format_outline(file):
    sql_html_select = """
        SELECT (month || '/' || day) AS date, title, url 
        FROM Article
        WHERE Month == 8 And isChinese == 1"""
    cursor.execute(sql_html_select)
    for t in cursor.fetchall():
        date = t[0]
        title = t[1]
        url = t[2]
        # write into file 
        file.write(date + " [" + title + "](" + url + ")\r\n\r\n")


md_format(1, open("./src/data/电子报中文大纲.md", "w"))
md_format(0, open("./src/data/电子报英文大纲.md", "w"))
print("-------------------markdown files for html have been generated")

md_format_outline(file = open("./src/data/电子报分类大纲.md", "w"))
print("-------------------markdown files for content have been generated")

cursor.close()
DB.close()

# In[13]: Convert format and remove mid-files
import pypandoc


output = pypandoc.convert_file('./src/data/电子报中文大纲.md', 'html', 
                                outputfile='./src/data/电子报中文大纲.html')
assert output == ""
# output = pypandoc.convert_file('./src/data/电子报英文大纲.md', 'html', 
                                outputfile='./src/data/电子报英文大纲.html')
# assert output == ""
# output = pypandoc.convert_file('./src/data/电子报分类大纲.md', 'docx', 
                                outputfile='./src/data/电子报分类大纲.docx')
# assert output == ""
print("-------------------Finish format-converting")


os.remove('./src/data/电子报中文大纲.md')
os.remove('./src/data/电子报英文大纲.md')
os.remove('./src/data/电子报分类大纲.md')
print("-------------------Reduntant files removed")



