2. import requests
    3. import os
    4. import json
    5. from lxml import etree
    6. import pandas as pd
    7. import time
    8. # 导入字体解密模块
    9. from fontTools.ttLib import TTFont
    12. '''
    13. 小说数据的爬取及其数据化分析
    14. '''
    15. results = {
    16.     'title': [],  # 文章标题
    17.     'author': [],  # 小说作者
    18.     'classifies': [],  # 小说类别
    19.     'describes': []   # 小说的描述
    20.     # 'detail': [],  # 文章详情地址
    21.     # 'wordcount': []  # 文字统计
    22. }
    24. class novel:
    25.     def __init__(self, value):
    26.         self.header = {
    27.             'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4464.5 Safari/537.36',
    28.         }
    29.         self.page = value
    30.         self.url = 'https://www.qidian.com/rank/recom?dateType=1&page={}'.format(self.page)
    31.         self.foreach(value)
    32.     # 页面请求
    33.     def dataAnalysis(self):
    34.         res = requests.get(self.url, headers=self.header).text
    35.         return res
    36.     # 页面解析
    37.     def etreehtml(self):
    38.         # 使用etree.Html方法
    39.         lists = etree.HTML(self.dataAnalysis())
    40.         # print(lists)
    41.         content = lists.xpath('//*[@id="rank-view-list"]/div/ul/li')
    42.         return content
    43.         # self.dataAnalysis()
    44.     # 对加密字体进行解密处理
    45.     def decodeTtf(self):
    46.         font = TTFont('UdygXvZa.ttf')
    47.         font.saveXML('fft.xml')
    48.         # 获取字体映射关系
    49.         font_cmap = font['cmap'].getBestCmap()
    50.         print(font_cmap)
    52.     # 对数据进行遍历分析
    53.     def foreach(self,value):
    54.         for i in self.etreehtml():
    55.             # 小说标题
    56.             title = i.xpath('./div[2]/h4/a/text()')[0].replace('\n', '')
    57.             results['title'].append(title)
    58.             # 小说作者
    59.             author = i.xpath('./div[2]/p[1]/a[1]/text()')[0].replace('\n', '')
    60.             results['author'].append(author)
    61.             # 小说类别
    62.             classifies = i.xpath('./div[2]/p[1]/a[2]/text()')[0].replace('\n', '')
    63.             results['classifies'].append(classifies)
    64.             # 小说描述
    65.             describes = i.xpath('./div[2]/p[2]/text()')[0].replace(" ", '').replace('\n', '').replace('\t', '').replace('\r', '')
    66.             results['describes'].append(describes)
    67.         print('第%s个页面已爬取完成------' % value)
    68.     def buildcsv(self):
    69.         # 创建表格
    70.         df = pd.DataFrame(results)
    71.         # 将解码方式改为ANSI  打开可以解决中文乱码的问题
    72.         df.to_csv('qidian1.csv', encoding='utf8')
    73.         print('------表格数据创建完成！！！')
    74.         #     # 文章详情页面
    75.         #     detail = i.xpath('./div[3]/p/a[1]/@href')[0].replace('\n', '')  # 将获取到的换行数据取消，并且导入到新的数组中
    76.         #     results['detail'].append(detail)
    77.         #     # print(results)
    78.         #     # 进入子页面对页面的数据进行爬取遍历分别爬取
    79.         # print(results['detail'])
    80.         # for i in results['detail']:
    81.         #     url = 'https:%s' % i
    82.         #     res = requests.get(url, headers=self.header).text
    83.         #     # 对子页面进行解析
    84.         #     childPage = etree.HTML(res)
    85.         #     # numcount = childPage.xpath('/html/body/div/div[6]/div[1]/div[2]/p[3]/em')
    86.         #     # 字数tongj
    87.         #     wordcount = childPage.xpath('/html/body/div/div[6]/div[1]/div[2]/p[3]/em[1]/span/text()')
    88.         #     # 将字数统计加入到wordcounts当前数组中
    89.         #     results['wordcount'].append(wordcount)
    90.         # print(results['wordcount'])
    92. if __name__ == '__main__':
    93.     # 也可以使用for i range(1,6) 将所有的数据爬取出来
    94.     # novel(value=input('请输入爬取的页面1-5：'))
    95.     # 选择单页爬取或者多页爬取
    96.     for a in range(1, 6):
    97.         p = novel(str(a))
    98.         time.sleep(1.5)
    99.     print("------开始创建表格信息")
    100.     p.buildcsv()