请选择 进入手机版 | 继续访问电脑版

扫一扫,微信登陆

 青浦修电脑 青浦笔记本维修 青浦手机维修 青浦电器维修

搜索
查看: 43|回复: 0

python小说爬虫工具,小说搜索下载软件附源码

[复制链接]

1万

主题

1万

帖子

5万

积分

论坛元老

Rank: 8Rank: 8

积分
52613
发表于 2022-9-11 18:26:25 | 显示全部楼层 |阅读模式

114503wbkxucc9kjqjqrzc.gif


114046enmblobq9mk1k66n.png


113502i3jg56t1ag8p5pg5.png

看小说的朋友们一定要试试哦,很方便,直接下载小说,连小说网站都不用打开
同时也把python的源码也放上了,懂的可以自己添加源网站
5.15更新
    加了一个换源,功能是实现了但是代码冗余,抽取基类做继承的话就增加耦合,后续有时间再更新代码吧(市面上那些追更小说一下子几十上百的换源是怎么实现的?????)
    给小说爬取加了超时抛出异常,毕竟不是每个源都是那么稳定
    搜索换成线程,因为发现搜索结果较大的时候界面又卡住了….
    细节修改,增加代码健壮性
5.13更新:
更新了一下软件,把遗留问题解决一下,并看看后续还有啥能更新的解决的问题
    解决开始下载之后会出现无响应
    弹窗太烦去掉了,改成一个console看进度
    目前尝试过程中发现不用太担心反爬,重试机制最终还是会下载完所有章节,尝试过1800+章节小说下载不到1分钟
后续修改目标
    尝试增加换源功能
    目前由于下载保存的都是utf8导致整合文件过大,后续尝试使用gbk
5.12版本:
1. 使用python的asyncio,爬取的速度挺快
2. 整理了一下页面的格式,放到手机上看还是不错的
3. 由于爬取速度过快,可能会爬取失败,内部加了重试逻辑,只要最后能生成txt应该就是全部章节
4. 自助搜索功能
      https://pan.baidu.com/share/init?surl=blUQBzfYqTjMlFvSRtjyQg百度提取码:59p3
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2001-2013 Comsenz Inc.Powered by Discuz!X3.4( 沪ICP备18024137号 )
快速回复 返回顶部 返回列表