mxdyeah 发表于 2024-3-17 15:58:36

mxd's EPG 部署 川流TV 报错、CGTN 无法抓取详细说明 配置贴


1.修改 [你的目录]/crawl/spiders/chuanliu.py
https://img.qovv.cn/2024/03/17/65f69f26a242d.png

2.手机上安装川流TVAPP，并通过HttpCanary抓取Authorization
3.将抓取的Authorization复制到脚本的“填写这里”处。
4.用HttpCanary，找到User-Agent，一般是okhttp/3.10.0.7复制到下面的User-Agent的地方
headers = {
    # 'Cookie': '',
    'Authorization': '填写这里', #必须填写川流TVtoken，否则无法访问 注意添加过后需要用单引号引起来
    # 'X-Device-Id': '',
    User-Agent': '填写这里',
}下面给出我在重庆抓包的结果，不保证各位都能用，也有可能后续失效
如果你比较懒，可以试试我的结果，万一能用呢？:lol
headers = {
    # 'Cookie': '',
    'Authorization': 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiI5ODQwODlhNjc1OGU0ZjJlOTViMjk4NWM4YjA1MDNmYiIsImNvbXBhbnkiOiJxaXlpIiwibmFtZSI6InRlcm1pbmFsIn0.1gDPpBcHJIE8dLiq7UekUlPWMtJOYymI8zoIYlsVgc4',
    # 'X-Device-Id': '',
    'User-Agent': 'okhttp/3.10.0.7',
}注意的是，Cookie和X-Device-Id我这边测试不填是可以正常启动抓包的，但是网络环境的不同，导致部分地区是需要填写这两个地方的，还请大家自己判断
你认为这就结束了？不！还需要修改一个文件！
1.打开[你的目录]/utils/general.py
找到24行（不排除后续更新行数变化情况）


2.复制刚才HttpCanary抓取的Authorization也到这个地方即可。

3.全部完成再运行main.py文件开始抓取！！！

sefeng 发表于 2024-4-15 09:18:42

必须登录在抓取吗，我怎么在手机上注册不了，手机上不能输入手机号码注册

mxdyeah 发表于 2024-4-20 10:08:37

sefeng 发表于 2024-4-15 09:18
必须登录在抓取吗，我怎么在手机上注册不了，手机上不能输入手机号码注册 ...

'Authorization': 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiI5ODQwODlhNjc1OGU0ZjJlOTViMjk4NWM4YjA1MDNmYiIsImNvbXBhbnkiOiJxaXlpIiwibmFtZSI6InRlcm1pbmFsIn0.1gDPpBcHJIE8dLiq7UekUlPWMtJOYymI8zoIYlsVgc4',
试一下这个Token

sefeng 发表于 2024-4-20 22:17:27

mxdyeah 发表于 2024-4-20 10:08
'Authorization': 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiI5ODQwODlhNjc1OGU0ZjJlOTVi ...

这个可以抓取，不知道有效期是多久

yangang5157 发表于 2024-4-30 18:03:24

学习怎么做的

mxdyeah 发表于 2024-5-1 10:48:47

sefeng 发表于 2024-4-20 22:17
这个可以抓取，不知道有效期是多久

有效期一般是5-6个月
页: [1]
查看完整版本: mxd's EPG 部署 川流TV 报错、CGTN 无法抓取详细说明 配置贴