mxd's EPG 部署 川流TV 报错、CGTN 无法抓取详细说明 配置贴

mxdyeah

1.修改 [你的目录]/crawl/spiders/chuanliu.py


2.手机上安装川流TVAPP，并通过HttpCanary抓取Authorization
3.将抓取的Authorization复制到脚本的“填写这里”处。
4.用HttpCanary，找到User-Agent，一般是okhttp/3.10.0.7复制到下面的User-Agent的地方

1. headers = {
   
2.     # 'Cookie': '',
   
3.     'Authorization': '填写这里', #必须填写川流TVtoken，否则无法访问 注意添加过后需要用单引号引起来
   
4.     # 'X-Device-Id': '',
   
5.     User-Agent': '填写这里',
   
6. }

复制代码

下面给出我在重庆抓包的结果，不保证各位都能用，也有可能后续失效
如果你比较懒，可以试试我的结果，万一能用呢？

1. headers = {
   
2.     # 'Cookie': '',
   
3.     'Authorization': 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiI5ODQwODlhNjc1OGU0ZjJlOTViMjk4NWM4YjA1MDNmYiIsImNvbXBhbnkiOiJxaXlpIiwibmFtZSI6InRlcm1pbmFsIn0.1gDPpBcHJIE8dLiq7UekUlPWMtJOYymI8zoIYlsVgc4',
   
4.     # 'X-Device-Id': '',
   
5.     'User-Agent': 'okhttp/3.10.0.7',
   
6. }

复制代码

注意的是，Cookie和X-Device-Id我这边测试不填是可以正常启动抓包的，但是网络环境的不同，导致部分地区是需要填写这两个地方的，还请大家自己判断

你认为这就结束了？不！还需要修改一个文件！
1.打开[你的目录]/utils/general.py
找到24行（不排除后续更新行数变化情况）


2.复制刚才HttpCanary抓取的Authorization也到这个地方即可。

3.全部完成再运行main.py文件开始抓取！！！

sefeng

必须登录在抓取吗，我怎么在手机上注册不了，手机上不能输入手机号码注册

mxdyeah

sefeng 发表于 2024-4-15 09:18
必须登录在抓取吗，我怎么在手机上注册不了，手机上不能输入手机号码注册 ...

'Authorization': 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiI5ODQwODlhNjc1OGU0ZjJlOTViMjk4NWM4YjA1MDNmYiIsImNvbXBhbnkiOiJxaXlpIiwibmFtZSI6InRlcm1pbmFsIn0.1gDPpBcHJIE8dLiq7UekUlPWMtJOYymI8zoIYlsVgc4',
试一下这个Token

sefeng

mxdyeah 发表于 2024-4-20 10:08
'Authorization': 'Bearer eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiI5ODQwODlhNjc1OGU0ZjJlOTVi ...

这个可以抓取，不知道有效期是多久

yangang5157

学习怎么做的

mxdyeah

sefeng 发表于 2024-4-20 22:17
这个可以抓取，不知道有效期是多久

有效期一般是5-6个月