python 抓包工具第三方库
怎么才能抓取别的网站上的内容上传到自己的APP里？
怎么才能抓取别的网站上的内容上传到自己的APP里？
下载、录屏、摄像、……
抓包别的网站的内容，俗称爬虫，这是违法行为，希望题主注意分寸。
我简单说说我用过的两种方法，但仅限于学习交流，分别是使用python和android，大家可以理解为服务器后台爬虫和安卓端爬虫。
使用python爬虫python强大之处在于生态库非常丰富，爬虫的话我推荐学习scapy库，这个库封装的很好，使用简单，不依赖其他的python库，导包和配置参数也很简单，可以通过help(scapy)查看帮助，这里我就不详细描述了。如果你爬取额网站数据协议比较复杂的话，那你得自己写解析逻辑。下面通过两行代码感受下scapy库的简单。
安卓端爬虫这里需要解释下，安卓并不是爬虫，而是解析网站代码。这个方法就比较笨重了，一旦网站代码结果变了，那么解析逻辑也得变化。安卓是使用的Jsoup框架使用爬虫的。网站代码也就是H5，它的代码是解释一行运行一行的。我们可以直接查看网站源代码，然后根据代码编写自己的解析逻辑，获取所需要的数据。Jsoup使用更加简单，将网页解析成Dom，然后就根据key获取value。 Jsoup一句代码实现Dom解析
Document doc ().get()
以上方式仅限学习交流，如果我的回答对你有所帮助，请点赞支持，感谢！
爬取网站内容有很多方法。可以使用相关的软件或者自己写爬虫程序。目前很多软件都可以爬取一些网站上固定的内容，比如说火车头采集器，关关采集器等等。但是如果想要爬取一些个性化的定制内容，并且发布到自己网站的话，还是需要一些专业的软件开发技能。目前最常用的开发语言就是Python。现在网上有很多爬取内容的教程你可以学习一下。但是现在爬取内容如果达到一定的量级，并且应用于商业。是属于违法行为，请一定要谨慎。
Python爬虫返回的是一个空列表是什么原因？
最有可能的原因是这个网页的数据是动态加载的，不在网页源码中，在一个json文件中，只有在重新请求页面时，才会加载这些json数据，所以，如果直接爬取页面的话，返回的数据肯定是空的，下面我简单介绍一个示例，分析一下：
1.这里以人人贷上面的债权数据为例，如下，如果直接点击对应的元素，选择“检查”，我们就可以发现数据就在标签中，如下：
但其实，这是不对的，如果直接请求这个页面，我们获取的是网页源码，而打开网页源码，我们会发现，这些数据是不在网页源码的，即动态加载的，所以直接爬取的话，返回的数据肯定为空：
2.所以这时，我们就需要进行抓包分析，按F12，调出开发者工具，依次选择“Network”-gt“XHR”,F5重新刷新页面，如下，就看到动态加载的文件信息，如下，一个json文件，点击进去，就可以发现我们需要爬取的数据：
这次，我们在根据抓包获得的json文件url，请求解析解析这个json文件，就能获得我们需要的数据，代码如下：
程序运行截图，如下，已经成功抓取到我们所需要的数据：
至此，我们就爬取到了我们需要的数据。出现爬取数据为空的情况下，很有可能网页的数据是动态加载的，这个时候我们查看一下网页源码，查找一下相关数据，如果找不到，很可能就是动态加载的，再结合抓包分析一下，很快就能发现问题所在，找到对应的json文件，进行解析，就能提取出我们需要的数据，网上也有相关教程和资料，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言。