微信爬虫进展


微信爬虫没什么技术含量。关键难点在于有效的访问链接的获取。因为微信不提供简单的永久链接的入口,所有链接有一定时效性,所以同一篇文章链接有可能都不一样。这样爬虫无法正确工作,会带来一系列的额外工作。
所以核心障碍变成了大批量的数据链接获取,自动化获取。这也是未来的护城河。
通过抓包可以获取链接,已经证实了。现在还需要做的是持续抓包与数据提取。