首先，你需要一个有网易云音乐线上环境数据库账号密码的朋友。
然后请他吃顿饭，让他偷偷帮你去数据库查询一下。
大家好，我是【高省】APP运营高小省，咱们高省是一个可省钱佣金高，能赚钱有收益的平台，百度有几百万篇报道，也期待你的加入。
当然，这肯定不现实的，比较现实的做法当然是 —— 爬虫。
写程序让代码帮你去海量的评论数据里去找出他的评论。
那么问题来了：
程序的逻辑应该是怎样的？
网易云音乐里这么多歌，每首歌评论这么多，我应该去把每首歌的评论都查询一遍吗？
这个工作量听起来就是不可完成的。
以我查询不到10位用户的数据为例，本地共抓取了评论1800万条，数据大小以及达到4.5GB。当然，抓取次数越多，本地数据越完整，数据量大小增长趋势将变小，但仍是一个非常恐怖的数据量级。因此，我们应当选择性对歌曲评论抓取。我们应该去找这名用户（公开）信息中，所有能和这名用户有关的歌曲。总的来说包含以下四部分：
动态里分享的歌曲
听歌排行榜歌曲（周榜及总榜）
收藏的歌曲及创建歌单内的歌曲
收藏歌单的歌曲
不难想象，用户在上述四种情形下，对歌曲提交评论的可能性是由高到低的。因此，可以对一名用户的以上四部分的歌曲评论进行抓取筛选。当然，隐藏了听歌排行榜的用户则第二部分数据不可达。
这样获取的数据完整吗？
当然是不完整的。我们只抓取了可见信息里与用户关联的歌曲评论。如果用户在一首自己也没听过，也没收藏，反正不满足以上四部分条件的歌曲下评论，除非在抓取别的用户时碰巧也抓取了这首歌曲，否则是不能获取的。
另外，网易云音乐评论接口并不开放完整数据。比如一首评论数量为60万的歌曲，我们只能够查询到最近1000条及最早1000条（你可以尝试在一首评论很多的歌曲翻页查看评论，50页之后的数据是无法获取的）。比如评论有200页，只能获取前50页和后50页数据，而中间部分的评论也无法获取，所以也会导致评论漏抓取。（此限制已取消 2020-07-29）
查询出评论的成功率高吗？
很高，因为很少会有用户在自己不喜欢的歌曲下面评论，所以在上述划定范围内查询具有很高的命中率。
以查询我自己的评论为例，我找出了好多自己都记不起来的评论
具体实现的时候你可以需要注意以下问题：
接口反爬虫
重复数据及增量数据处理
抓取异常中断恢复
查找思路就是以上的思路，有需要帮忙的朋友可以私信我 (๑•́ ₃ •̀๑)
网易云目前又已经可以看每首歌的全部评论了，找到评论的成功率又大大提高了！
本文来自投稿，不代表高小省立场，如若转载，请注明出处：https://www.52gxs.com/4621.html
