学习了python写入csv文件自己想了一个小实战，爬取billbill《白色相簿》番剧的长评
网页是动态变化的，往下拉他才会更新出长评，找出关键链接https://api.bilibili.com/pgc/review/long/list?media_id=3516&ps=20&sort=0&cursor=77412490606013
分析了一下media_id=3516是番剧的代号ps=20肯定是数量sort=0
cursor=77412490606013这俩没有用，因为https://api.bilibili.com/pgc/review/long/list?media_id=3516&ps=20这样也能打开（错误一）
是一个json数据
{"code":0,"data":{"count":166,"folded":0,"list":[{"article_id":2601094,"author":{"avatar":"http://i2.hdslb.com/bfs/face/4fac3c230ff420dc32c99488590648b2c2455dbe.jpg","mid":19300881,"uname":"陨石的梦","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"来发表下看完《白色相簿2》后的感想吧PS：只是个人对TV动画的看法，不讨论游戏哦作为一个喜欢看日常向的我来说，说实话看着类动漫几乎是无感的，这也就更加能使得在看完后可以去更加客观的评价这部动漫；在刚开始接触这部番时是因为周围几个朋友有时候会讨论白学，自己只是个云观众，只知道里面的几个梗，而且还挺好玩的，在来B站看下评分，挺高的就看了吧，结果两天补完了，在刚开始看前几集的时候都差点以为这是一部励志番了，不过到了后面......好了不BB这么多了，来说一下我对这部番里三个主角的看法吧；男主（北原春希","ctime":1556909830,"is_origin":0,"is_spoiler":0,"media_id":3516,"mid":19300881,"mtime":1556910236,"progress":"看到第9话","review_id":62847,"score":10,"stat":{"likes":0,"reply":2},"title":"个人对主角们的看法","url":"https://www.bilibili.com/read/cv2601094"},{"article_id":2507647,"author":{"avatar":"http://i2.hdslb.com/bfs/face/32c3ac95e9ff274ce0969a4d90873bde8d5abfa5.jpg","mid":39468737,"uname":"百万槑槑","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"白学，盛名在外，但世上好作品太多，怕是看也看不完。没想到真能看完白学2，也是荣幸之至。说到和这剧的缘分，是因为我不知是从哪看来一篇评论。文中说，《白色相簿2》最巧妙的，是大家都在最美好的年纪，十六七八，成人和不成人之间；犯错之后，在被原谅和不被原谅之间。年长一份，则畏缩苟且，不敢向前；年幼一分，又冲动颟玕，不计后果。于是在这最美的年纪，犯下了一点美丽的错误。写出了郑愁予达达的马蹄那种感觉，这位作者实在写得太美，勾得人对原作好奇得不得了。一看，果然妙极。前几话，是北原疯狂撩妹阶段，身为单身狗的雾只","ctime":1555933000,"is_origin":1,"is_spoiler":1,"media_id":3516,"mid":39468737,"mtime":1555933000,"progress":"看到第13话","review_id":61627,"score":10,"stat":{"likes":8,"reply":0},"title":"好男孩，好女孩，犯下了一个美丽的错误","url":"https://www.bilibili.com/read/cv2507647"},{"article_id":2508946,"author":{"avatar":"http://i0.hdslb.com/bfs/face/6bc96385bd4ec6778def8817a2301ba1202d2814.jpg","mid":19130871,"uname":"吃饱散散步","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"这部番总的说是因为男女主角之间对于爱情的渴望，以及种种难以启齿所造成的青春恋爱悲剧。我并不会倾向于喜欢冬马或者喜欢雪莱，也不会特别的去怪罪男主，因为谁没有年轻过呢。谁没有在青春懵懂的时候，错过一件又一件事，或者做错许许多多选择呢。没有谁的青春是不留遗憾的。很多人都说雪莱不该插足，但是，你们有没有想过，有些人错过就是一辈子呢？难道说，一个人连追求自己幸福的权利都没有吗？当时，雪莱确实明白了和纱对春希的心意，但是我不觉得她明白了春希的心意。即使她明白了，那时也已经太迟了。在雪莱之前的人生中，并没有出","ctime":1555943575,"is_origin":1,"is_spoiler":0,"media_id":3516,"mid":19130871,"mtime":1555943575,"progress":"看到第13话","review_id":61633,"score":10,"stat":{"likes":5,"reply":2},"title":"看完白一，过来看了白二，有感而发。","url":"https://www.bilibili.com/read/cv2508946"},{"article_id":2401499,"author":{"avatar":"http://i1.hdslb.com/bfs/face/7f850a2f74f0d0c7d9b9b7c38ac1d2a37c7f1444.jpg","mid":7823809,"uname":"--Seraphim","vip":{"themeType":0,"vipStatus":0,"vipType":1}},"content":"很久之前就看了动漫，最近才通的游戏。本评论主要就游戏而言。正文之前强烈建议各位补一下白1，虽然对剧情推动没什么影响，但游戏体验，情感共鸣的程度和没看过是截然不同的。最深的感触就是冬马te最后雪菜弹唱吉他那段。该死，那可是powder snow啊coda4线，腰斩暂且不提，我的偏好是冬马te=浮气>雪菜te。没错，等于。虽然雪菜te带来的是个所有人都幸福的美好结局，但实在太无趣，也太不真实。所有暂时得到的幸福会在一点点外力作用下轰然倒塌。我理想中的雪菜te，应该是春希更正了自己延宕的性格，怀着对钢","ctime":1554558211,"is_origin":1,"is_spoiler":1,"media_id":3516,"mid":7823809,"mtime":1555244751,"progress":"看到第3话","review_id":59784,"score":10,"stat":{"likes":6,"reply":0},"title":"白色相簿2coda三线通关留念","url":"https://www.bilibili.com/read/cv2401499"},{"article_id":2457133,"author":{"avatar":"http://i0.hdslb.com/bfs/face/db47464f35e0d40421b534a7005a636999500a28.jpg","mid":176637622,"uname":"丨妄想症患者丨","vip":{"themeType":0,"vipStatus":0,"vipType":1}},"content":"久仰大名，前来补番。果然，白学很胃痛。。。。本人是一位坚定不移的冬马党，但是我也不会乱喷。虽然雪菜的部分做法我不感冒，但是情有可原。前8集感觉良好，虽然不是太突出，但是也刻画了主要人物的具体形象。雪菜的性格比较开朗，温柔，善良；冬马就比较高冷但内心是个温柔到爆的女孩子（还有忠犬属性和反差萌\(//∇//)\，简直无解好吧）；男主嘛，老好人一个，还是学霸，因为剧情需要所以带有一点渣男属性。接下来是我个人的看法：男主和冬马，相互喜欢，但冬马不够主动，男主是个木鱼脑袋想让他主动是不可能的。雪菜，天降系","ctime":1555261586,"is_origin":1,"is_spoiler":0,"media_id":3516,"mid":176637622,"mtime":1555264314,"progress":"看到第13话","review_id":60883,"score":10,"stat":{"likes":5,"reply":0},"title":"其实都没错，但是都有错（新人第一次长评）","url":"https://www.bilibili.com/read/cv2457133"},{"article_id":2424431,"author":{"avatar":"http://i0.hdslb.com/bfs/face/6a3ff29be2f52b8036ca56f521559e8c4e3bf921.jpg","mid":88427653,"uname":"若丶随风","vip":{"themeType":0,"vipStatus":0,"vipType":0}},"content":"作为一个什么都想去尝试的人，在信息迷乱的时代，想做的事情太多了，知道的东西太多了。 以前就听说过巧克力与香子兰，美少女万华镜等许多大名鼎鼎的galgame游戏。巧克力与香子兰至今不知道是什么样子，而美少女万华镜玩了第一部，实在不是我所想象的美好的样子，就没有再继续玩下去。 继续了解其他galgame游戏的时候，知道了白色相簿二。只是深感galgame太耗费时间，就放弃了。不过还有动漫啊，上B站，加追番，半年过去了…在今天终于看完了。 确实是一部很好的动漫。游戏没有玩过，所以就说说动漫给我的","ctime":1554869573,"is_origin":1,"is_spoiler":0,"media_id":3516,"mid":88427653,"mtime":1554869871,"progress":"看到第13话","review_id":60356,"score":10,"stat":{"likes":0,"reply":1},"title":"疯狂划水","url":"https://www.bilibili.com/read/cv2424431"},{"article_id":2351409,"author":{"avatar":"http://i0.hdslb.com/bfs/face/4e349c53f4058b0276d60b934618b1439c6d6911.jpg","mid":88042676,"uname":"MirrorDies","vip":{"themeType":0,"vipStatus":0,"vipType":1}},"content":"(长评仅代表个人观点，只是看过一遍的来写一下自己的感想，如果理解不对希望大佬轻喷.)怎么说呢？看完了白二，莫名让人感觉到的是那种十分压抑的情感；如同弹幕里所说:我深爱着雪莱，我喜欢冬马.这种本不应该一个人说出来的语言....我在18岁生日的前一天看完了这部剧，当时看完并没有觉得雪莱有什么错误，也很是同情冬马..就像这样，然后在今天，18岁生日当天，确确实实的好像理解了某些原来不理解的东西一样，一旦回忆就会感觉好像自己是剧中人一般的悲伤；的确我也默许了，我同学所说的那句:“如果你动漫的悲伤都无法承","ctime":1553930488,"is_origin":0,"is_spoiler":1,"media_id":3516,"mid":88042676,"mtime":1553930532,"progress":"看到第13话","review_id":58492,"score":10,"stat":{"likes":7,"reply":10},"title":"真正能让人落泪的动漫，往往最为真实。","url":"https://www.bilibili.com/read/cv2351409"},{"article_id":2031081,"author":{"avatar":"http://i0.hdslb.com/bfs/face/d111ee914c417d6b461bdd2018477470991cfbf0.jpg","mid":69457320,"uname":"我会吹圆号","vip":{"themeType":0,"vipStatus":0,"vipType":0}},"content":"没玩过游戏，没看过白一，仅从wa2动漫谈。实在是看不下去很多冬马党喷雪菜的弹幕了（我也厨冬马的 保平安）雪菜渴望的是三个人一起的友谊。她对春希有爱吗？有，但更多的是友情。春希对她有爱吗？有，但更多的是难以拒绝。雪菜也说过自己初中被同学孤立，到了高中虽然大受欢迎，但说到底却依旧孤独：表面左右逢源，但却连一个朋友也没有（像团子）。因此她无比珍惜与雪菜春希的友谊。但与此同时，她也深知冬马和春希是互有情愫的，自己是一个插足者。学园祭后，冬马和春希的恋情马上要浮出水面（从在冬马家练《届不到》起）。而一旦二","ctime":1549707980,"is_origin":0,"is_spoiler":0,"media_id":3516,"mid":69457320,"mtime":1549708302,"progress":"看到第11话","review_id":53174,"score":10,"stat":{"likes":38,"reply":28},"title":"没有人该被喷","url":"https://www.bilibili.com/read/cv2031081"},{"article_id":2244105,"author":{"avatar":"http://i1.hdslb.com/bfs/face/ed2c9df24f653a59bbbff6c71afbc0505697187f.jpg","mid":107034958,"uname":"似一条咸鱼","vip":{"themeType":0,"vipStatus":0,"vipType":0}},"content":"为什么男主要放不下两个人 我觉得是友情(也许吧）难道互相暗恋的两人在一起那么难吗 (因为经历过所以两人都不选的选项出现了我的脑海中)比起别的番，这应该是第二个让我一口气看9话之多的番剧了 评论也好 弹幕也好 都是在表达自己的情感 没有哪一方是错的 但没有哪一方是对的 冬马温柔 和对春希的宽容 让我想起从前，也许从前那段回忆就是来让我成长的吧(傻笑）雪菜是个普通的女生，普通的家庭 会在乎别人的看法 普通但令人心动 男主学霸 努力做事 但因为犹豫而被扣下了渣的帽子 因为不想失去，所以犹豫不觉","ctime":1552427297,"is_origin":0,"is_spoiler":0,"media_id":3516,"mid":107034958,"mtime":1552427322,"progress":"看到第9话","review_id":56688,"score":8,"stat":{"likes":2,"reply":11},"title":"看了9话 没玩过游戏的人的一个见解","url":"https://www.bilibili.com/read/cv2244105"},{"article_id":2157077,"author":{"avatar":"http://i1.hdslb.com/bfs/face/b6b4f5aa19c58f9d0eb2a5d418a978ee3903336a.jpg","mid":2512444,"uname":"草没味1024","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"评分总结：小评： 因为是在我脑海存在许久的白学梗，给好评。党争，顺便一提我是东马党。挺好的一部番，虽然没有玩游戏，但是我偶然看到的番剧，然后就站队了。这也是一部音乐番，我喜欢《届かない恋》这首曲子（笑）。感情无对错，但是优柔寡断不仅伤害自己还伤害了别人，对喜欢的人勇敢表白，一旦错过，就会失去很多，甚至失去全部...（听闻是脱宅神作，emmmm....）出现以下：东马小三，雪奈碧池下雪了，又到了白色相簿的季节......（统统打死）明明是我先的！！！！你为什么会这样熟练STAFF原","ctime":1551228019,"is_origin":1,"is_spoiler":1,"media_id":3516,"mid":2512444,"mtime":1551228077,"progress":"看到第13话","review_id":55473,"score":10,"stat":{"likes":2,"reply":0},"title":"白色相簿2（2）你为什么会这样熟练～","url":"https://www.bilibili.com/read/cv2157077"},{"article_id":2150410,"author":{"avatar":"http://i2.hdslb.com/bfs/face/8398cc09750b90d09545c8a378078a48722430e6.jpg","mid":34960353,"uname":"战云无双","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"一直听闻白色相簿2虐人，今天忍不住花了半个多下午一口气看完了这部番游戏已经在下的路上，所以就只对这部番剧进行评论三角恋，无论是现实中还是二次元，都是那么的暖昧与不稳定三角，无论怎么选择，最后三个人都会受伤（一夫多妻制或一妻多夫制国家除外）白色相簿的三个人，每个人，都在做着自己选择的事因为都喜欢着另外两个，所以无论结局如何，他们，都不只过是在内心的驱动下做出了选择，做出了判断，做出了让步，谁对谁错，何从谈起，这只不过是追求爱情必定所受的伤罢了真正的爱情，对错这个概念，从来没有过，弹幕的大家，所刷的","ctime":1551105197,"is_origin":1,"is_spoiler":0,"media_id":3516,"mid":34960353,"mtime":1551107601,"progress":"看到第13话","review_id":55386,"score":10,"stat":{"likes":1,"reply":0},"title":"爱情，从来没有对错","url":"https://www.bilibili.com/read/cv2150410"},{"article_id":1957509,"author":{"avatar":"http://i2.hdslb.com/bfs/face/ae2ffbd7e30565f0e893c23b8fb1b1c29c810104.jpg","mid":163546817,"uname":"带个衣服","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"玩过游戏序章，回来补的动画。动画跟游戏是有一些细节上的差别的，导致塑造的人物形象也有一些区别。虽然依旧有血有肉，感人至深，但这些区别可能会让很多动画党觉得，有某个人是真正做“错”了的。但是实际上，如果这个悲剧可以找到确切的“背锅人”，那就不是“白色相簿”了。雪菜呢，实际上没有那么多的“心机”。她只是个有过心结导致比较敏感的，不那么坚强的，惹人怜爱的女孩罢了。无论是之前春希在和纱家里过夜的风波，还是后来抢先告白，心结引发的恐惧心理都是主要的诱因。前者到底有没有“吃醋”的成分很难说，对于后者“喜欢春","ctime":1548767194,"is_origin":1,"is_spoiler":1,"media_id":3516,"mid":163546817,"mtime":1548768363,"progress":"看到第9话","review_id":51254,"score":10,"stat":{"likes":24,"reply":11},"title":"这才是，白色相簿","url":"https://www.bilibili.com/read/cv1957509"},{"article_id":1945811,"author":{"avatar":"http://i2.hdslb.com/bfs/face/32c1c30c3c73663b13638c1a41cfc49bc545a60d.jpg","mid":12729410,"uname":"sqjslgh","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"受室友安利开始补，之前胃疼最后四集没敢看，今天熬夜补完wa2（2.40am），首先心疼东马，心疼雪菜，最后四集刻画很细腻，音乐很有感染力，名场面尽管做好了心理准备，但是还是有被震撼到，两人尤其东马的感情线最后几集爆炸式的展开很过瘾，有几个人物特写长镜头感情很丰富（尤其深刻的有：名场面，成长之夜，东马雪菜咖啡馆，机场），弥补了前期过多铺垫所造成的剧情冗长（但其实是不可避免的），对于最后的结局，其实我还能接受，结局不仅是三角形稳定结构打破，三人最后都能一定程度的理解对方吧，至于党争，开心就好，btw","ctime":1548616621,"is_origin":1,"is_spoiler":1,"media_id":3516,"mid":12729410,"mtime":1548616854,"progress":"看到第13话","review_id":51038,"score":8,"stat":{"likes":9,"reply":2},"title":"传达不到的爱恋","url":"https://www.bilibili.com/read/cv1945811"},{"article_id":1864710,"author":{"avatar":"http://i1.hdslb.com/bfs/face/d916b5c13c30de05cc87df643c762adea0bd3080.jpg","mid":17813457,"uname":"小林同学_","vip":{"themeType":0,"vipStatus":1,"vipType":1}},"content":"这应该是我看过的第一部如此鲜明而又单纯的三角恋主题动漫，将三个人的纠葛娓娓道来。dsxb之争在我看来是无稽之谈。动画里冬马戏份更足，但对冬雪二人性格都交代充分，没有对错之分，只有惋惜。不经意间一学期的相处，心地善良的春希在冬马心中留下了深刻印象。雪菜、冬马在一次无意中的配合下，受春希之邀加入了轻音部，为了学园祭共同努力，最终表演大获成功，三人也建立了深深的羁绊。三人对情感的认识并不深刻，冬马偷偷亲了春希，雪菜害怕被两人彻底排除在外，并且自己对春希也有好感，于是率先表白，跟春希成为了情侣。冬马开始","ctime":1547398001,"is_origin":1,"is_spoiler":1,"media_id":3516,"mid":17813457,"mtime":1547400507,"progress":"看到第1话","review_id":49451,"score":10,"stat":{"likes":9,"reply":2},"title":"白色相簿2，用这样简单又直接的故事打动人心","url":"https://www.bilibili.com/read/cv1864710"},{"article_id":1855332,"author":{"avatar":"http://i1.hdslb.com/bfs/face/19f8d2db2bdae04832dda98383d8b508b82ee3d9.jpg","mid":34817803,"uname":"Shallow夢","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"三角形最稳定（雾） 第一次写长评，有处理不当的地方还请见谅。对于感情，不同人自然有不同的见解，无论是如此痴情的和纱，还是努力“包容”的雪菜，站在她们的角度，那就是她们自己对感情的处理方式，而且都对自己“做错”的地方十分清楚，对于一个处于那般种情况下的人而言，这就已经是十分难能可贵的了，还能苛求什么呢？动漫在叙述完IC（序章）后就结束了，处于一种微妙的状态。自然会有一部分观众觉得到这里就够了，当然这是一种理解方式，不过就我个人而言，真正将三人间关系写得淋漓尽致，将三个人","ctime":1547276575,"is_origin":1,"is_spoiler":1,"media_id":3516,"mid":34817803,"mtime":1547277877,"progress":"看到第13话","review_id":49265,"score":10,"stat":{"likes":6,"reply":1},"title":"纠缠的不定三角，纯白的回环雪花","url":"https://www.bilibili.com/read/cv1855332"},{"article_id":1806247,"author":{"avatar":"http://i2.hdslb.com/bfs/face/57dfb97c95e3359633e36329b91d4931e5f28b8a.jpg","mid":8295213,"uname":"希V唯名","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"是选择爱你的人，还是选择你爱的人，无论如何选择都会有人受伤，而天真我却不想任何人受伤，雪菜东马春希三人真的是太温柔了，温柔的人恋爱中真的容易受伤，明明三个人都没有错，必须做出选择才能前进。寒冷的寒冷的冬天，天空下着小雪，与你只有半米的距离，想开口说出爱意，但又能怎样，终究还是传到不到啊。。。。我不加入任何党派，因为我感觉两个人都很好，我都很喜欢，毕竟每个人性格是不同的，表达爱意的方式也是不同，所以我是男主我全都要。13集的11分49秒的雪菜真的太美了。。而冬马配合春希吉他弹钢琴的这份温柔是真的太","ctime":1546436456,"is_origin":1,"is_spoiler":0,"media_id":3516,"mid":8295213,"mtime":1546436900,"progress":"看到第13话","review_id":48397,"score":10,"stat":{"likes":10,"reply":4},"title":"因为爱你所以才想传达","url":"https://www.bilibili.com/read/cv1806247"},{"article_id":1827533,"author":{"avatar":"http://i0.hdslb.com/bfs/face/dad3eb42e5a142909dd8295d231b1da8426a8383.jpg","mid":68414002,"uname":"暗影之殇Z","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"这部作品是通过游戏改编而来的，它独特的魅力在于三个人之间的感情纠葛，不难看出为了制造悲伤气氛还是下了很大功夫的，因为不论选择谁，总有一方受到伤害，但也有游戏情节固定等问题 正如这部作品里体现的一样，雪菜喜欢春希，她更希望三个人在一起，雪菜无疑是一个善良的女孩，爱情与友情她都不愿放手，哪怕她早就知道春希与冬马相互暗恋。而冬马一直十分孤独，她渴望别人的温暖，春希在这时候出现了，她与春希相互爱慕，但冬马没有勇气喜欢春希，而春希因为考虑到自己与冬马的差距于是认为冬马不喜欢他 其实作品中传达不到","ctime":1546784120,"is_origin":1,"is_spoiler":1,"media_id":3516,"mid":68414002,"mtime":1546784671,"progress":"看到第13话","review_id":48730,"score":10,"stat":{"likes":3,"reply":0},"title":"这个故事才刚刚开始","url":"https://www.bilibili.com/read/cv1827533"},{"article_id":1758871,"author":{"avatar":"http://i1.hdslb.com/bfs/face/bf4ddb75fc04ead9ffcf4519cae5cdcd5ce82b7b.jpg","mid":27800393,"uname":"幽月百合子","vip":{"themeType":0,"vipStatus":1,"vipType":1}},"content":"有幸看了白学经典，不禁感慨。果然无论之前再怎么好的关系，再怎么青梅竹马，也比不过刚正面来的直接。三人之间就如同三个独立而又紧密相连的国度，北国与冬国早已交好，可相互又迟迟不敢表达意向，只因害怕伤害到彼此。直到雪国的突然介入，让这两个原本默默无语，却十分友好的“国”越发贴近，可也越发遥远。 爱，是可以无言的，但行动必须得快。 与冬国的踟蹰不前相比，雪国的攻势凌厉而又猛烈，让二国都措手不及。而北国，又不愿放弃任何一个，也不愿拒绝任何一个。结果，结识时间最短的两个“国”却先达成了盟约，永世不变的盟","ctime":1545697211,"is_origin":1,"is_spoiler":0,"media_id":3516,"mid":27800393,"mtime":1545697211,"progress":"看到第13话","review_id":47647,"score":10,"stat":{"likes":11,"reply":25},"title":"再长的铺垫，也比不过爱的直接表达","url":"https://www.bilibili.com/read/cv1758871"},{"article_id":1747646,"author":{"avatar":"http://i1.hdslb.com/bfs/face/1c54c8377438b99332e800d20692276d8ac3cd94.jpg","mid":86895377,"uname":"藤原书记不想跳舞","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"慕名而来连夜把动画补完觉得心里完全不能平静。 首先说说动画，画风我个人很喜欢，剧情也与原作差不多总体是很不错的。然后再说说我对剧情的一些感想。本来我自以为看白二并不会有传说中的那么虐心，然而当我不自觉的带入感情去看的时候,我才知道我错了。三角形本来是最稳定的，然而一旦有一个点被打破，就再也恢复不了原来的平衡了。对于动漫所展现的结局，我们也不能说谁对谁错，毕竟本来就没有人错。冬马和春希用一年的时间交流，就如同两个齿轮原本是毫无交集独立运转 ，但逐渐的,两个齿轮开始靠近， 但并未咬合。雪菜本来是不会","ctime":1545511235,"is_origin":1,"is_spoiler":1,"media_id":3516,"mid":86895377,"mtime":1545511235,"progress":"看到第13话","review_id":47475,"score":10,"stat":{"likes":14,"reply":2},"title":"传达不到的爱恋，彼此交错的心","url":"https://www.bilibili.com/read/cv1747646"},{"article_id":1752831,"author":{"avatar":"http://i1.hdslb.com/bfs/face/52cdddcd3c68c8f557a10b271ad47941a156fae2.jpg","mid":9641424,"uname":"东北偏北131","vip":{"themeType":0,"vipStatus":1,"vipType":2}},"content":"不得不说，白2的确是让人抑郁压抑的作品。然而正如悲剧正是把美好的东西毁灭给人看一般，打动人心的，正是令到屏幕前的你我感到心疼、难过的一幕幕悲喜。 我不是任何一党，有人说任何一方都有其过错，此话对，也不对。每一个令人喜爱甚至能够发展至党争的角色背后，一定有其让人同情、共情和感同身受的部分。冬马外表的坚强和内里的柔软是她最吸引我的理由，那是冬马的坚强背后的心酸和承受，是有着类似性格的我曾经最不敢直视的疼痛；有人说雪菜既然插入两人之间就一定要有承受代价的觉悟，然而爱哪里有错，爱哪","ctime":1545578046,"is_origin":1,"is_spoiler":0,"media_id":3516,"mid":9641424,"mtime":1545578046,"progress":"看到第13话","review_id":47538,"score":10,"stat":{"likes":7,"reply":0},"title":"哪有单纯的对与错，有的只是爱","url":"https://www.bilibili.com/read/cv1752831"}],"next":76858439809458,"normal":166,"total":166},"message":"success"}
开始使用学习的python语言爬取，出现了第一个问题，爬取的json网页是有极限的，后来观察json数据，发现cursor=77412490606013是有用的，每一个json最后都由next":76858439809458,"这个值对应cursor的值，也就是cursor对应着下一个数据的头。因此我做了处理resp = requests.get(url+'&cursor='+ret[0], headers=headers)，每一次用正则表达式去获取next后的值，然后组成新的网页访问。
观察json数据时我发现不管我把pn=写多大，他也只能出现Array[30]，也就是每次传过来的极限是30条数据后我才发现的cursor值的用处
json格式化的网页：https://www.json.cn/
大致格式如下：
展开数据：
我需要的数据是article_id，uname，avatar（评论者头像，其实这个也没用） ，url（具体网页）。
代码：
import re import requests import csv # 请求头 可自己查看自己的 来更改 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 ' 'Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400', 'Referer': 'https://www.bilibili.com/bangumi/media/md3516/?spm_id_from=666.25.b_7265766965775f6d6f64756c65.1' } # csv文件的头 a = [ 'article', 'avatar', 'uname', 'str_url' ] def pq_url_save_useful_data(url): i = 1 list_wants = [] while i != '0': if i == 1: resp = requests.get(url, headers=headers) ret = re.findall('next.{2}([d]+)', resp.text) else: resp = requests.get(url+'&cursor='+ret[0], headers=headers) ret = re.findall('next.{2}([d]+)', resp.text) # josn取出 json_str = resp.text # 正则表达式处理数据 article = re.findall("article_id.{2}(d+)", json_str, re.DOTALL) avatar = re.findall("(http://[a-zA-Z/0-9.]+jpg|gif$)", json_str, re.DOTALL) uname = re.findall('uname.{4}([S]+?)"', json_str, re.DOTALL) str_url = re.findall("(https://[^s]+?)"", json_str, re.DOTALL) i = ret[0] # 存储数据 x = 0 while x < len(article): if article== []: break else: list_want = [article[x-1], avatar[x-1], uname[x-1], str_url[x-1]] x += 1 print(x) list_wants.append(list_want) print('_____') # 使用 list写入 print(list_wants) with open('a.csv', 'w', encoding='utf-8', newline='') as fp: writer = csv.writer(fp) # 写入表头信息 writer.writerow(a) writer.writerows(list_wants) def main(): url = 'https://api.bilibili.com/pgc/review/long/list?media_id=3516&ps=20' pq_url_save_useful_data(url) if __name__ == '__main__': main()
爬取效果：
