## 引子：@"Monoid1989"#p15756 [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297254-810371-v.png] 随后经由现任vtuber吧吧主梨木她同意了： [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297260-84813-f88783e5-7734-4261-8a8b-a11f61e4a6ac.png] 由于我的个人原因直到近期在完成tbm爬虫c#重写和数据库结构迁移后才着手此事根据网页端吧首页的计数器： [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297332-91890-398bdd9a-e86c-4b0b-b1d7-530c9ebb10a9.png] vtuber自由讨论吧共有主题数12025个，贴子数375782篇但这个计数器是永远自增的（即即便帖子被系统或楼主删除也不会-1）再加上自2019年3月b吧事件后以来贴吧一直在4端（网页端客户端客户端网页 wap网页）的吧首页主题帖列表接口上限制可请求的分页数为最多10000条主题帖，如果请求分页offset超过10000就只会返回吧首页第一页的主题帖的限制导致我只能爬取到9029条主题帖，对应总共119899回复帖+71267楼中楼=191166条帖子和10947个贴吧用户： [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297346-498379-tables.png] ## 表的解析： _content结尾的表的content字段值存储着回复帖/楼中楼的正文，格式是贴吧客户端接口返回的protobuf二进制，可参考此.proto文件进行反序列化： https://github.com/n0099/tbclient.protobuf/blob/main/tbm_min/Wrapper/PostContentWrapper.proto [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297389-118492-replies-content.png] _threads，_replies，_subReplies表为主题帖/回复帖/楼中楼的元数据： [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297395-372506-threads.png] [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297395-453024-replies.png] [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297395-518110-subreplies.png] tiebaUsers表为贴吧用户的元数据： [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297404-609211-users.png] 以上表中所有数字类型字段的NULL值表示实际值是0（即`field ?? 0`），createdAt updatedAt lastSeen 3个字段的NULL值代表依次回退到前一个字段（即`lastSeen ?? updatedAt ?? createdAt`） reply_signatures表存储的是贴吧用户可在客户端上设置的回复帖小尾巴，反序列化signature字段的二进制值请参考此.proto：https://github.com/n0099/tbclient.protobuf/blob/main/tbm_min/Post/ReplyDeps/SignatureData.proto [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297415-904867-reply-signature.png] 所有以tbm_revision开头的表为对应表中更新记录时的历史版本快照 [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297469-558006-revision-replies.png] 例如查询`SELECT * FROM tbm_revision_replies WHERE pid = 144905649502 ORDER BY time DESC` [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297469-442528-revision-replies-144905649502.png] 我们可以知道在1659020767这个unix时间点，只有subReplyNum字段的值被更新为了3，其余字段值都保持不变而如果将time字段值最大（1659076992）的记录（_revision_replies表）与当前版本（1659091395）的记录（_replies表）进行对比： `SELECT * FROM tbm_revision_replies WHERE pid = 144905649502 ORDER BY time DESC` [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297500-840386-revision-replies-144905649502-time.png] `SELECT * FROM tbm_f27278534_replies WHERE pid = 144905649502` [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297500-877674-replies-144905649502.png] 我们可以确定在1659076992时除revision记录中非NULL值的subReplyNum以外的字段值都跟当前版本（1659091395）一致请注意字段NULL值且字段nullFieldsBitMask值中没有此字段名则表示该字段未在time字段此时修改过，只有字段nullFieldsBitMask值中有此字段名才能表示此字段当时的值的确是NULL 所有表中的id字段均为无意义的业务无关自增主键，即便删除也不影响数据解释表_replies_img提取了在119899条回复帖中的28422（由于用户可以复制引用一张已上传的图片，所以去重后是27399个，如果额外考虑对下载后的图片二进制内容计算hash去重还会少104张）贴吧ugc图片： [upl-image-preview url=https://n0099.net/v/assets/files/2022-07-31/1659297522-40964-replies-img.png] 以`https?://(tiebapic|imgsrc|imgsa).baidu.com/forum/pic/item/hashOrUrl.jpg`的形式拼接url便可公网访问该图片全部下载后有9.1G大，对其进行webp有损压缩转码并zip归档后有2.6G大请注意所有这些.jpg扩展名只是一个文件名，图片实际格式可以是bmp png gif等非jpg，可以使用file根据图片二进制开头的幻数确定图片格式，或使用imagemagick的`identify -verbose`提取图片文件详细信息在这其中图片 ``` cf180b19972bd407bcf63a936c899e510fb3096d 9110b1dea9ec8a13f41675ace003918fa0ecc028 ``` 是经过多次重试后可确认贴吧返回或用户上传时的图片是损坏的，其余27397张图片经过identify读取均无错误以上所有表sql数据和27399张图片可在 https://n0099-my.sharepoint.cn/personal/n_n0099_partner_onmschina_cn/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fn_n0099_partner_onmschina_cn%2FDocuments%2Ftbm_f27278534&ga=1 或 https://pan.baidu.com/s/1QNIcxHHjJ8orAoIlaJeaLw?pwd=6uhu 获得文件checksum： ``` img.jpg.zip 9, 465, 377, 287 bytes MD5: 18BD74C7797C759B8097CA5547228F1D SHA1: A32438D27DCF7F9C2D29BDB310E8015F71930F6F img.webp.zip 2, 811, 026, 096 bytes MD5: C1E384FC1BA71E5B1C8A8880F36348C6 SHA1: C4882B97631404CBE9677B5AF0472C8A10DAFCF6 tbm_f27278534.sql 58, 910, 411 bytes MD5: A80DF5349DEAD0F9A370C956BEB1024F SHA1: 49F6D8D9A5B7B052250C0D1CEE84A4139BF4432B tbm_f27278534.sql.7z 10, 796, 070 bytes MD5: E9A53F1ADF13767004CB97EEAE3536FD SHA1: AD3A2AC79C253FE76FDC6B1603963CEF109A4362 ``` img.webp.zip的目录结构： succeed下为所有成功通过`cwebp -m 6 -sharp_yuv -q 80`转换的webp图片 gif下为原图是gif格式，使用`gif2webp -m 6 -loop_compatibility`转换为动态webp（相当于webm视频） failed下为转webp失败的图片，主要是超过16384x16384px大小限制的jpg、非jpg/png/gif格式（如bmp） tbm（贴吧云监控）是一个开源项目：https://github.com/n0099/TiebaMonitor，以爬取和展示贴吧数据为主要重心，已由本人间歇性开发长达5年时间如果您有兴趣参与本项目的未来开发，欢迎加入我们的slack：https://n0099.zulipchat.com 在不久的将来我完成网页前端对爬虫c#重写所使用迁移后数据库结构的兼容时，可在 https://n0099.net/tbm/p/f/27278534 上在线浏览这些数据而无需下载到本地进行分析

> @"Wien"#p36275 终究你只是在取悦自己建议让悦咚来取悦我

@"n0099"#p36278 假设这样一种可能性：她开心了且完整地阅读了您的TBM致命代码+txet地狱绘图并发表重大感想

@"Wien"#p36279 何谓`txet地狱绘图`

@"n0099"#p36282 https://www.reddit.com/r/textwall/s/b69OyNCm4d

@"Wien"#p36283 建议提请悦咚视察时任四叶zulip

@"n0099"#p36284 当时您给我发的应该是 https://www.yourworldoftext.com/

tbm对vtuber自由讨论吧的备份

n0099

交叉引用：https://tieba.baidu.com/p/7960019750

n0099

https://n0099.net/tbm/posts/fid/27278534

Wien

n0099 残羹冷炙反复品味只是徒增伤感。浪费时间与精力留给后人一堆信息垃圾，我倒是觉得不一定有几个人会认真看，只会像名人名言一样摘抄断章取义一些对当时社会环境起到反动与推动作用的大放厥词。也别说几十tb了，光是几百kb电子书发给如今这些短视频切片上瘾的人，看两秒就猪脑超载自觉死亡了。终究你只是在取悦自己。马斯克那扔到太空的5d光盘早晚都是太空垃圾，后人连捡起来都觉得毫无意义。借古讽今永远不变，但谁没事闲的去脱离现实去不切实际呢。
还有，这个帖子在通知栏显示未读，所以我回了。不是其他目的，最后，我希望n0099开心一点........我一直都觉得挺对不起你的