Закину сюда, вроде этот тред подходит больше всего.
Итак, пропарсил интернет архив в части доброчановского университета. По итогу - 117 МБ sqlite база с постами и ссылками на файлы. 850 тредов и 129596 постов накопленной мудрости.
Увы, не все файлы прокешировались, поэтому потенциально немалая часть картинок утеряна. Так же 7 тредов полностью восстановить не удалось - у них по одному снапшоту со страницей, где задетекчен бот. Ещё около 5 тредов обрезаны по тем или иным причинам.
Возможно, это кому-то пригодится: может моды прикрутят как-то, а может кто-то такой же жадный архивариус как я. Лингвисты, технари, экономики, историки, сновидцы, тульповоды, Винтовка и гербера - надеюсь, теперь это не затеряется в веках.
https://mega.nz/file/PmhywCxK#knUhnrorDah2uzHGIsKNAgtCKkaiiPG40agWr2o9Mbw
Буду переходить к остальным разделам потихоньку, к сожалению полностью автоматизировать не удаётся и приходится многое делать руками, поэтому не так быстро идёт как хотелось бы.
Алсо, если есть какой-нибудь достойный файлохостиг, выслушаю ваши идеи.