Opa gente boa noite, beleza?
Tô fazendo meu trabalho de conclusão de curso em cima do fediverse, e meus orientadores recomendaram crawlear as redes pra fazer algumas análises. Como entendo que tá todo mundo meio ferrado com esses scrappers pra GPTs da vida, queria saber se isso seria okay pelos admins e qual seria a forma mais “respeitosa” de coletar esses dados sem gerar custos pro hosting.
precisa ser um crawler? As apis são todas abertas, você pode requisitar qualquer tipo de informação que precisar.
Parece uma boa solução. Vou ter que estudar as APIs do lemmy e do masto, mas acho que é melhor isso do que sobrecarregar o server tendo que renderizar o front-end.
P.S. já tentei rodar um server de lemmy e o backend é eficiente pra caramba. O futuro é Rust.