Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Atualizar raspador para a Associação de Municípios do Amazonas #1296

Open
trevineju opened this issue Oct 4, 2024 · 3 comments · May be fixed by #1315
Open

Atualizar raspador para a Associação de Municípios do Amazonas #1296

trevineju opened this issue Oct 4, 2024 · 3 comments · May be fixed by #1315
Assignees
Labels
dificuldade:baixa Pouco desafiador de desenvolver priority Issue endereça algo prioritário spider Adiciona robô raspador para município(s)

Comments

@trevineju
Copy link
Member

Parece que a associação de municípios do Amazonas migrou de site:
antes: https://www.diariomunicipal.com.br/aam; agora: https://diariomunicipalaam.org.br/

Então o raspador que temos - am_associacao_municipios.py que usa a BaseSigpub - pode não servir mais. Ao mesmo tempo, alguns elementos de página e o layout do diário parecem seguir iguais.

Tarefa

  • É necessário confirmar se realmente a mudança do site demanda a mudança do raspador, testando o código atual para a nova URL e, caso o código que temos não servir mais, desenvolver o raspador para o site novo.

  • É necessário atualizar o raspador para seguir o padrão de projeto. Por exemplo, está faltando o start_date (não achei a data exata, a edição mais velha que consegui encontrar é a 11: https://diariomunicipalaam.org.br/visualizar-publicacao/20091023). Se a edição 11 está em outubro de 2009, a 1 deve estar por ali no meio do ano de 2009.

Interessante notar que nesse site novo, o /path é a data. No caso acima 20091023 <> 2009-10-23

@trevineju trevineju added spider Adiciona robô raspador para município(s) dificuldade:baixa Pouco desafiador de desenvolver priority Issue endereça algo prioritário labels Oct 4, 2024
@TLaidler
Copy link

Olá @trevineju, tudo bem? Posso ficar com essa issue?

Abraços!

@trevineju
Copy link
Member Author

pode sim, @TLaidler! Acabo de te atribuir (:

@TLaidler
Copy link

pode sim, @TLaidler! Acabo de te atribuir (:

Obrigado!

@TLaidler TLaidler linked a pull request Oct 31, 2024 that will close this issue
14 tasks
@trevineju trevineju linked a pull request Nov 1, 2024 that will close this issue
14 tasks
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
dificuldade:baixa Pouco desafiador de desenvolver priority Issue endereça algo prioritário spider Adiciona robô raspador para município(s)
Projects
Status: em revisão
Development

Successfully merging a pull request may close this issue.

2 participants