Skip to content

Example of code for a data pipeline built with the Prefect framework

Notifications You must be signed in to change notification settings

volneyrock/rick_and_morty_data_pipeline

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

13 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Rick and Morty Flow

Este projeto utiliza Prefect para criar um fluxo que busca personagens do Rick and Morty e suas localizações, e salva os dados em um arquivo JSON.

O projeto é gerenciado com poetry para dependências e pre-commit para garantir a qualidade do código.

Requisitos

  • Python 3.8+
  • Poetry
  • pre-commit

Instalação

Clonar o repositório

git clone [email protected]:volneyrock/rick_and_morty_data_pipeline.git
cd rick_and_morty_data_pipeline

Configurar o ambiente virtual

Use o poetry para instalar as dependências e configurar o ambiente virtual:

poetry install

Ativar o ambiente virtual

poetry shell

Para executar o fluxo

python flows.py

Após a execução, um arquivo rick_and_morty.json será gerado contendo os dados dos personagens e suas localizações.

Para executar os testes

pytest

pre-commit

Este projeto utiliza pre-commit para manter a qualidade do código. Certifique-se de instalar os hooks após clonar o repositório:

pre-commit install

Estrutura do projeto

.
├── api                      # Módulo para interagir com a API
│   ├── __init__.py
│   ├── api.py
├── tasks                    # Módulo com as tarefas Prefect
|   ├── __init__.py
│   ├── prefect_tasks.py
├── tests                    # Módulo com os testes
│   ├── __init__.py
│   ├── test_api.py
│   ├── test_tasks.py
├── .gitignore
├── .pre-commit-config.yaml  # Configuração do pre-commit
├── flows.py                 # Arquivo principal do fluxo Prefect
└── poetry.lock
├── pyproject.toml           # Configuração do poetry
├── README.md

About

Example of code for a data pipeline built with the Prefect framework

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages