gohorsejobs/job-scraper-multisite

🐴 JobScraper MultiSite

Raspador de vagas de emprego multi-plataforma para sites de tecnologia brasileiros.

📁 Estrutura do Projeto

JobScraper_MultiSite/
├── main_scraper.py          # Arquivo principal
├── scrapers/                # Módulos de raspagem por site
│   ├── __init__.py
│   ├── programathor_scraper.py
│   └── geekhunter_scraper.py
├── output/                  # Arquivos CSV gerados
│   └── vagas_consolidadas.csv
├── requirements.txt
└── README.md

🚀 Instalação

# Criar ambiente virtual (recomendado)
python -m venv venv
source venv/bin/activate  # Linux/Mac
# ou: venv\Scripts\activate  # Windows

# Instalar dependências
pip install -r requirements.txt

# Ou instalar manualmente:
pip install requests beautifulsoup4 pandas

▶️ Execução

# Executar raspagem de todos os sites
python main_scraper.py

# Testar um scraper individual
python -m scrapers.programathor_scraper

📊 Output

Os resultados são salvos na pasta output/:

• vagas_consolidadas.csv - Versão mais recente
• vagas_consolidadas_YYYYMMDD_HHMMSS.csv - Versões com timestamp

Campos extraídos:

Campo	Descrição
titulo	Título da vaga
empresa	Nome da empresa
localizacao	Localização/Modalidade
link	URL da vaga
fonte	Site de origem

➕ Adicionando Novos Sites

1. Crie um novo arquivo em scrapers/ (ex: novosite_scraper.py)
2. Implemente a função scrape_novosite() seguindo o padrão existente
3. Adicione ao dicionário SITES em main_scraper.py:

from scrapers.novosite_scraper import scrape_novosite

SITES = {
    'programathor': scrape_programathor,
    'geekhunter': scrape_geekhunter,
    'novosite': scrape_novosite,  # Novo!
}

⚠️ Boas Práticas Anti-Bloqueio

• ✅ Sempre use time.sleep() entre requisições (mínimo 2s)
• ✅ Use headers que simulem um navegador real
• ✅ Não faça muitas requisições em sequência rápida
• ✅ Respeite o robots.txt de cada site
• ✅ Considere usar proxies para grandes volumes

📝 Licença

Uso educacional. Respeite os Termos de Serviço de cada site.