Scrapy - Scrapy
Desenvolvedor (s) | Zyte (anteriormente Scrapinghub) |
---|---|
lançamento inicial | 26 de junho de 2008 |
Versão estável | |
Repositório | |
Escrito em | Pitão |
Sistema operacional | Windows , macOS , Linux |
Modelo | Rastreador da web |
Licença | Licença BSD |
Local na rede Internet |
scrapy |
Scrapy ( / s k r eɪ p aɪ / SKRAY -peye ) é uma livre e aberto-fonte web-rastejando quadro escrito em Python. Projetado originalmente para web scraping, ele também pode ser usado para extrair dados usando APIs ou como um rastreador da web de uso geral. Atualmente é mantido pela Zyte, anteriormente Scrapinghub , uma empresa de serviços e desenvolvimento de web scraping.
A arquitetura do projeto Scrapy é construída em torno de "spiders", que são rastreadores autocontidos que recebem um conjunto de instruções. Seguindo o espírito de outros frameworks não se repita , como Django , torna-se mais fácil construir e escalar grandes projetos de rastreamento, permitindo que os desenvolvedores reutilizem seu código. O Scrapy também fornece um shell de rastreamento da web , que pode ser usado por desenvolvedores para testar suas suposições sobre o comportamento de um site.
Algumas empresas e produtos conhecidos que usam o Scrapy são: Lyst, Parse.ly , Sayone Technologies , Sciences Po Medialab, Data.gov.uk ’s World Government Data site. [1]
História
O Scrapy nasceu na empresa de agregação web e comércio eletrônico Mydeco, com sede em Londres, onde foi desenvolvido e mantido por funcionários da Mydeco e da Insophia (uma empresa de consultoria web com sede em Montevidéu , Uruguai). O primeiro lançamento público foi em agosto de 2008 sob a licença BSD , com um lançamento milestone 1.0 ocorrendo em junho de 2015. Em 2011, Zyte (anteriormente Scrapinghub) se tornou o novo mantenedor oficial.