Scrapy - Scrapy

Scrapy
Scrapy logo.jpg
Desenvolvedor (s) Zyte (anteriormente Scrapinghub)
lançamento inicial 26 de junho de 2008 ( 26/06/2008 )
Versão estável
2.5.0  Edite isso no Wikidata / 6 de abril de 2021 ; 6 meses atrás ( 6 de abril de 2021 )
Repositório
Escrito em Pitão
Sistema operacional Windows , macOS , Linux
Modelo Rastreador da web
Licença Licença BSD
Local na rede Internet scrapy .org Edite isso no Wikidata

Scrapy ( / s k r p / SKRAY -peye ) é uma livre e aberto-fonte web-rastejando quadro escrito em Python. Projetado originalmente para web scraping, ele também pode ser usado para extrair dados usando APIs ou como um rastreador da web de uso geral. Atualmente é mantido pela Zyte, anteriormente Scrapinghub , uma empresa de serviços e desenvolvimento de web scraping.

A arquitetura do projeto Scrapy é construída em torno de "spiders", que são rastreadores autocontidos que recebem um conjunto de instruções. Seguindo o espírito de outros frameworks não se repita , como Django , torna-se mais fácil construir e escalar grandes projetos de rastreamento, permitindo que os desenvolvedores reutilizem seu código. O Scrapy também fornece um shell de rastreamento da web , que pode ser usado por desenvolvedores para testar suas suposições sobre o comportamento de um site.

Algumas empresas e produtos conhecidos que usam o Scrapy são: Lyst, Parse.ly , Sayone Technologies , Sciences Po Medialab, Data.gov.uk ’s World Government Data site. [1]

História

O Scrapy nasceu na empresa de agregação web e comércio eletrônico Mydeco, com sede em Londres, onde foi desenvolvido e mantido por funcionários da Mydeco e da Insophia (uma empresa de consultoria web com sede em Montevidéu , Uruguai). O primeiro lançamento público foi em agosto de 2008 sob a licença BSD , com um lançamento milestone 1.0 ocorrendo em junho de 2015. Em 2011, Zyte (anteriormente Scrapinghub) se tornou o novo mantenedor oficial.

Referências

links externos