一、介绍
PHPCrawler 是用 PHP 编写的多进程网络爬虫框架,具有良好的开放性、高可扩展性。
支持守护进程与普通两种模式(守护进程模式只支持 Linux 服务器)
默认使用 cURL 进行爬取
支持内存、Redis 或自定义等多种队列方式
遵循 PSR-4 标准
可进行定时爬取
灵活的扩展机制,可方便的为框架制作插件:自定义队列、自定义爬取方式...
PHPCrawler 开发文档:https://www.kancloud.cn/fsdstar/crawler
二、下载
通过 composer 下载
composer require fsdstar/phpcrawler