为什么要开发爬山虎

0x01、希望给广大PHP码友提供一种更多的选择

目前圈内已经存在各种语言版本的优秀爬虫框架,比如:基于python的scrapy、基于Java的Spiderman、 基于Go语言的go-colly等等,作者想说的是: 面对语言都很擅长的业务场景,不论是新手还是PHP先入为主的老司机并且对其他编程语言并不是那么熟练, 这时若有开发爬虫业务的需求,作者推荐你优先考虑PHP圈的优秀爬虫框架,为什么?道理很简单: 因为PHP开发的敏捷性绝对最佳、因为我们能轻车熟路的驾驭PHP,因为驾驭其他语言的成本可能过高,因为PHP能帮我们直线降低开发成本。 相反,这个话题也就不存在了,自由选择,所以作者希望爬山虎能为广大PHP码友提供一种更多的选择, 从某种意义上来说,爬山虎也是爬虫框架的PHP语言版的一种补充。爬山虎的终极目标是:着力于高效敏捷开发,让天下没有难爬的数据

0x02、解决传统PHP爬虫框架的性能和扩展问题

截止爬山虎发布前,作者所接触到的PHP爬虫框架几乎主要有两大不足:
一个是大多为单进程工作模型,另一个是大多为同步工作模式。 换句话即看不到socket的身影,因此无法做到分布式部署,更无法支持分离式部署, 因此无法最大化发挥爬虫性能;而爬山虎是基于 workerman 开发的,能够轻松支持如下架构: 异步通信 + 多进程 + 分布/离式部署 + 事件驱动,从而保证了爬山虎彪悍的性能。 除此之外,爬山虎采用了内核 + 插件 + 分离式部署的设计理念,所以具备强扩展性。

0x03、对workerman进行服务端开发的有力实践

相信爬山虎有助于我们作为学习研究workerman的有力实践:workerman让你了解PHP不为人知的一面。

results matching ""

    No results matching ""