golang-collection

golang-collection

GitHub

Repositories

1

Total stars

53

Top repositories

分布式爬虫项目,本项目支持个性化定制页面解析器二次开发,项目整体采用微服务架构,通过消息队列实现消息的异步发送,使用到的框架包括:redigo, gorm, goquery, easyjson, viper, amqp, zap, go-micro,并通过Docker实现容器化部署,中间爬虫节点支持水平拓展。

Created Aug 2020

crawler docker elasticsearch go go-micro
Total 53