​Maxwell介绍和工作原理

一、Maxwell介绍

Maxwell是由美国Zendesk开源，使用Java编写的MySQL实时抓取工具，可以实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它设计的初衷是实时采集Mysql数据到Kafka。支持全表load数据，支持自动断点还原，支持按照列将数据发送到Kafka不同分区。

Maxwell官网：http://maxwells-daemon.io/

二、​​​​​​​​​​​​​​Maxwell工作原理

Maxwell工作原理与Canal工作原理一样，都是把自己伪装成MySQL 的slave从库，同步binlog数据，来达到同步MySQL数据，与Canal相比，更加轻量。同样使用Maxwell也需要开启MySQL binlog日志。

(资料图片)

三、Maxwell和Canal对比

	Canal	Maxwell
公司	阿里	zendesk
开发语言	Java	Java
高可用	支持HA	不支持，支持断点续传
数据格式	格式自由	JSON
Bootstrap（刷全量数据）	不支持	支持
数据落地	支持客户端，支持定制/kafka	Kafka,Redis等。

Canal是阿里公司使用Java开发，Maxwell是zendesk公司使用Java开发。Canal支持高可用HA，支持断点续传。Maxwell不支持HA,但是支持断点续传，要想支持HA需要自己实现。Canal由于有Client消费数据，针对binlog数据可以使用Client自定义数据格式，Maxwell支持Json数据写出到Kafka或Redis。Canal只能获取MySQL最新数据，Maxwell支持Bootstrap，可以支持获取MySQL中历史数据。Canal采用Server+client模式，Maxwell没有采用这种模式，直接将数据发送到Kafka或者Redis等。

总体来看，Maxwell相对于Canal更加轻量级。

​