docker – 在向主机Kafka服务器生成消息时出现容器化的Kafka客户端错误

stackoverflow上有许多类似的查询类型,但没有一个与我看到的问题完全匹配.

我的服务器上有一个zookeeper / kafka设置,可以很好地工作.一个人可以生产

bin/kafka-console-producer.sh --broker-list 192.168.2.80:9092 --topic test

和消费

bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.80:9092 --topic test --from-beginning

本地在Linux Ubuntu 16.04服务器上.

从Docker容器 – 也运行Ubuntu 16.04 – 我想生产和消费.容器的Kafka代码是从服务器上复制的.
首先,我可以创建一个新主题

bin/kafka-topics.sh --create --zookeeper 192.168.2.80:2181 --replication-factor 1 --partitions 1 --topic test2

从容器中再次列出它

bin/kafka-topics.sh --list --zookeeper 192.168.2.80:2181

但是,当我尝试使用上面的(kafka-console-producer.sh)命令生成新消息时,它失败并显示以下消息：

[2017-06-05 13:59:05,317] ERROR Error when sending message to topic test2  with key: null,value: 2 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test2-0: 1526 ms has passed since batch creation plus linger time

输入消息文本后立即按Enter键.

在同一主机上运行Docker容器似乎很奇怪,但是一旦这个工作,我将把容器移动到一个单独的主机进行生产.

我的kafka server.properties文件：

listeners=PLAINTEXT://0.0.0.0:9092

卡夫卡版：

2.12-0.10.2.1

Docker版本：

Docker version 1.12.6,build 78d1802

最佳答案

问题是(略微简化)由Kafka的协议如何工作引起的.给定一个“引导服务器”列表(例如localhost：9092),Kafka客户端将联系那些引导服务器,但随后使用引导服务器返回的实际Kafka代理的主机名(代理的advertised.listeners配置,取决于您的Kafka / Docker设置可能设置为例如kafka：9092).所以在这里,客户端将与localhost：9092进行自举(这将起作用),但随后切换到kafka：9092(这将无效,“感谢”网络设置).

幸运的是,有一种方法可以“正常工作”的方式配置Kafka Docker,并且它不需要恶作剧,例如摆弄主机的/ etc / hosts文件等.作为其中的一部分,您需要设置一些(新的)Kafka设置,这些设置已添加到kafka的KIP-103: Separation of Internal and External traffic中.

这是Docker Compose(docker-compose.yml)的一个片段,演示了如何执行此操作：

---
version: '2'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:3.2.1
    hostname: zookeeper
    ports:
      - '32181:32181'
    environment:
      ZOOKEEPER_CLIENT_PORT: 32181

  kafka:
    image: confluentinc/cp-kafka:3.2.1
    hostname: kafka
    ports:
      - '9092:9092'
      - '29092:29092'
    depends_on:
      - zookeeper
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:32181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
      # Following line is needed for Kafka versions 0.11+
      # in case you run less than 3 Kafka brokers in your
      # cluster because the broker config
      # `offsets.topic.replication.factor` (default: 3)
      # is now enforced upon topic creation
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

这里的关键设置是：

> listener.security.protocol.map(通过KAFKA_LISTENER_SECURITY_PROTOCOL_MAP设置)
> inter.broker.listener.name
> advertised.listeners

在上面的设置中,容器化的Kafka代理侦听localhost：9092以从主机(例如Mac笔记本电脑)和kafka：29092访问,以便从其他容器访问.

完整的端到端示例可在以下位置获得：
https://github.com/confluentinc/cp-docker-images/blob/v3.2.1/examples/kafka-streams-examples/docker-compose.yml(文件于http://docs.confluent.io/3.2.1/cp-docker-images/docs/tutorials/kafka-streams-examples.html).

docker – 在向主机Kafka服务器生成消息时出现容器化的Kafka客户端错误

猜你在找的Docker相关文章