首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。

Kafka怎么避免重复消费

IT大咖说

通过kafka以上的措施,当消费者消费数据时,每隔一段时间会将自己消费过的消息的 offset 提交一下,表示“我已经消费过了,下次我要是重启啥的,你就让我继续...

1900

ClickHouse 连接多 Kerberos-aware Kafka 集群

charmer

腾讯科技(深圳)有限公司 · 测试开发工程师 (已认证)

ClickHouse 可以通过 KafkaEngine 拉取 Kafka 数据,在 DDL 中指定:[1]

5410

主流的Kafka监控框架

wayn

安徽省刀锋网络科技有限公司 · 后台开发 (已认证)

令人有些遗憾的是,Kafka社区似乎一直没有在监控框架方面投入太多的精力。目前,Kafka的新功能提议已超过500个,但没有一个提议是有关监控框架的。当然,Ka...

9210

MQ消息积压,把我整吐血了

苏三说技术

我之前在一家餐饮公司待过两年,每天中午和晚上用餐高峰期,系统的并发量不容小觑。为了保险起见,公司规定各部门都要在吃饭的时间轮流值班,防止出现线上问题时能够及时处...

8110

监控 Kafka,这 10 个指标请考虑!

jinjunzhu

使用消息队列可以帮助我们实现系统解耦、流量管控等功能。但使用过程中可能会遇到各种各样的问题,比如系统资源使用率高、集群节点宕机等,进而影响我们生产业务正常开展。...

12810

从 MySQL 到 ClickHouse 实时数据同步 —— Debezium + Kafka 表引擎

用户1148526

本文介绍从 MySQL 作为源到 ClickHouse 作为目标的整个过程。MySQL 数据库更改通过 Debezium 捕获,并作为事件发布在...

17010

Kafka原理解析及与spring boot整合步骤

用户7353950

Apache Kafka是一款开源的分布式消息发布订阅系统,它以其高吞吐量、低延迟、可扩展性以及持久性等特点,在大数据处理和流式计算领域扮演着重要角色。以下是K...

20910

使用SQL查询Apache Kafka

云云众生s

数据用户长期以来一直寻求直接在 Kafka 中查询数据的途径,而我们正接近于通过 SQL 找到这种缺失的魔力。

9210

kraft单机安装kafka无需安装zookeeper(Kafka2.8版本之后支持)

九转成圣

官网地址: http://kafka.apache.org/downloads.html

10010

kafka_2.11-2.4.1单机安装

九转成圣

官网地址: http://kafka.apache.org/downloads.html

10710

注意:Kafka 的这 6 个场景会丢失消息!

jinjunzhu

Producer 异步发送是丢失消息比较多的场景,Kafka 异步发送的代码如下:

10210

Kafka 3.3 使用 KRaft 共识协议替代 ZooKeeper

Spark学习技巧

环数科技有限公司 · 数据库开发工程师 (已认证)

Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft(Kafka Raft)共识协议的版...

18710

0915-7.1.7-Kafka Connectors for SAP HANA测试

Fayson

选择一台kafka客户端节点,将kafka-connector-hana_2.12-0.9.5-SNAPSHOT.jar放到kafka客户端节点的/var/li...

14610

常用消息队列 Kafka、RabbitMQ、RocketMQ、ActiveMQ 综合对比(18个方面)

猫头虎

分区首领均匀地分布在不同的kafka服务器上,分区副本也均匀地分布在不同的kafka服务器上,所以每一台kafka服务器既含有分区首领,同时又含有分区副本,每一...

11710

2022 最新 Kafka 面试题

猫头虎

bin/kafka-topics.sh --list --zookeeper localhost:2181

7310

mac下搭建kafka

蒙古上单2

如果有--from-beginning,则会从队列头开始拉出全部内容。如果不加,则仅从启动后拉取新的消息。

7310

我开源了一个Kafka GUI!

崩天的勾玉

春节无聊,在家写了这么一个kafka客户端(叫Kafka King),用来连接、操作kafka集群,也算填补了市面上的空白(据我所知这块还没有啥特别好用的)。

8910

Kafka 与 RabbitMQ:选择正确的消息传递代理

wayn

安徽省刀锋网络科技有限公司 · 后台开发 (已认证)

Kafka 的架构由三个主要组成部分组成:生产者、代理和消费者。生产者向 Kafka 主题发布消息,代理负责在 kafka 集群中存储和复制数据。消费者从一个或...

16711

Kafka 集群部署

Freedom123

?? ?kafka单机和集群命令操作有少许不同,不过只要理解了kafka单机命令,集群的自然而然就熟悉了

9610

Kafka 单机部署

Freedom123

Kafka 单机部署区分集成Zookeeper 部署和Zookeeper + Kafka 部署俩总方式,如果是单机部署Kafka,集成Zookeeper 最简单...

7910
领券


http://www.vxiaotou.com