Redis底层数据结构,SortedSet怎么实现排序的？
Redis的五种基本类型，string、hash、set、zset、list,其底层的数据结构不同的类型有不同的实现string的实现int+sdslist的实现ziplist(元素数量小于512，所有字符串元素都小于64字节)+双向链表(其他情况)hash的实现ziplist(元素数量小于512，所有字符串元素都小于64字节)+哈希表(其他情况)set的实现inset(元素数量小于512,所有元素都是整数)+哈希表(其他情况)zset实现ziplist(元素数量小于128，所有元素长
大数据关键词 ：Redis底层数据结构
1663
2022-10-08
Kafka消息投递语义
消息投递语义1.至少一次语义(Atleastoncesemantics)：如果生产者收到了Kafkabroker的确认(acknowledgement，ack)，并且生产者的acks配置项设置为all(或-1)，这就意味着消息已经被精确一次写入Kafkatopic了。然而，如果生产者接收ack超时或者收到了错误，它就会认为消息没有写入Kafkatopic而尝试重新发送消息。如果broker恰好在消息已经成功写入Kafkatopic后，发送ack前，出了故障，生产者的重试机制就会导致这条消息被写入Kafka两次，从而导致同样的消息
大数据关键词 ：Kafka消息投递语义1806
2022-08-29
Kafka数据堆积怎么解决
1.如果是Kafka吞吐能力不足，则可以考虑增加topic的partition的个数，同时提升消费者组的消费者数量2.若是下游数据处理不及时，单词poll的数量过少(拉取数据/处理时间<生产速度)，处理数据的速度小于生产的数据速度，造成数据积压，则提高每批次拉取的数量。3.如果下游计算逻辑逻辑复杂耗时，造成反压，可以增加下游算子并行度#上述只是一些例子，引起数据积压的场景很多，总之根据积压造成的原因选择合适的方式更多关于“
大数据关键词 ：Kafka数据1736
2022-08-29
Kafka数据延迟怎么解决(已经堆积的情况)
首先要明确是什么原因造成的数据延迟，比如Flink消费Kafka下游算子计算速度跟不上，反压引起数据延迟，那就考虑增加下游算子的并行度。由于离线作业和实时作业调度到(Yarn)同一台机器，机器负载过高，造成实时作业在该机器上的任务执行速度跟不上，造成kafka数据延迟。可以将机器打上yarnLabel，实时作业只调度到实时节点。如果不划分lable，尤其当晚上离线作业大批量启动时，很容易造成这个问题。更多关于“
大数据关键词 ：Kafka数据延迟1799
2022-08-29
Kafka幂等性
Producer的幂等性指的是当发送同一条消息时，数据在Server端只会被持久化一次，数据不丟不重，但是这里的幂等性是有条件的：1)只能保证Producer在单个会话内不丟不重，如果Producer出现意外挂掉再重启是无法保证的(幂等性情况下，是无法获取之前的状态信息，因此是无法做到跨会话级别的不丢不重)。2)幂等性不能跨多个Topic-Partition，只能保证单个Partition内的幂等性，当涉及多个Topic-Partition时，这中间的状态并没有同步。更多关于“<
大数据关键词 ：Kafka幂等性1772
2022-08-29