storm进阶之drpc
What? DRPC (Distributed RPC) – 分布式远程过程调用 DRPC 是通过一个 DRPC 服务端(DRPC server)来实现分布式 RPC 功能的。 <!-- more --> DRPC Server 负责接收 RPC 请求,并将该请求发送到 Storm中运行 ...
如何保证消息队列的高可用和幂等性以及数据丢失,顺序一致性[转]
如何保证消息队列的高可用和幂等性以及数据丢失,顺序一致性 <!-- more --> RabbitMQ的高可用性 RabbitMQ是比较有代表性的,因为是基于主从做高可用性的,我们就以他为例子讲解第一种MQ的高可用性怎么实现。 rabbitmq有三种模式: 单机模式 普通集群模式 镜像 ...
IT圈里难读的单词发音
What? 记录遇到的难读的易读错的单词发音 <!-- more --> 单词 音标 发音 Youtube (You-tube [tju:b]) 念 优tiu啵 不念 优吐毙 Skype [ˈskaɪp] 念 死盖破 不念 死盖屁 Adobe [əˈdəʊbi] 念 ...
Hadoop体系所有组件默认端口列表
Why? Hadoop集群组件太多,默认端口无法记住,有时候需要查看,就在这里罗列下 这里包含我们使用到的组件:HDFS, YARN, Hbase, Hive, ZooKeeper。 <!-- more --> What? 端口 作用 9000 fs.defaultFS ...
mac+idea+gradle搭建Hadoop开发环境
What? 使用mac os 系统,不用eclipse,不用maven,而是使用idea 和 gradle 来搭建开发环境 <!-- more --> How? mac 上安装gradle brew install gradle mac 上安装 idea brew cas ...
workflow实现csv2json
What? 将csv文件内容按照要求转换成json格式 下载地址 Where? 写博客的时候用到图表,需要json格式的原始数据 Why? 本博客中的 知识图谱 和 书单 是长期维护的,采用的是百度开源的图表框架echarts,配合hexo的插件hexo-tag-echarts3,需要的是 ...