发表于 | 更新于 | 分类于 | 评论数：

命令行根据archetype创建项目 mvn archetype:generate mvn archetype:generate -X debug模式 mvn archetype:generate -DarchetypeCatalog=internal 本地模式 <!-- more --> ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

spark.shuffle.file.buffer 默认值：32k 参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到磁盘。 调优建议：如果作 ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What ? sparksql 内存列存储 字节码生成技术CG hive on spark 底层spark执行 hive做 存储和sql解析优化 spark on hive spark做 sql 优化和执行 hive做存储 <!-- more --> sparksq ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

what Redis 是一个开源(BSD 许可)的，内存中的数据结构存储系统， 它可以用作数据库、缓存和消息中间件。拥有丰富的支持主流语言的 客户端，C、C++、Python、Erlang、R、C#、Java、PHP、Objective- C、Perl、Ruby、Scala、Go、JavaScrip ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What 将关系数据库 oracle ,mysql,ostgresql 和hadoop 数据进行转换的工具 版本 sqoop1 :1.4.x 使用最多 sqoop2: 1.99.x 同类产品 DataX 阿里顶级数据交换工具 Where http://sqoop.apache.org Wh ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

背景 我的hadoop先配置的普通模式启动测试没问题，后来改为HA高可用模式，启动没有问题，进程都在，50070端口访问显示正常，Namenode节点active，secondnamenode节点standby，通过网址http://sj-node1:50070/explorer.html#/访问也 ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What Flume 海量日志收集框架 分布式 可扩展 可靠 高可用 0.9x 的架构 OG 单点故障问题,使用zookeeper高可用 1.0x 的架构 NG Agent 由source、channel、sink三大组件组成，如图： source 采集 从Client收集数据， ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What Hive起源于Facebook，它使得针对Hadoop进行SQL查询成为可能，从而非程序员也可以方便地使用。 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点 ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

现象 直接点击餐单，后不点击查询按钮，在点击翻页按钮，没有问题 <!-- more --> 如果点击查询按钮后，再点击 翻页按钮，页面刷新不翻页 开始调试 打开chrome开发模式查看网络请求 正常情况（未点击查询按钮） 点击菜单 - 点击下页按钮 异常 ...

阅读全文 »