发表于 | 更新于 | 分类于 | 评论数：

有用的项目收集整理 名称 描述 类型 地址 JavaHost 使用虚拟DNS省掉开发环境配置hosts文件 Jar DJNativeSwing Java内置浏览器 Jar Highcharts 图表 Html/CSS http://www.hcharts.cn ECha ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What 非关系型数据库 高可靠性 高性能 面向列 可伸缩 实时读写 分布式 对比 关系型数据库的优点 容易理解 使用方便 易于维护 关系型数据库的瓶颈 高并发读写需求 海量数据的读写性能低 扩展性和可用性差 数据库模型 row key 不能重复 字典顺序排序 只能存储 ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What ? Apache Spark 一站式处理方案 sql 离线计算 实时流 机器学习 图计算 <!-- more --> One stack rule them all stream processiong 流式计算 ad hoc queries 热查询 batch pr ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What ? 函数式编程（erlang，也是） 基于jvm 面向函数的编程语言 运行于JVM,与java代码混编 类型推测(自动推测类型) 并发和分布式(Actor) 特质，特征(类似 java 中 interfaces 和 abstract 结合) 模式匹配(类似 java switch 高阶函 ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What 已有的数据 某种模型 利用此模型预测未来 机器学习界“数据为王”思想 历史 Python R 第一代工具 单机 Mahaout MR 第二代工具 分布式 Spark MLlib 第三代工具 分布式 迭代 H2O Flink 历史总是惊人的相似 体现 计算：云计算 推理：专家系 ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What 分布式离线计算框架 MapReduce On YARN：MRv2 移动计算而不是移动数据 一主多从架构 JobTracker TaskTracker NameNode DateNode ResourceManager 负责整个集群的资源管理和`调度 container 一个c ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What Hadoop 2.x由HDFS、MapReduce和YARN三个分支构 HDFS：分布式文件存储系统； YARN：资源管理系统 MapReduce：运行在YARN上的MR； Hadoop 2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存 ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What? Hadoop 生态 来自于 Google 03 年发布 3 大论文， GFS、mapreduce、Bigtable ;Dougcutting 用 Java 实现) HDFS: Hadoop Distributed File System 分布式存储系统 http://hadoop. ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

What? 保证分布式数据一致性 配置维护 域名服务 分布式同步 组服务 分布式锁 paxos 一致性协议 拜占庭将军问题 zab zookeeper atom broadcast 奇数个可以防止脑裂 dubbo <!-- more --> 角色 leader fol ...

阅读全文 »

发表于 | 更新于 | 分类于 | 评论数：

新建虚拟机后启动， <!-- more --> ifconfig 无ip vi /etc/sysconfig/network-scripts/ifcfg-eth0 service network restart 如果不能解析域名则 route add defaul ...

阅读全文 »