windows下通过idea连接hadoop和spark集群
###windows下链接hadoop集群 1、假如在linux机器上已经搭建好hadoop集群 2、在windows上把...
hadoop2.7+spark2.2+zookeeper3.4.简单安装
1、zookeeper的安装##配置/etc/hosts192.168.88.130 lgh192.168.88.131 lgh1192.168.88.13...
flink 1.7.2 安装详解
##flink 1.7.2 安装需要java环境 下载地址 https://flink.apache.org/downloads.html#1、单...
cloudera manager server迁移
一、迁移背景 服务器出了问题，导致整个cm server界面呈现出不可用的状态，也就是获取不到...
hadoop2.7作业提交详解之文件分片 hadoop2.7之作业提交详解（上）
在前面一篇文章中（hadoop2.7之作业提交详解（上））中涉及到文件的分片。 JobSubmitter.s...
hadoop2.7之作业提交详解（上） hadoop2.7之作业提交详解（下）
根据wordcount进行分析： 这上面是个简单wordcount的代码，这里就不一一说明了，我们首先看...
线上Kafka突发rebalance异常，如何快速解决？
文章首发于 "【陈树义的博客】" ，点击跳转到原文 "《线上Kaf...
Kafka基础系列第2讲：Kafka技术架构剖析
使用过 Kafka 框架的朋友都知道，启动 Kafka 框架只需要两个关联的组件，分别是：Zookeepe...
Kafka基础系列第1讲：Kafka的诞生背景及应用
Kafka 是由 LinkedIn 开发的一个分布式的消息系统，使用 Scala 编写，它以可水平扩展和高吞...
5分钟带你了解Kafka的技术架构
大家都知道 Kafka 是一个非常牛逼的消息队列框架，阿里的 RocketMQ 也是在 Kafka 的基础上...
Dubbo2.7源码分析-SPI的应用
SPI简介 SPI是Service Provider Interface的缩写，即服务提供接口(翻译出来好绕口,还是不翻...
Dubbo2.7源码分析-如何发布服务
Dubbo的服务发布逻辑是比较复杂的，我还是以Dubbo自带的示例讲解，这样更方便和容易理解。...
第4章:YARN
Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源管理系统。YARN是在Ha...
Cloudera Manager及CDH最新版本安装全程记录
大家都知道，Apache Hadoop的配置很繁琐，而且很零散，为此Cloudera公司提供了Clouder Man...
第3章:Hadoop分布式文件系统(2)
数据流 读取文件数据的剖析 为了知道客户端与HDFS，NameNode,DataNode交互过程中数据的流向...
第3章:Hadoop分布式文件系统(1)
当数据量增大到超出了单个物理计算机存储容量时，有必要把它分开存储在多个不同的计算机中...
Hive1.1.0中一个BUG的记录分析
最近在工作中，使用CASE WHEN语句的时候，总是出现异常，查看日志是由于数组超界。不知所以...
Hive学习之Locking
众所周知，数据库必须要能够支持并发。无论在任何时候，允许同一时刻，多个用户能够同时读...
第2章:MapReduce
MapReduce是一个数据处理的编程模型。这个模型很简单，但也不是简单到不能够支持一些有用的...
Hive中自定义Map/Reduce示例 In Python
Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。使用Pyt...
Agile, CI/CD,DevOps
随着DevOps理念的普及与扩散，可能会被一大堆名字概念搞的莫名其妙，理清它们之间的关系可...
你还不了解DevOps? 看这篇就够了
最近几年"DevOps"这个关键词经常出现在项目开发当中，特别是随...
你准备好开始DevOps了吗？
前面一章节我们已经了解了Agile,CI/CD,DevOps，作为DevOps的起点，对于一个团队，如何开始...
DevOps-实践心得
基于最近几年从事与DevOps的相关实践，对这篇文章的观点深有体会，所以记录在这里。加粗部...
运用循环一致性对抗神经网络进行非配对图片翻译：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
运用循环一致性对抗神经网络进行非配对图片翻译：Unpaired Image-to-Image Translation us...
区块链大数据图像处理DevOpsKafkaSparkDubbo