摘要: Hadoop++是对Hadoop Map Reduce的非入侵式优化，通过自定义Hadoop框架中的split等函数来提升，提升查询和联接性能。项目由德国Saarland大学Jens Dittrich教授主持。项目主页是 http://infosys.uni-saarland.de/hadoop++.PHP。阅读全文

posted @ 2013-01-23 17:20风生水起阅读(115) | 评论 (0) （转）Mahout使用入门

摘要: Mahout使用入门阅读全文

posted @ 2013-01-22 20:38风生水起阅读(3062) | 评论 (0) （转）带索引的mapReduce

摘要: 带索引的mapReduce 阅读全文

posted @ 2013-01-22 20:22风生水起阅读(103) | 评论 (0) （转）深度分析如何在Hadoop中控制Map的数量

摘要: 深度分析如何在Hadoop中控制Map的数量阅读全文

posted @ 2013-01-22 16:32风生水起阅读(506) | 评论 (0) （转） lucene索引结构改进-支持单机十亿级别的索引的检索

摘要: lucene索引结构改进-支持单机十亿级别的索引的检索阅读全文

posted @ 2013-01-22 16:14风生水起阅读(622) | 评论 (1) 深入了解Hive Index具体实现

摘要: 深入了解Hive Index具体实现阅读全文

posted @ 2013-01-22 12:20风生水起阅读(2043) | 评论 (0) （转）Hive Index

摘要: hive index 阅读全文

posted @ 2013-01-21 20:39风生水起阅读(301) | 评论 (0) Mapreduce-Partition分析

摘要: Mapreduce-Partition分析阅读全文

posted @ 2013-01-21 17:28风生水起阅读(1137) | 评论 (0) （转）对实时分析与离线分析的思考（二）

摘要: 对实时分析与离线分析的思考阅读全文

posted @ 2013-01-18 18:28风生水起阅读(135) | 评论 (0) Hadoop实战-中高级部分之 Hadoop MapReduce高级编程

摘要: Hadoop实战-中高级部分之 Hadoop MapReduce高级编程阅读全文

posted @ 2013-01-18 17:48风生水起阅读(677) | 评论 (1) MapReduce:详解Shuffle过程

摘要: MapReduce:详解Shuffle过程阅读全文

posted @ 2013-01-18 10:46风生水起阅读(205) | 评论 (0) Bloom Filter算法及应用

摘要: Bloom Filter算法及应用阅读全文

posted @ 2013-01-17 09:59风生水起阅读(758) | 评论 (0) hive array、map、struct使用

摘要: hive array、map、struct使用阅读全文

posted @ 2013-01-17 09:27风生水起阅读(1594) | 评论 (0) MapReduce:默认Counter的含义

摘要: MapReduce:默认Counter的含义阅读全文

posted @ 2013-01-16 15:09风生水起阅读(152) | 评论 (0) hive join

摘要: hive join 阅读全文

posted @ 2013-01-16 11:11风生水起阅读(356) | 评论 (0) Hive优化总结（转）

摘要: Hive优化总结（转）阅读全文

posted @ 2013-01-15 16:31风生水起阅读(1896) | 评论 (0) hive的multi-distinct可能带来性能恶化

摘要: hive的multi-distinct可能带来性能恶化阅读全文

posted @ 2013-01-15 16:25风生水起阅读(102) | 评论 (0) HIVE技巧总结

摘要: HIVE技巧总结阅读全文

posted @ 2013-01-15 16:24风生水起阅读(98) | 评论 (0) hive bucket

摘要: hive bucket 阅读全文

posted @ 2013-01-09 10:33风生水起阅读(993) | 评论 (0) hive利器自定义UDF+重编译hive

摘要: hive利器自定义UDF+重编译hive 阅读全文

posted @ 2013-01-07 18:04风生水起阅读(429) | 评论 (0) Hadoop相关的考题

摘要: Hadoop相关的考题阅读全文

posted @ 2013-01-05 19:13风生水起阅读(435) | 评论 (0) 大数据总结 (zz)

摘要: 大数据总结: 数据传输、数据存储、数据计算、数据展现、数据开发平台、数据应用市场阅读全文

posted @ 2012-12-24 19:38风生水起阅读(536) | 评论 (0) hive 初始化运行流程

摘要: hive 初始化运行流程阅读全文

posted @ 2012-12-19 17:59风生水起阅读(1521) | 评论 (0) Eclipse调试HIVE JDBC程序

摘要: Eclipse调试HIVE JDBC程序阅读全文

posted @ 2012-12-19 17:28风生水起阅读(635) | 评论 (0) Hadoop中mapred包和mapreduce包的区别

摘要: Hadoop中mapred包和mapreduce包的区别阅读全文

posted @ 2012-12-14 14:37风生水起阅读(810) | 评论 (0) hbase MapReduce程序样例入门

摘要: hbase MapReduce程序样例入门阅读全文

posted @ 2012-12-12 16:05风生水起阅读(2837) | 评论 (0) Ganglia：分布式监控系统

摘要: Ganglia：分布式监控系统阅读全文

posted @ 2012-12-07 14:16风生水起阅读(550) | 评论 (0) html调用hadoop WebHDFS REST API

摘要: html调用hadoop WebHDFS REST API 阅读全文

posted @ 2012-12-06 15:02风生水起阅读(1646) | 评论 (0) Resources of Studying Hadoop

摘要: Studying Hadoop or MapReduce can be a daunting task if you get your hand dirty at the start. I followed the schedule as follows : 阅读全文

posted @ 2012-12-05 15:34风生水起阅读(63) | 评论 (1) 推荐相关

摘要: 个性化推荐的成功应用需要两个条件。第一是信息过载，第二是用户大部分时候没有特别明确的需求。阅读全文

posted @ 2012-11-28 16:40风生水起阅读(26) | 评论 (0) Hadoop Eclipse Plugin相关

摘要: 安装Hadoop Eclipse Plugin（见其他网页）。hadoop 0.20.2下eclipse plugin “run on hadoop” 不起作用的解决方法Hadoop Eclipse Plugin默认会以本地文件的方式执行（无法找到hadoop conf目录），这是任务也不能在50030界面下看到。如果想将任务提交到HDFS文件系统，需要将hadoop的conf目录加入到项目的class path，同时需要将项目的输出目录加入到hadoop的classpath中。阅读全文

posted @ 2012-11-23 14:49风生水起阅读(70) | 评论 (0) hadoop 0.20.2下eclipse plugin “run on hadoop” 不起作用的解决方法

摘要: hadoop 0.20.2下eclipse plugin “run on hadoop” 不起作用的解决方法阅读全文

posted @ 2012-11-22 16:40风生水起阅读(415) | 评论 (0) 远程调试Hadoop（转）

摘要: 远程调试Hadoop 阅读全文

posted @ 2012-11-21 19:49风生水起阅读(1118) | 评论 (0) Hadoop实战第四章--读书笔记

摘要: Hadoop实战第四章--读书笔记阅读全文

posted @ 2012-11-20 18:08风生水起阅读(645) | 评论 (0) Hadoop源码分析

摘要: 当前问题：input file 如何split？与inputformat有什么关系？多个reduce输出多个文件，这多个文件如何在HDFS中存储，每个输出文件作为HDFS中的文件吗？会不会太小了？HIVE执行结果是返回一个文件，是HIVE自己把文件合并的吗？map-reduce如何确定map和reduce任务的个数的？根据输入文件的大小？map执行完之后的临时文件是写在本地还是写到特定的服务器上？今天在看inputformat这块，目前对于输入文件的split部分还没有理清楚，很多代码不知道具体作用，看来需要架起环境来单步调试一下。阅读全文

posted @ 2012-11-16 17:53风生水起阅读(98) | 评论 (0) hadoop常见配置含义备忘录

摘要: hadoop常见配置含义备忘录阅读全文

posted @ 2012-10-30 18:18风生水起阅读(173) | 评论 (0) Hadoop/HIVE错误解决方案汇总

摘要: Hadoop错误解决方案汇总阅读全文

posted @ 2012-10-26 14:56风生水起阅读(3663) | 评论 (0) HiveQL学习

摘要: HiveQL学习阅读全文

posted @ 2012-10-12 16:34风生水起阅读(300) | 评论 (0) Hive UDAF开发

摘要: Hive UDAF开发阅读全文

posted @ 2012-10-12 16:30风生水起阅读(1072) | 评论 (0) Hive UDF开发

摘要: Hive UDF开发阅读全文

posted @ 2012-10-12 16:29风生水起阅读(1442) | 评论 (0) 编译Hive/Hadoop总结

摘要: 编译Hive/Hadoop总结1. 首先要看readme文件，根据说明来编译；2. 首先在命令行确保可以编译打包成功，然后执行anteclipse-files生成针对eclipse的文件，然后就可以导入到eclipse里了（具体见http://blog.csdn.net/shuhuai007/article/details/6739847）3. 修改编译环境HADOOP_HOME的值（Run-->Debug Configuration-->Environment，修改HADOOP_HOME的值）；IDE：netbeans可以建立maven项目，加入tar包，通过maven下载代码；阅读全文

posted @ 2012-10-09 18:26风生水起阅读(993) | 评论 (0) IVY教程

摘要: IVY教程阅读全文

posted @ 2012-10-04 23:52风生水起阅读(775) | 评论 (0) Hive环境搭建与入门（转）

摘要: 作为JAVA的初学者折腾了很久，试了代理服务器等方法，最终发现了这片文章，楼主总结的很不错！阅读全文

posted @ 2012-10-04 23:46风生水起阅读(1180) | 评论 (0) MangoDB使用总结

摘要: MangoDB使用总结 MangoDB的优点： MangoDB性能注意事项：阅读全文

posted @ 2012-09-29 15:46风生水起阅读(1045) | 评论 (0) HIVE Thrift Server使用总结

摘要: 因为报表前端用dot NET MVC写的，要想从HIVE中获取详细数据，目前的方案是使用hive thriftserver。 1. 生成HIVE Thrift对应的C#类文件阅读全文

posted @ 2012-09-13 18:19风生水起阅读(3109) | 评论 (2) hadoop hive安装手记（转）

摘要: hadoop hive安装手记阅读全文

posted @ 2012-09-06 17:50风生水起阅读(463) | 评论 (0) 使用Thrift RPC编写程序zz

摘要: 本文以C++语言为例介绍了thrift RPC的使用方法，包括对象序列化和反序列化，数据传输和信息交换等。本文采用了一个示例进行说明，该示例主要完成传输（上报日志或者报表）功能，该示例会贯穿本文，内容涉及thrift定义，代码生成，thrift类说明，client编写方法，server编写方法等。关于Thrift架构分析，可参考：Thrift架构介绍。关于Thrift文件编写方法，可参考：Thrift使用指南。阅读全文

posted @ 2012-09-05 18:05风生水起阅读(745) | 评论 (0) Thirft框架介绍zz

摘要: Thirft框架介绍阅读全文

posted @ 2012-09-03 17:46风生水起阅读(60) | 评论 (0) java实现Hbase中的查询（一）Filter方式

摘要: java实现Hbase中的查询（一）Filter方式阅读全文

posted @ 2012-08-23 14:57风生水起阅读(2629) | 评论 (1) hbase基本概念和hbase shell常用命令用法

摘要: hbase基本概念和hbase shell常用命令用法阅读全文

posted @ 2012-08-23 14:56风生水起阅读(11293) | 评论 (2) MySQL向Hive/HBase的迁移工具

摘要: MysqL向Hive/HBase的迁移工具阅读全文

posted @ 2012-08-21 17:51风生水起阅读(1621) | 评论 (1) (转)HBase二级索引与Join

摘要: HBase二级索引与Join 阅读全文

posted @ 2012-08-21 11:34风生水起阅读(387) | 评论 (0) HadoopDB

摘要: HadoopDB 阅读全文

posted @ 2012-08-17 16:53风生水起阅读(98) | 评论 (0) Greenplum技术浅析

摘要: Greenplum技术浅析阅读全文

posted @ 2012-08-17 16:23风生水起阅读(496) | 评论 (0) 从数据仓库系统对比看Hive发展前景

摘要: 从数据仓库系统对比看Hive发展前景阅读全文

posted @ 2012-08-17 16:08风生水起阅读(337) | 评论 (0) 超详细在Ubuntu下安装JDK图文解析

摘要: 超详细在Ubuntu下安装JDK图文解析阅读全文

posted @ 2012-08-13 16:43风生水起阅读(78) | 评论 (0) 超详细单机版搭建hadoop环境图文解析

摘要: 超详细单机版搭建hadoop环境图文解析阅读全文

posted @ 2012-08-13 16:42风生水起阅读(3065) | 评论 (1) Hadoop的安装与配置及示例程序wordcount的运行

摘要: Hadoop的安装与配置及示例程序wordcount的运行阅读全文

posted @ 2012-08-13 13:55风生水起阅读(1175) | 评论 (0) 如何使用Python为Hadoop编写一个简单的MapReduce程序

摘要: 如何使用Python为Hadoop编写一个简单的MapReduce程序阅读全文

posted @ 2012-08-13 12:19风生水起阅读(3701) | 评论 (3) MongoDB Hadoop Connector发布

摘要: MongoDB Hadoop Connector发布阅读全文

posted @ 2012-08-10 18:03风生水起阅读(887) | 评论 (0) Mongodb亿级数据量的性能测试zz

摘要: Mongodb亿级数据量的性能测试阅读全文

posted @ 2012-08-08 16:23风生水起阅读(144) | 评论 (0) Hadoop权威指南--读书笔记

摘要: Hadoop权威指南--读书笔记阅读全文

posted @ 2012-08-07 15:34风生水起阅读(148) | 评论 (0) hadoop资料整理zz

摘要: hadoop资料整理阅读全文

posted @ 2012-07-18 20:32风生水起阅读(251) | 评论 (0) MongoDB资料汇总zz

摘要: MongoDB资料汇总阅读全文

posted @ 2012-07-18 20:25风生水起阅读(808) | 评论 (0) HIVE 数据倾斜调优总结zz

摘要: HIVE 数据倾斜调优总结阅读全文

posted @ 2012-06-19 11:49风生水起阅读(1153) | 评论 (0) hive 中转义符使用问题

摘要: hive 中转义符使用问题阅读全文

posted @ 2012-06-18 16:34风生水起阅读(375) | 评论 (0) hive QL（HQL）简明指南zz

摘要: hive QL（HQL）简明指南阅读全文

posted @ 2012-06-18 15:55风生水起阅读(3419) | 评论 (0) @L_213_301@

摘要: hive函数参考手册阅读全文

posted @ 2012-06-18 15:54风生水起阅读(33877) | 评论 (1) Python 常用代码片段

摘要: Python 常用代码片段阅读全文

posted @ 2012-06-01 17:50风生水起阅读(86) | 评论 (0) 数据库:mongodb与关系型数据库相比的优缺点zz

摘要: 数据库:mongodb与关系型数据库相比的优缺点阅读全文

posted @ 2012-04-25 18:06风生水起阅读(4092) | 评论 (0) zz写好Hive 程序的五个提示

摘要: 写好Hive 程序的五个提示阅读全文

posted @ 2012-04-18 20:45风生水起阅读(819) | 评论 (0) Python中字符串与字典间转换

摘要: Python中字符串与字典间转换阅读全文

posted @ 2012-03-30 20:23风生水起阅读(578) | 评论 (0) Redis几个认识误区zz

摘要: Redis几个认识误区阅读全文

posted @ 2012-03-14 18:12风生水起阅读(57) | 评论 (0) 较好的数据分析软件

摘要: 较好的数据分析软件阅读全文

posted @ 2012-03-12 18:21风生水起阅读(320) | 评论 (0) 不要迷信数据

摘要: 不要迷信数据阅读全文

posted @ 2012-03-12 17:17风生水起阅读(205) | 评论 (1) 广义数据分析的三个方向

摘要: 广义数据分析的三个方向阅读全文

posted @ 2012-03-12 17:03风生水起阅读(216) | 评论 (0) Google Megastore分布式存储技术全揭秘zz

摘要: Google Megastore分布式存储技术全揭秘阅读全文

posted @ 2012-02-29 21:03风生水起阅读(1141) | 评论 (0) 大数据下的数据分析平台架构zz

摘要: 随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。作为一家互联网数据分析公司，我们在海量数据的分析领域那真是被“逼上梁山”。多年来在严苛的业务需求和数据压力下，我们几乎尝试了所有可能的大数据分析方法，最终落地于Hadoop平台之上。 Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。本文主要介绍一种基于Hadoop平台的多维分析和数据挖掘平台架构。阅读全文

posted @ 2012-02-05 17:41风生水起阅读(704) | 评论 (1) 倒排索引

摘要: 倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted file)。用途倒排文件（倒排索引），索引对象是文档或者文档集合中的单词等，用来存储这些单词在一个文档或者一组文档中的存储位置，是对文档或者文档集合的一种最常用的索引机制。原理 Lucene倒排索引原理 Lucene是一个高性能的java全文检索工具包，它使用的是倒排文件索引结构。... 阅读全文

posted @ 2012-01-09 14:26风生水起阅读(145) | 评论 (1) NewSQL体系比Hadoop更具效率

摘要: Newsql体系比Hadoop更具效率阅读全文

posted @ 2011-10-19 10:04风生水起阅读(4162) | 评论 (0) 利用memcached构建高性能的Web应用程序（转）

摘要: 利用memcached构建高性能的Web应用程序阅读全文

posted @ 2011-06-03 18:54风生水起阅读(158) | 评论 (0) 十道海量数据处理面试题与十个方法大总结(ZZ)

摘要: 十道海量数据处理面试题与十个方法大总结阅读全文

posted @ 2011-06-01 17:23风生水起阅读(194) | 评论 (0) 软件系统开发中的数据交换协议

摘要: 软件系统开发中的数据交换协议阅读全文

posted @ 2011-05-21 11:53风生水起阅读(69) | 评论 (0) MySQL与NoSQL——SQL与NoSQL的融合

摘要: MysqL与Nosql——sql与Nosql的融合阅读全文

posted @ 2011-05-21 11:53风生水起阅读(122) | 评论 (0) 深入 Facebook 消息应用服务器

摘要: 深入 Facebook 消息应用服务器阅读全文