经常重复的是,大数据问题是关系数据库无法扩展以处理现在正在创建的大量数据.
但是,像Hadoop这样的大数据解决方案不受约束的这些可扩展性限制是什么？为什么Oracle RAC或MySQL分片或MPD RDBMS不能像Teradata(等)那样实现这些功能？
我对技术限制感兴趣 – 我知道集群RDBMS的财务成本可能过高.
解决方法
MS刚在荷兰有一个
tech talk,他们讨论了一些这样的东西.它开始缓慢,但在20分钟左右进入Hadoop的肉.
它的要点是“它取决于”.如果你有一个合理安排的(至少在某种程度上)易于分区的数据集(至少在某种程度上)是同构的,那么使用RDBMS扩展到那些高数据量应该相当容易,这取决于你正在做什么.
Hadoop和MR似乎更适合于您被迫进行大型分布式数据扫描的情况,特别是当这些数据不一定像我们在RDBMS世界中发现的那样是同构的或结构化的时候.
大数据解决方案有哪些限制？对我而言,他们不受约束的最大限制是必须提前制定严格的架构.使用大数据解决方案,您现在可以将大量数据存入“框”,并在以后为查询添加逻辑,以解决数据缺乏同质性问题.从开发人员的角度来看,权衡是项目前端的易于实施和灵活性,而不是复杂性查询和不太直接的数据一致性.
