大数据

共 35 篇文章。返回 全部标签。

大数据03

数据立方体和OLAP

关于数据立方体(Data Cube),这里必须注意的是数据立方体只是多维模型的一个形象的说法。立方体其本身只有三维,但多维模型不仅限于三维模型,可以组合更多的维度,但一方面是出于更方便地解释和描述,同时也是给思维成像和想

大数据OLAP
2017-03-044 分钟
大数据04

mac osx单机上安装apache-kylin

最近开始调研apachekylin,关于kylin的介绍往上有很多,本文就不再过多介绍,只讲述如何在mac osx配置测试用的kylin环境。 需要安装及部署的软件包括:hadoop,mysql,hive,zookeep

大数据Kylin
2017-03-035 分钟
大数据07

HBase文件格式演变之路

本文详细介绍了HBase从0.20版本到当前版本的存储引擎演变过程,包括MapFile、HFile V1、HFile V2及HFile V3的不同特点与改进,帮助读者理解HBase如何实现随机读写及低延迟访问。

大数据HBase
2014-10-246 分钟
大数据08

hbase 官方文档

我们团队已着手翻译HBase官方文档,并已完成部分章节。欢迎对HBase感兴趣的朋友加入我们的翻译行列,共同推进中文版文档的更新。

大数据HBase
2014-09-291 分钟
大数据11

HBase备份之导入导出

本文介绍了如何使用HBase的导入导出功能来备份历史数据。首先,通过特定命令将HBase表数据导出到hdfs目录,然后在确保模式相同的前提下,将数据导入到新的或已存在的HBase表中,实现历史数据的备份。

大数据HBase
2014-08-114 分钟
大数据13

Hadoop 2.2.0 HA配置

本文详细介绍了如何在Ubuntu和CentOS环境下配置Hadoop 2.2.0的高可用性(HA)。包括核心配置文件core-site.xml和hdfs-site.xml的具体设置,启动过程以及如何验证配置的有效性。

大数据Hadoop
2014-08-012 分钟
大数据15

HBase复制

本文介绍了HBase复制机制,用于实现数据的高可用性和故障恢复。复制过程是异步的,基于‘主推送’模式,确保最终一致性。HLog在复制中扮演关键角色,从集群可以不同步主集群,规模也可不平等。HBase 0.92后支持主主和

大数据HBase
2014-07-314 分钟
大数据16

HBase系列文章汇总

文章浏览阅读3.8k次,点赞3次,收藏8次。本文全面整理了从入门到深入的HBase学习资源,包括安装、学习笔记、性能测试、与Flume、Phoenix集成等内容,以及常见错误总结。

大数据HBase
2014-07-291 分钟
大数据17

HBase中的备份和故障恢复方法

本文全面介绍了 HBase 中的数据备份机制,包括快照、复制、导出、拷贝表和离线备份原生 HDFS 数据,以及故障恢复策略如转移至备份集群、导入表或恢复快照等。提供了详细的实现步骤和注意事项,帮助读者根据业务需求选择合适

大数据HBase
2014-07-287 分钟
大数据18

布隆过滤器(Bloom Filter)

布隆过滤器是一种节省空间的数据结构,用于判断一个元素是否可能在一个集合中,存在一定的误判率。它使用位数组和多个哈希函数,避免了传统哈希表或位图在处理大量数据时的内存消耗。通过计算,当位数组长度和哈希函数数量适当时,可以将

大数据CSDN
2014-07-244 分钟
大数据19

7-bit整数(Integer)压缩算法

本文介绍了7-bit整数压缩算法,将Int型数据转换为32位,按规则逐段写入,根据后续位是否有1决定最高位写入值。还给出代码实现,并以268435457为例,详细分析了该算法将4字节整数压缩为5字节的过程。

大数据CSDN
2014-07-222 分钟
大数据20

hbase 0.96的一些问题

本文详细介绍了如何使用HBase API创建表,并通过设置列的最大版本数来实现多版本控制的功能。在不指定的情况下,默认版本数为1,这限制了插入和读取时的数据版本选择。通过调整配置,开发者可以实现更灵活的数据版本管理。

大数据HBase
2014-05-151 分钟
大数据21

hbase-0.98学习笔记

HBase 0.98版更新引入了cell级别的访问控制、可视化标签等新特性,并改进了性能。支持更细粒度的权限控制,如读、写、创建和管理权限,同时增强了安全性和稳定性。

大数据HBase
2014-05-135 分钟
大数据25

Flume-ng将数据插入hbase-0.96.0

本文介绍如何使用Flume-ng将数据导入到HBase中,并详细讲解了配置步骤及解决版本依赖问题的方法。此外,还提供了一个自定义HbaseEventSerializer的示例,实现了更复杂的数据处理需求。

大数据HBase
2014-01-241 分钟
大数据26

YCSB测试hbase-0.96.0

本文介绍了使用YCSB工具对hbase-0.96.0进行性能测试的过程。测试包括了read和update两种事务,详细展示了各项指标,如操作数、平均延迟、95th和99th百分位延迟等。测试结果显示,UPDATE操作具有

大数据HBase
2014-01-143 分钟
大数据27

HBase学习笔记(三)

本文介绍了如何使用Heartbeat和Pacemaker实现NameNode的高度可用性。通过设置VIP地址,确保在主节点故障时,系统能够自动将VIP切换到备用主节点,保证NameNode服务的连续性。

大数据HBase
2013-12-278 分钟
大数据29

HBase学习笔记(一)

本文详细介绍了如何在单机环境下配置并启动HBase,包括编辑配置文件、设置环境变量、启动及停止HBase服务等步骤,并提供了通过HBase shell进行基本操作的示例。

大数据HBase
2013-12-191 分钟
大数据30

Hadoop错误总结

本文解析了Hadoop在运行过程中常见的四个问题,包括YARN连接拒绝、非法服务名、文件复制失败及DataNode启动时的NullPointerException,并提供了相应的解决办法。

大数据Hadoop
2013-11-162 分钟
大数据31

HBase错误总结

本文总结了HBase中遇到的一些错误,包括Connection reset by peer异常、租约过期问题、Thrift异常以及端口占用问题,并给出了相应的解决策略,如调整HBase配置参数、替换依赖库和检查端口冲突。

大数据HBase
2013-11-162 分钟
大数据33

CentOS分布式环境安装HBase-0.96.0

本文详细指导如何在已安装的分布式Hadoop环境中部署Zookeeper,并通过配置HBase环境实现与Zookeeper的整合。包括Zookeeper的安装与配置、HBase版本的选择与安装、HBase配置文件的修改,

大数据HBase
2013-11-163 分钟
大数据35

Linux中单机配置Hadoop

本文详细介绍了在Ubuntu系统中安装Java、创建Hadoop用户、安装SSH服务、配置无密码登录、安装Hadoop并搭建单机版环境的过程,并通过运行wordcount程序验证环境配置正确性。

大数据Hadoop
2012-11-197 分钟