欢迎投稿

今日深度:

【阿里云新品发布会】第32期:上云后,数据还安全吗? 基于

【阿里云新品发布会】第32期:上云后,数据还安全吗? 基于OSS的云上统一数据保护2.0方案发布会,阿里云第三 点击订阅新品发布会 ! 新产品、新版本、新技术、新功能、价格调整,

HBase学习之二: hbase分页查询,

HBase学习之二: hbase分页查询, 在hbase中可以使用scan做一些简单的查询,但是要实现多条件复杂查询还需要借助filter(过滤器)来完成,甚至还可以自定义filter实现个性化的需求,项目中需

HBase学习笔记(二)HBase架构,

HBase学习笔记(二)HBase架构, HBase Architectural Components(HBase架构组件) HBase架构也是 主从架构 ,由三部分构成 HRegionServer 、 HBase Master 和 ZooKeeper 。 RegionServer负责数据的读写与客户端

【Hbase】初识Hbase,单节点安装,

【Hbase】初识Hbase,单节点安装, 1. 官网下载安装包: http://www.apache.org/dyn/closer.cgi/hbase/ 2.安装jdk 参考博文:http://blog.csdn.net/vchen_hao/article/details/76613788 3.解压,修改配置 tar zxvf hbase- 1

[hbase]Increment V.S. Read-Modify-Write in HBase,

[hbase]Increment V.S. Read-Modify-Write in HBase, Increment V.S. Read-Modify-Write in HBase 在 HBase: The Definitive Guide 中,Lars George 介绍了 HBase 的一个新特性 Counter Increment,即把一个 column 当作 一个 counter,

HBase Coprocessor 之 endpiont(hbase 0.96.0),

HBase Coprocessor 之 endpiont(hbase 0.96.0), 本文是基于hbase 0.96.0 测试的,理论上支持hbase 0.94 以上版本!! HBase有两种协处理器(Coprocessor) 1、 RegionObserver  :类似于关系型狗万黑吗?_狗万 体育官网_狗万 下载地址的触发器

HBase入门-Java操作HBase,

HBase入门-Java操作HBase, Java操作HBase例子 本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪

HBASE操作(1)-HBASE Shell,

HBASE操作(1)-HBASE Shell, 启动命令 ./hbase shell 退出命令 exit 创建表 create '表名称', '列族名称1','列族名称2','列族名称N' create 'users','user_id','address','info' 列出全部表 list 得到表的描述 descr

HBase(1)-HBase的分布式安装,

HBase(1)-HBase的分布式安装, 1.前提 Hadoop分布式环境已安装,见 http://blog.csdn.net/yyl424525/article/details/55097022 Zookeeper分布式环境已安装,见 http://blog.csdn.net/yyl424525/article/details/77454084 2.安装

hbase初识---开始认识hbase,

hbase初识---开始认识hbase, hbase作为hadoop生态圈的数据存储系统,在整个大数据技术栈中占用重要地位,也是google三大论文,bigtable的对应产品。我们先看看hbase官网介绍吧: Welcome to A

HBase学习总结:HBase的工作原理,

HBase学习总结:HBase的工作原理, 一、切分和分配大表   Hbase中的表是由行和列组成的。HBase中的表可能达到数十亿行和数百万列。每个表的大小可能达到TB级,有时甚至PB级。这些表会

solr 安装,

solr 安装, 摘抄过来,口才不好(会用不会说)面试问到没说清楚 参考:https://blog.csdn.net/jiangjun0130/article/details/50912167 https://blog.csdn.net/zcl_love_wx/article/details/52092098 Solr是Apache下的一个顶

Refactoring with Solr,

Refactoring with Solr, 1.About Solr Solris the popular, blazing fast, open source NoSQL search platform from the ApacheLucene project. Its major features include powerful full-text search, hithighlighting, faceted search, dynamic clusteri

solr的使用,

solr的使用, 概念: solr的底层是使用lunce。它比lunce更加好用。 用于快速检索数据。数据源将数据写入到solr ,solr使用分词器将数据按分词建立索引。 部署步骤: 1)、下载solr的war包,

solr学习,

solr学习, solr是一个基于lucene的搜索引擎,可以实现全文搜索。它对外提供类似于Web-service的API接口,可以通过http请求 进行操作。 solr可以很方便的实现一个站内搜索功能(http://zookeep

solr配置文件,

solr配置文件, solr配置文件 @(OTHERS)[solr] solr的配置文件主要有3份: solr.xml:描述整个solr集群的配置,如主机名、端口号等信息。 solrconfig.xml:描述某个collection的配置信息,如索引、搜

solr CommonsHttpSolrServer,

solr CommonsHttpSolrServer, CommonsHttpSolrServer     CommonsHttpSolrServer 使用HTTPClient 和solr服务器进行通信。 Java代码   String url =  "http://localhost:8983/solr" ;     SolrServer server =  new  CommonsHt

solr简单使用,

solr简单使用, 1.       下载 Solr 的安装包,我下载的是 solr-5.5.4.tgz 2.       解压并移动到 /usr/local 目录下 3.       安装 Solr 需要安装 Java 环境,假设 Java 环境是安装好的 4.  

solr创建,

solr创建, 1.collection创建  // sol solrctl instancedir --generate /opt/data/company11 solrctl instancedir --create company11 /opt/data/company11 solrctl collection --create company11 -s 2 -r 2   2.【managed-schema】修改后重启

solr使用,

solr使用, Solrj已经是很强大的solr客户端了。它本身就包装了httpCliet,以完全对象的方式对solr进行交互。很小很好很强大。 不过在实际使用中,设置SolrQuery 的过程中,为了设置多个搜

认识Hive,

认识Hive, 什么是Hive: Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类SQL类查询功能。 Hive的认识: * Hive基于: 1 ):处理的数据储存在HDFS 2 ):

Hive 语法,

Hive 语法, Hive 语法 【0】数据类型    Array 类型   -- 创建学生表,保存这个学生所有课程的成绩 -- 数据结构为:  {1,Tom,[80,90,95]} create table student(sid int,sname string,grade arrayfloat)     M

HIVE DDL,

HIVE DDL, 1.何为DDL? DDL: Data Definition Language create drop alter关键字开头的 2.hive的抽象 3.关于狗万黑吗?_狗万 体育官网_狗万 下载地址存放位置和参数查询 开局自带一个default狗万黑吗?_狗万 体育官网_狗万 下载地址,默认狗万黑吗?_狗万 体育官网_狗万 下载地址存放位置: /user/hive/warehou

hadoop集群安装Hive,

hadoop集群安装Hive, hadoop集群安装Hive 1.准备 CentOS7+hadoop2.8.0+hive2.1.1 1.1 安装hadoop 参考链接: https://blog.csdn.net/qq_39615245/article/details/83049123 有三台虚拟机,以 vm1,vm2,vm3代替,vm1位namenode,其他两

Hive的部署,

Hive的部署, 版本下载 下载网站如下:http://archive-primary.cloudera.com/cdh5/cdh/5/ 下载、解压、配置环境变量、配置文件的相关参数 [hadoop@hadoop001 hadoop]$ cd /home/hadoop/app[hadoop@hadoop001 app]$ wget

hive安装文档,

hive安装文档, hive安装文档 1.  上传、解压、重命名 1.1.  上传 在 随便一台有hadoop 环境的机器上上传安装文件 su - hadoop rz –y 1.2.  解压 解压缩:hive-0.9.0-bin.tar.gz tar -zxvf hive-0.9.0-bi

Hive的管理,

Hive的管理, Hive的启动方式 CLI(命令行)方式 直接输入#HIVE_HOME/bin/hive的执行程序 #hivequit; 或者输入 #hive --service cli #hive --service cliexit; 常用的CLI命令 Ctrl+L或者!clear //清屏show tables --查看

Hive实践,

Hive实践, 准备 wget http: //mirror.bit.edu.cn/apahce/hive/hive-0.11.0/hive-0.11.0-bin.tar.gz tar -zxvf hive - 0.11 .0 -bin . tar . gzcd hive - 0.11 .0 -bin sudo vi /etc/profile - export HIVE_HOME = /usr/hive - 0.11 .0 -bin - export PA

hive数据倾斜,

hive数据倾斜, 在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些

Hive的数据存储,

Hive的数据存储, Hive中主要包含以下几种数据模型:Table(表),External Table(外部表),Partition(分区),Bucket(桶) 1、表: Hive中的表和关系型狗万黑吗?_狗万 体育官网_狗万 下载地址中的表在概念上很类似,每个表在HDFS中都

Spotify如何使用Cassandra实现个性化推荐,什么是个性化推荐

Spotify如何使用Cassandra实现个性化推荐,什么是个性化推荐 本文翻译自https://labs.spotify.com/2015/01/09/personalization-at-spotify-using-cassandra/ 在Spotify我们有超过6000万的活跃用户,他们可以访问超

Cassandra-Medusa备份工具介绍,备份工具哪个好

Cassandra-Medusa备份工具介绍,备份工具哪个好 备份Cassandra的挑战 备份Apache Cassandra狗万黑吗?_狗万 体育官网_狗万 下载地址很困难,并不复杂。您可以使用nodetool snapshot手动做快照,并将其从节点移到另一个节点。现有的

sql 基础,sql建立简单的狗万黑吗?_狗万 体育官网_狗万 下载地址

sql 基础,sql建立简单的狗万黑吗?_狗万 体育官网_狗万 下载地址 去除狗万黑吗?_狗万 体育官网_狗万 下载地址登录界面的所有用户信息 C:\Users\asus\AppData\Roaming\Microsoft\SQL Server Management Studio\14.0\SqlStudio.bin 查询姓名中第二个字与第三个字相同: select * fro

SQL Server解惑——为什么你的查询结果超出了查询时

SQL Server解惑为什么你的查询结果超出了查询时间范围,开奖查询开奖查询结果 废话少说,直接上SQL代码(有兴趣的测试验证一下),下面这个查询语句为什么将2008-11-27的记录查询出来

ORA-27468: ""."" is locked by another process,

ORA-27468: . is locked by another process,27468 You have a scheduler job that generated an error. When the error occurred, you attempted to disable the job to investigate the error, but received an ORA-27468 error message. 27468, 00000, "

Windows安装MySQL,windows10安装

Windows安装MySQL,windows10安装 1、安装包下载 2、安装教程 (1)配置环境变量 (2)生成data文件 (3)安装MySQL (4)启动服务 (5)登录MySQL (6)查询用户密码 (7)设置修改用户密码 (

如何开启MySQL慢查询日志,慢查询日志

如何开启MySQL慢查询日志,慢查询日志 一、开启慢查询日志首先需要了解四个参数: slow_query_log # 是否开启慢查询日志,默认OFF,开启则设置为 ON。 slow_query_log_file # 慢查询日志文件存

连接 sql,sql狗万黑吗?_狗万 体育官网_狗万 下载地址连接不上

连接 sql,sql狗万黑吗?_狗万 体育官网_狗万 下载地址连接不上 java连接sqlserver 1 创建 Dynamic Web Project项目 在WebContent/WEB-INF/lib中添加sqljdbc42.jar2 在class文件里连接狗万黑吗?_狗万 体育官网_狗万 下载地址 Class.forName(com.microsoft.sqlserver.jdbc.SQLServerDriver); Stri

MySQL8.0 redo日志系统优化,redo日志

MySQL8.0 redo日志系统优化,redo日志 背景 现在主流的狗万黑吗?_狗万 体育官网_狗万 下载地址系统的故障恢复逻辑都是基于经典的ARIES协议,也就是基于undo日志+redo日志的来进行故障恢复。redo日志是物理日志,一般采用

mysql-清除binlog日志命令,mysqlbinlog

mysql-清除binlog日志命令,mysqlbinlog 记录一个清除MySQL里binlog日志的命令,可用在定时任务脚本里。 只保留1天前的日志: PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 1 DAY)

《Hadoop基础教程》之初识Hadoop,

《Hadoop基础教程》之初识Hadoop,       Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,

hadoop常用操作(hadoop fs),

hadoop常用操作(hadoop fs), 1、hadoop fs -mkdir -p:创建目录 [hdfs@localhost~]$ hadoop fs -mkdir -p /aaaa/test[hdfs@localhost~]$ hadoop fs -ls /Found 26 itemsdrwxr-x--- - root users 0 2016-11-25 14:37 /DataIntegritydrwxr-xr-x

《Hadoop基础教程》之初识Hadoop,

《Hadoop基础教程》之初识Hadoop, Hadoop历史         雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜

[Hadoop] 第一篇 Hadoop 安装步骤,

[Hadoop] 第一篇 Hadoop 安装步骤, 一 安装JDK 1.下载JDK 目前最新JDK:Java SE Development Kit 8u91 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2.解压安装 我们把JDK安装到这个路

Hadoop|Hadoop的伪分布式部署,

Hadoop|Hadoop的伪分布式部署, 一:Hadoop文件下载 1.下载hadoop文件,本次的安装版本是: hadoop-2.6.5 版本 下载可访问镜像网站进行下载:http://archive.apache.org/dist/hadoop/core/hadoop- 2.4.1/ 下载命

《Hadoop基础教程》之初识Hadoop,

《Hadoop基础教程》之初识Hadoop,  Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,

【Hadoop】之 Hadoop 1.x 初识,

【Hadoop】之 Hadoop 1.x 初识, Hadoop1.x 组件 名称节点(NameNode) 简介 FsImage 用于维护文件系统树以及文件树种所有的文件和文件夹的元数据(内存元数据:包含datanode上块的映射信息)

《Hadoop基础教程》之初识Hadoop,

《Hadoop基础教程》之初识Hadoop,         Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去

Hadoop(一)认识Hadoop,

Hadoop(一)认识Hadoop, Hadoop简介 Apache Hadoop 项目是可靠,可扩展的分布式计算的 开源软件。 Apache Hadoop  软件库是 一个框架 ,允许使用简单的编程模型跨计算机集群分布式处理大型数

Hadoop基础教程》之初识Hadoop,

Hadoop基础教程》之初识Hadoop, http://blessht.iteye.com/blog/2095675 Hadoop基础教程》之初识Hadoop 博客分类: 读后感         Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开

Hive 常用函数,

Hive 常用函数, 1.字符串长度函数:length 语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例: hive select length(‘abcedfg’) from lxw_dual; 7  2. 字符串反转函数:reverse 语法: rever

hive 分区表,

hive 分区表, 最简分区表e.g. partitioned by CREATE TABLE tb_name(name string partitioned by (age int )) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 加载分区表(静态) load data local inpath 'file_path' into table tb_nam

Hive优化,

Hive优化, Hive 优化 核心思想:把Hive SQL 当做Mapreduce程序去优化 以下SQL不会转为Mapreduce来执行(HDFS执行的) select 仅查询本表字段 where 仅对本表字段做条件过滤Explain 显示执行计划 ex

Hive报错,

Hive报错, Logging initialized using configuration in jar:file:/cloud/apache-hive-0.13.0-bin/lib/hive-common-0.13.0.jar!/hive-log4j.properties Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to i

hive数据倾斜,

hive数据倾斜, 数据倾斜是大数据领域绕不开的拦路虎,当你所需处理的数据量到达了上亿甚至是千亿条的时候,数据倾斜将是横在你面前一道巨大的坎。很可能有几周甚至几月都要头

Hive优化,

Hive优化, 1:尽量尽早地过滤数据,减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的字段 2、对历史库的计算经验 (这项是说根据不同的使用目的优化使用方法)

Hive之一统天下,

Hive之一统天下, Hive是什么 The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A

安装hive,

安装hive, 安装mysql: (1)下载安装包文件: wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm (2)安装mysql-community-release-el7-5.noarch.rpm包: rpm -ivh mysql-community-release-el7-5.noarch.rpm (

Hive基本操作,

Hive基本操作, 1.使用SQL文件创建一张表: hive  -f  create_table 2.将外部数据加载到一张表里面: LOAD DATA LOCAL INPATH  '/usr/local/src/mr_wordcount/hive_test/a.txt'  OVERWRITE INTO TABLE  u_info; 3.两张表作

Hive常用函数,

Hive常用函数, 1  常见本地文件: 2 上传到hdfs上: 3 下载到指定目录: 4 创建外部表: 5 加载hdfs文件: 加载本地文件: 不加 overwrite: 关系运算: 注意 String的比较要注意(常用的时间