Hadoop MAC M1大数据0-1成神篇-17 hadoop(分布式文件系统架构) 写在前面: 在部署hadoop之前,先学习下分布式架构。 FS File System 文件系统是基于硬盘之上的一个文件管理的工具 我们用户... 17小时前 0 views 发表评论 阅读全文
大数据 【大数据】Hive基础知识 Hive基础知识 1.Hive 有哪些特点? Hive 最适合于数据仓库应用程序,使用该应用程序进行相关的静态数据分析,不需要快速响应给出结... 17小时前 0 views 发表评论 阅读全文
有什么轻量级的大数据技术? 流行的大数据技术有Elasticsearch、Hadoop, Storm, Hive、Spark等,这些都是大集群方案,适合有海量规模数据的... 21小时前 2 views 发表评论 阅读全文
大数据基础复习 第一章 1.大数据的概念: 大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 2.大数据的特点: (1)Vo... 23小时前 2 views 发表评论 阅读全文
分布式文件系统 原生HDFS 架构 HDFS采用master/slave架构 master 采用主备架构,使用zk选主,称为NameNode,NameNod... 05月21日 大数据 2 views 发表评论 阅读全文
「开源人说」第一期重磅上线 一起来看《十万亿条消息背后的故事》 简介:阿里每天近万亿级别的消息是如何完成实时消息传递的?几十万台服务器,成千上万个应用顺畅协作和消息实时传递都离不开分布式消息中间件Rock... 05月20日 2 views 发表评论 阅读全文
hvie启动及基本命令 HIVE的启动及基本命令 Hive基本操作 (1)启动hive $ bin/hive (2)查看数据库 hive> show data... 05月20日 Hadoop 3 views 发表评论 阅读全文
大数据 HIVE大咖笔记一 HIVE MYSQL 所有对Linux下MySQL中的User中的表的操作需要刷新一下(刷新特权) flush privileges; 启动... 05月20日 2 views 发表评论 阅读全文
数仓工具—Hive集成篇之ClickHouse(02) Hive 整合ClickHouse 看官方文档说clickhouse现在支持HDFS和AWS S3作为数据存储的仓库,如果是这样的话,那就意... 05月20日 Hive 3 views 发表评论 阅读全文
数仓采集项目 数仓采集项目【03数仓采集模块之hadoop安装及项目经验】 文章目录 一 数据采集模块 1 常用脚本文件 (1)查看集群所有进程 (2)通用脚本 2 hadoop安装 (1)集群规划 (2)安装步骤 ... 05月20日 2 views 发表评论 阅读全文