分类目录归档：BigData

2021
05-31

大数据之数据模型架构设计规范 447 VIEW

本文以及后续章节中介绍的非功能性规范均为建议性规范，产品功能无强制，仅供指导。 数据层次的划分 · ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数.... Read More >

2021
05-30

大数据之数仓分层 528 VIEW

  概述 我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。 数据仓库的分层和各层级用途如下图所示。 .... Read More >

2021
05-26

智能大数据平台USDP免费版操作部署指南 861 VIEW

近日UCloud全新发布了针对私有化部署场景下的免费版USDP，免费版USDP支持HDFS、Kudu、ES 全生态，助力企业提升大数据开发、运维效率，快速构建大数据业务的分析处理能力。关于免费版USDP的部署操作如下文演示。 环境准备 用户进行如下简单步骤，即可利用 USDP 实现大数据业务、数.... Read More >

2020
09-25

2020大数据开发工程师知识点整理 1021 VIEW

写在前面                                 .... Read More >

2020
01-15

大数据学习资源(Awesome Big Data) 713 VIEW

为了让大家更好地学习交流，过往记忆大数据花了一个周末的时间把 Awesome Big Data 里近 600 个大数据相关的调度、存储、计算、数据库以及可视化等介绍全部翻译了一遍，供大家学习交流。 文章目录 1 关系型数据库管理系统 2 框架 3 分布式编程 4 分布式文件系统 5 分布式索引 6 文档数据模型 7 Key Map 数据模型 8 Key-value 数据模型 9 图数据模型 .... Read More >

2020
01-09

clickhouse搭建 4306 VIEW

基础知识:列式数据库管理系统：columnar DBMS、联机分析处理OLAP 开始 拉取repo源 curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bas.... Read More >

2019
12-31

数据分析的利器-clickhouse概述 1204 VIEW

Clickhouse是Yandex开源的一个用于实时数据分析的数据库，一开始就用在yandex内部的多个数据分析业务上。要介绍clickhouse，还是需要先介绍一下yandex。Clickhouse为什么会出现，其实和yandex的业务关系非常大。Yandex是俄罗斯最大的搜索引擎，会有很多数据分.... Read More >

2019
06-19

TiDB介绍 4560 VIEW

TiDB 是什么？TiDB 是一个分布式 NewSQL 数据库。它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议，具有数据强一致的高可用特性，是一个不仅适合 OLTP 场景还适合 OLAP 场景的混合数据库。TiDB怎么来的？著名的开源分布式缓存服务 Codis.... Read More >

2019
04-04

impala与hive的比较以及impala的优缺点 1688 VIEW

最近读的几篇关于impala的文章，这篇良心不错：https://www.biaodianfu.com/impala.html（本文截取部分内容）Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive.... Read More >

2017
09-28

Mahout学习之Mahout简介、安装、配置、入门程序测试 1006 VIEW

一、Mahout简介 查了Mahout的中文意思——驭象的人，再看看Mahout的logo，好吧，想和小黄象happy地玩耍，得顺便陪陪这位驭象人耍耍了... 附logo： （就是他，骑在象头上的那个Mahout） 步入正文啦：       .... Read More >