`
gaojingsong
  • 浏览: 1155957 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

【clickhouse表引擎介绍】

阅读更多

表引擎的作用是什么

  • 决定表存储在哪里以及以何种方式存储
  • 支持哪些查询以及如何支持
  • 并发数据访问
  • 索引的使用
  • 是否可以执行多线程请求
  • 数据复制参数

 

Log系列表引擎

Log系列表引擎功能相对简单,主要用于快速写入小表(1百万行左右的表),然后全部读出的场景。即一次写入多次查询

 

MergeTree表引擎

MergeTree在写入一批数据时,数据总会以数据片段的形式写入磁盘,且数据片段不可修改。为了避免片段过多,ClickHouse会通过后台线程,定期合并这些数据片段,属于相同分区的数据片段会被合成一个新的片段。这种数据片段往复合并的特点,也正是合并树名称的由来。

MergeTree作为家族系列最基础的表引擎,主要有以下特点:

  • 存储的数据按照主键排序:允许创建稀疏索引,从而加快数据查询速度
  • 支持分区,可以通过PRIMARY KEY语句指定分区字段。
  • 支持数据副本
  • 支持数据采样

 

外部集成表引擎

ClickHouse提供了许多与外部系统集成的方法,包括一些表引擎。这些表引擎与其他类型的表引擎类似,可以用于将外部数据导入到ClickHouse中,或者在ClickHouse中直接操作外部数据源。

例如直接读取HDFS的文件或者MySQL数据库的表。这些表引擎只负责元数据管理和数据查询,而它们自身通常并不负责数据的写入,数据文件直接由外部系统提供。目前ClickHouse提供了下面的外部集成表引擎:

  • ODBC:通过指定odbc连接读取数据源
  • JDBC:通过指定jdbc连接读取数据源;
  • MySQL:将MySQL作为数据存储,直接查询其数据
  • HDFS:直接读取HDFS上的特定格式的数据文件;
  • Kafka:将Kafka数据导入ClickHouse
  • RabbitMQ:与Kafka类似

 

其他特殊的表引擎

Memory表引擎

Distributed表引擎

MaterializedView表引擎

Dictionary表引擎

Merge表引擎

File表引擎

Null表引擎

Set表引擎

Join表引擎

URL表引擎

View表引擎

Buffer表引擎

分享到:
评论

相关推荐

    4、clickhouse的Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及使用

    4、clickhouse的Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及使用 网址:https://blog.csdn.net/chenwewi520feng/article/details/130505297 介绍Log系列表引擎、外部集成表引擎和其他特殊的表引擎介绍及...

    3、ClickHouse表引擎-MergeTree引擎

    3、ClickHouse表引擎-MergeTree引擎 网址:https://blog.csdn.net/chenwewi520feng/article/details/130502351 介绍clickhouse 的表引擎,即mergetree引擎的使用

    ClickHouse数据分析引擎入门到精通

    01_ClickHouse总体_课程介绍.mp4 02_ClickHouse入门_课程介绍.mp4 05_ClickHouse入门_安装_单机安装.mp4 ...31_ClickHouse高级_表参数&写入和删除优化.mp4 32_ClickHouse高级_CPU参数设置.mp4 33_Cli

    clickhouse文档.docx

    clickhouse文档,安装和部分数据结构,表引擎介绍.对clickhouse的简单介绍,安装.clickhouse目前是比较火的olap存储引擎.

    大数据技术之ClickHouse视频教程

    从入门级别的单机安装、分片集群部署、数据类型讲解、多样化表引擎介绍,以及不可或缺的SQL操作详细讲解;到深入级别的执行计划操作、建表优化、表参数调优、CPU参数调优、内存参数调优,以及多种语法优化规则讲解、...

    ClickHouse入门学习笔记

    4.表引擎介绍 5.常用SQL 6.副本机制 7.分片集群机制 8.执行计划介绍 9.建表优化规则 10.语法优化规则 11.查询优化规则 12.数据一致性机制 13.物化视图 14.MySQL引擎 15.常见问题总结 16.如何进行监控 17.如何进行...

    clickhouse:Clickhouse的Ruby数据库驱动程序

    是开发的一种高性能的面向列的数据库管理系统,该系统运行着俄罗斯最受欢迎的搜索引擎。 ClickHouse以稳定和可持续的方式管理大量数据。 目前,它为全球第二大Web分析平台Yandex.Metrica提供支持,该平台拥有超过13...

    2023OLAP数据库引擎海量数据模拟下选型白皮书.pdf

    每一款数据库详细的测评结果,测评维度分为:维度/引擎、全表scan性能、事实表查询性能、宽表查询性能、TP查询性能、AP计算性能、数据批量同步速率、高并发、数据安全、运维成本、生态影响力、元数据。 1.0背景介绍...

    OLAP数据库引擎选型白皮书-奇点云(2023).pdf

    每一款数据库详细的测评结果,测评维度分为:维度/引擎、全表scan性能、事实表查询性能、宽表查询性能、TP查询性能、AP计算性能、数据批量同步速率、高并发、数据安全、运维成本、生态影响力、元数据。 1.0背景介绍...

    支持国产ETL etl-engine 用go写的轻量级etl引擎 方便集成到各企业中

    我们不仅仅是数据的搬运工,还是数据搬运过程中加工...该产品由国人用go语言开发,跨平台,轻量级,方便集成,详细功能及介绍请移步产品免费试用下载地址:https://github.com/hw2499/etl-engine技术支持vx:weigeonly

    MYSQL 解锁与锁表介绍

    相对其他数据库而言,MySQL的锁机制比较简单,其最显著的特点是不同的存储引擎支持不同的锁机制

    DataGear数据可视化分析平台.rar

    1 支持接入多种数据源支持接入任意提供JDBC驱动的数据库,包括MySQL、Oracle、PostgreSQL、SQL Server等关系数据库,以及Elasticsearch、ClickHouse、Hive等大数据引擎 2 支持多种格式的数据集支持创建SQL、CSV、...

    flink-cdc-connectors:更改Apache Flink的数据捕获(CDC)连接器

    Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此,它可以充分利用Debezium的功能。 进一步了解什么是 。 本自述文件旨在简要介绍Flink CDC连接器的核心功能。 有关详细文档,请参阅。 支持(经过测试)...

Global site tag (gtag.js) - Google Analytics