#time-series #time #graph

bin+lib veda

Veda is a time series database in order to monitor

1 unstable release

Uses old Rust 2015

0.1.0 Jun 21, 2017

#1782 in Database interfaces

Apache-2.0/MIT

5KB

Veda

veda是一个指标平台,设计上借鉴graphite/statsd/influxdb, 设计之初有如下目标:

  • 存储引擎方面:
  • 顺序写入,尽可能降低随机IO: TSM树存储
  • 数据分页,大量缓存,充分利用现有机器上大量冗余的内存资源 。
  • 采用前缀分裂树的方式复用,集群上每台机器存储的都是总树型结构的小分支,在无冗余的情况下任何节点,包括branch节点都不会有重复(有利于集群扩展和降压)。
  • 引入主从复制机制来进行容灾
  • 采用Retention机制,分为几个层级,同时写入,最短interval时间为 1s 。
  • 多级缓存,利用上面的retention机制,能查内存就查内存。
  • 支持不限数量的metric和tag (吹牛,其实最多 2^32-1个)。
  • 索引字段单独查询,直接查询出data的offset来。
  • 查询方面:
  • 内存内长期保持足够长(3h)的数据,避免大量短期内的查询IO 。
  • 构建自己的查询语言(参考graphite的查询函数即可)。
  • 由于存储的支持,提供多维查询能力。
  • 流式计算
  • 提供流式计算引擎和API,其特点是数据一定是从当前时间开始的,并且按照时间的顺序增量输出,程序本身并不提供任何存储功能,因此,提供websocket和 tcp两种api。
  • 对于那些数量和频率极高的查询,系统会自动将其提升为流式计算,但是会在另外的地方提供一定量的存储。
  • 对于上一条,会自动剔除查询量减小的查询,查询量的评估一定是以万分比为单位的。

组件列表

Veda将由以下组件构成:

veda

veda系统最核心的组件,当然要命名为veda了。 这其中,附带了一个存储引擎和一个rpc接口。

负责接收上游传来的原始数据,并将其做一定程度的 retention 。这里要说的是,我做了一定程度的兼容处理,一个端口是直接接收plain数据(现行)。另一个是采用protobuf+zmq的方式来进行接收(期望)。

提供查询和控制的rpc接口, 同样是采用 protobuf+zmq的方式来进行查询,多线程应答。

nova

veda系统的计算组件,名叫 诺娃。

nova负责流式计算 ,本身是一系列的计算集群,由一个节点进行统计和调度。让计算节点与数据直接连接,调度节点挂了并不能影响任何的计算,只是不能再自动修改了。因此调度节点不需要高可用。

nova 本身提供比veda更多的计算模块,同时提供聚合、分析、实时查询等功能。

nova-worker

接收具体的指标数据,并将计算结果返回,没有额外的功能。

nova-master

接收各个veda/nova-worker的统计指标,并且在内部会有一个property-queue ,每隔一定时间将查询进行重新排序和剔除操作。

zeon

zeon是veda系统的最前端,属于附加组件。 在未来的模型中,zeon直接接受udp流,并且转换成protobuf+zmq的模式

lovedog

lovedog是veda系统的HTTP接口组件,属于附加组件。 当然,直接用veda提供的 rpc接口也是可以的……

No runtime deps