Apache Crail-有点意思的短时数据存储
背景Crail做了什么功能分析
背景
做项目时,分析到一个有点点意思的短时数据存储系统,crail。阅读了它的介绍和paper,自己再做一些简单分析。
Crail做了什么
crail介绍自己的时候用到了三个词:快速、异构、模块化: 那这三个特性分别表示了什么,分析下来很简单。就是使用了新的高速网络(RDMA),新型的高性能介质(optane),结合DRAM组成了一个多介质类型的分层短时数据存储系统,功能上提供了KV,FS等接口。能够很容易的作为apache的组件集成(如spark/flink等)
剩下的一点,crail的实现是基于Java和c++的,甚至RDMA的软件栈都是Java的。(从整个系统和软件是线上来说,它似乎不是追求极致时延)
功能分析
##关键数据分析