专利内容由知识产权出版社提供
专利名称：基于Kafka的分布式数据流分级缓存自动迁移算法专利类型：发明专利
发明人：付国,杨慧丽,张岩峰,张一奇申请号：CN202010785947.3申请日：20200807公开号：CN112051968A公开日：20201208
摘要：本发明属于大数据存储领域，涉及一种基于Kafka的分布式数据流分级缓存自动迁移算法。根据Kafka数据访问的特点，设计了热数据的存储结构，不仅减少了存储空间，而且能够根据该结构来管理热数据的元数据信息。根据热数据的结构，提出了结合访问热度和迁移频率的数据自动迁移算法(HHF‑Migrate)，系统会根据该数据识别算法计算所有TopicPartition数据的访问热度和迁移频率，自动将热度和频率低的冷数据从SSD迁移至HDD，而HDD中热度和频率高的热数据将自动迁移至SSD，从未实现分级缓存。本发明设计的系统提升了Kafka的吞吐量，提供较低的延迟并减少存储成本。
申请人：东北大学
地址：110819 辽宁省沈阳市和平区文化路三巷11号
国籍：CN
代理机构：大连理工大学专利中心
更多信息请下载全文后查看
