<aside> 📢 暑期实习的 Talent Plan 项目，基于raft算法实现一个键值对分布式存储库TinyKV。

</aside>

Project 1

• [x] 熟悉整个 tinykv 的框架
  • 一个 TinyKv Node 从高到低分三层：Server、Storage、Engine，此外还加上一个 TinyScheduler 组件负责管理 TinyKv 集群
  • TinySQL 在此次项目中无需实现，值得注意的是 TinySQL 是通过 远端调用 RPC 的方式使用 TinyKv 的
  • Server 层的接受远程请求，依此调用 Storage 层来提供存取服务
    • Raw API 提供基本的 GET、PUT、DELETE、SCAN 服务
    • Txn API 提供事务支持
    • Coproceccor
    • Transaction
    • MVCC 提供多版本管理服务
  • Storage 层在 Engine 层的基础上实现 raft 分布式存储 （单机存储引擎 StandAloneStorage 不需要实现 raft，只是单纯的封装Engine 层）
  • Engine 层为最底层，提供基本的键值存储引擎服务（项目中直接使用 badger 作为存储引擎）
• [x] 了解 raft 算法基本原理
• [x] 熟悉 badger api 和 tinykv 项目模板提供的 engine_util 包
• [x] 实现 Storage 层的单机存储引擎 StandAloneStorage
• badger 的只读事务会使用到存储快照，保证了批量读取的一致性（读到的是同一时间点的快照），因此读取操作均借助 badger 事务 badger.Txn 来实现
• 列族 Column Family，相当于 key 的名称空间，Storage 需要在 Engine 层的基础上封装对列族的支持（存取操作都要指定 列族 CF）
• [x] 实现 Server 层的 Raw API
• [ ] 存储引擎相关：LSM-Tree
• [ ] 序列化与远程过程调用相关：ProtoBuffer & gRPC

参考文献

• Raft 基本介绍与可视化：Raft Consensus Algorithm
• TinyKv 和 TiKv很像，因此可以参考：三篇文章了解 TiDB 技术内幕 - 说存储 | PingCAP
• badger package
• 网课： https://learn.pingcap.com/learner/course/510001

Project 2

2A Raft 算法

主要是处理各种情况下的 Message

如何处理 Message ？按优先级参考以下来源：

1. 测试函数 （最具体）
2. doc.go （大体思路）
3. raft 论文 （学习思想、关乎安全性的设计）

对于某些特殊情况可以考虑用 raft 官网上的交互式系统（Raft Visualization）模拟出相应情形加深理解

• 调用关系图
  • RaftLog：实现了一个日志，包含对日志的一系列增删查改的操作
  • Raft：实现 raft 算法，tick() 时钟步进，step() 处理信号（本地消息直接step，msg中的消息是要发送的消息）
  • RawNode：在 Raft 基础上进一步封装，方便上层应用调用（ready，advance）

<div class="mermaid"> flowchart LR RaftLog --> Raft --> RawNode </div>

• 关于空日志 noop entry 的定义

if m.MsgType != pb.MessageType_MsgAppend || len(m.Entries) != 1 || m.Entries[0].Data != nil {
	panic("not a message to append noop entry")
}	//noop entry 指代 Data 字段为 nil 的 Entry

• 注意集群中只有单个节点的情况（此时无需广播append消息、选举直接晋升leader无需广播reqVote等等）