纯python 的话,可以参考minitorch:https://github.com/minitorch/minitorch
MiniTorch 是一个Torch API 的纯Python 重新实现,展示了从零开始构建一个张量和自动微分库.
如果C++还行的话,可以看看一些开源的前向预测框架,最简单的可以先看
https://github.com/Tencent/FeatherCNN
只有forward, 而且接口和Caffe一致,阅读成本低