/u/avatar/MvGM6Z-GBBD0v0)
[找师父]求指导python的kafka和多进程
最近在做一个流处理的项目,主要算法依赖的pandas.DataFrame,由于速度太慢,就引入了多进程,开始计算速度很快,后来就越来越慢,比单线程慢很多了 :sob: 我发誓我不笨,一定不会让师父气死
/users/-/avatars/9e7367b0-cb94-49e2-beeb-45a6be4fc573){kind=small}
Across the Great Wall, we can reach every corner in the world.
安装一下 htop 命令，用 htop 看
/u/avatar/MvGM6Z-GBBD0v0){kind=small}
/pub/GwAPDo-NY04gvr)
看上去占内存挺大/pub/rVKw3W-ea99pYm)
这是优化之前跑单线程,也就是for循环,,,感觉多进程反而加重了负载Joined 3 years ago
Across the Great Wall, we can reach every corner in the world.