[找师父]求指导python的kafka和多进程

最近在做一个流处理的项目,主要算法依赖的pandas.DataFrame,由于速度太慢,就引入了多进程,开始计算速度很快,后来就越来越慢,比单线程慢很多了 sob 我发誓我不笨,一定不会让师父气死的,课程也看了挺多,但是感觉需要指点一下才能懂 weary 因为是工作,就不放代码了.这个项目挺有意思的,感兴趣的来!

Comments
登录后评论
Sign In
·

开始计算速度很快,后来就越来越慢,比单线程慢很多了

看看内存、CPU 占用?正常不会这样,是不是有哪些资源用了没有关?

·

谢谢您的回复,这是运行了一段时间的cpu,cpu一直在增长,会多达400 ,,,是64核的