Spark如何实现任务间的内存公平？

html5 • • 问答 • 254 阅读

我正在观看有关火花内存管理的演示文稿。

他谈到了他们如何在一个执行器中实现不同任务之间的公平性（12:00）。他提出了任务之间动态分配的想法，并宣称如果更多任务开始执行，Spark 会将其他任务的页面溢出到磁盘。

我之前读过 Spark 中的任务本质上是线程，而在 Java 中，我们没有这种能力来管理线程的内存并在它们之间建立内存公平性。我想知道 Spark 是如何实现这一目标的？

以上是Spark如何实现任务间的内存公平？的全部内容。
THE END
分享
二维码
< <上一篇
下一篇>>