Magnet: Push-based Shuffle Service for Large-scale Data Processing( 二 )


也许我们会想到说是否可以有办法来通过调参来让Shuffle Block 变大而减轻随机小IO的问题呢?比如把reduce task端的并发调?。庋扛鰐ask的数据量必然就变大了 。论文中也对此做了阐述,

推荐阅读