Spark UIを使ったパフォーマンスの分析と改善

前回記事の処理を分析して並列性能をアップ 今回はeQTLの全データをDataFrameにする予定でしたが、前回記事に改善箇所がありましたのでSparkのUIとともにその解説をしたいと思います。 時間がかかっていそうな箇所 … “Spark UIを使ったパフォーマンスの分析と改善”の続きを読む