PySpark - 序列化程序
序列化用于 Apache Spark 上的性能调优。通过网络发送或写入磁盘或持久存储在内存中的所有数据都应进行序列化。序列化在代价高昂的操作中起着重要作用。
PySpark 支持自定义序列化程序以进行性能调整。 PySpark 支持以下两个序列化程序 :
MarshalSerializer
使用 Python 的 Marshal Serializer 序列化对象。此序列化程序比 PickleSerializer 快 , 但支持较少的数据类型。
class pyspark.MarshalSerializer
PickleSerializer
使用 Python 的 Pickle Serializer 序列化对象。此序列化程序几乎支持任何 Python 对象 , 但可能不如更专业的序列化程序快。
class pyspark.PickleSerializer
让我们看一个关于 PySpark 序列化的示例。在这里 , 我们使用 MarshalSerializer 序列化数据。
--------------------------------------serializing.py-------------------------------------
from pyspark.context import SparkContext
from pyspark.serializers import MarshalSerializer
sc = SparkContext("local", "serialization app", serializer = MarshalSerializer())
print(sc.parallelize(list(range(1000))).map(lambda x: 2 * x).take(10))
sc.stop()
--------------------------------------serializing.py-------------------------------------
Command − 命令如下 :
$SPARK_HOME/bin/spark-submit serializing.py
输出 - 上述命令的输出为 -
[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]