PySpark 序列化器 | Spark 教程

#PySpark 序列化器
序列化用于 Apache Spark 的性能调优。所有通过网络发送或写入磁盘或持久存储在内存中的数据都应进行序列化。序列化在成本高昂的操作中起着重要作用。
 
PySpark 支持用于性能调整的自定义序列化程序。PySpark 支持以下两个序列化程序：
- MarshalSerializer
- PickleSerializer

##MarshalSerializer
使用 Python 的 Marshal Serializer 序列化对象。此序列化程序比 PickleSerializer 更快，但支持的数据类型更少。
```python
class pyspark.MarshalSerializer
```
##PickleSerializer
使用 Python 的 Pickle 序列化器序列化对象。这个序列化器几乎支持任何 Python 对象，但可能不如更专业的序列化器快。
```python
class pyspark.PickleSerializer
```
让我们看一个关于 PySpark 序列化的例子。在这里，我们使用 MarshalSerializer 对数据进行序列化。

```python
--------------------------------------serializing.py-------------------------------------
from pyspark.context import SparkContext
from pyspark.serializers import MarshalSerializer
sc = SparkContext("local", "serialization app", serializer = MarshalSerializer())
print(sc.parallelize(list(range(1000))).map(lambda x: 2 * x).take(10))
sc.stop()
--------------------------------------serializing.py-------------------------------------
```
执行结果如下：
```bash
$SPARK_HOME/bin/spark-submit serializing.py
[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]
```

大象教程

Spark SQL

Spark Streaming

Spark GraphX

PySpark 教程

大象教程

Spark SQL

Spark Streaming

Spark GraphX

PySpark 教程

加我微信交流吧