大象教程
首页
Spark
Hadoop
HDFS
MapReduce
Hive
Spark 教程
Spark 教程
Spark 基本架构及运行原理
Spark 安装(本地模式)
Spark 安装(集群模式)
Spark Shell 的使用
使用Intellij idea编写Spark应用程序(Scala+Maven)
使用Intellij idea编写Spark应用程序(Scala+SBT)
SparkContext
Spark Stage
Spark Executor
Spark RDD
Spark RDD 的创建方式
Spark RDD 缓存机制
Spark 键值对 RDD
Spark RDD 基本操作
Spark RDD 依赖关系图
Spark Map 和 FlatMap 的比较
Spark DAG
Spark 集群管理器
Spark spark-submit 提交应用程序
Spark 共享变量
Spark SQL
Spark SQL 教程
Spark SQL 数据类型
Spark SQL DataFrame
Spark SQL 数据源
Spark SQL SparkSession
Spark SQL DataSet
RDD、DataFrame和DataSet的区别
Spark Streaming
Spark Streaming 教程
Spark Streaming DStream
Spark Streaming 检查点(checkpoint)
Spark GraphX
Spark GraphX 教程
Spark GraphX 图操作
Spark GraphX 算法实例
PySpark 教程
PySpark 教程
PySpark 环境设置
PySpark SparkContext
PySpark RDD
PySpark 广播和累加器
PySpark SparkConf
PySpark SparkFiles
PySpark 存储级别
PySpark MLlib
PySpark 序列化器
#PySpark SparkConf 要在本地/集群上运行 Spark 应用程序,您需要设置一些配置和参数,这就是 SparkConf 的帮助。它提供了运行 Spark 应用程序的配置。以下代码块包含 PySpark 的 SparkConf 类的详细信息。 ```python class pyspark.SparkConf ( loadDefaults = True, _jvm = None, _jconf = None ) ``` 最初,我们将使用 SparkConf() 创建一个 SparkConf 对象,该对象来自spark。现在您可以使用 SparkConf 对象设置不同的参数,并且它们的参数将优先于系统属性。 在 SparkConf 类中,有支持链接的 setter 方法。例如,你可以写```conf.setAppName(“PySpark App”).setMaster(“local”)```。 一旦我们将 SparkConf 对象传递给 Apache Spark,任何用户都无法修改它。 以下是 SparkConf 的一些最常用的属性: - set(key, value):设置配置属性。 - setMaster(value): 设置主 URL。 - setAppName(value): 设置应用程序名称。 get(key, defaultValue=None): 获取key的配置值。 - setSparkHome(value): 在工作节点上设置 Spark 安装路径。 让我们考虑以下在 PySpark 程序中使用 SparkConf 的示例。在此示例中,我们将 spark 应用程序名称设置为PySpark App并将 spark 应用程序的主 URL 设置为 ```spark://master:7077```。 以下代码块包含这些行,当它们被添加到 Python 文件中时,它会设置运行 PySpark 应用程序的基本配置。 ```python from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName("PySpark App").setMaster("spark://master:7077") sc = SparkContext(conf=conf) ```
加我微信交流吧