大象教程
首页
Spark
Hadoop
HDFS
MapReduce
Hive
Spark 教程
Spark 教程
Spark 基本架构及运行原理
Spark 安装(本地模式)
Spark 安装(集群模式)
Spark Shell 的使用
使用Intellij idea编写Spark应用程序(Scala+Maven)
使用Intellij idea编写Spark应用程序(Scala+SBT)
SparkContext
Spark Stage
Spark Executor
Spark RDD
Spark RDD 的创建方式
Spark RDD 缓存机制
Spark 键值对 RDD
Spark RDD 基本操作
Spark RDD 依赖关系图
Spark Map 和 FlatMap 的比较
Spark DAG
Spark 集群管理器
Spark spark-submit 提交应用程序
Spark 共享变量
Spark SQL
Spark SQL 教程
Spark SQL 数据类型
Spark SQL DataFrame
Spark SQL 数据源
Spark SQL SparkSession
Spark SQL DataSet
RDD、DataFrame和DataSet的区别
Spark Streaming
Spark Streaming 教程
Spark Streaming DStream
Spark Streaming 检查点(checkpoint)
Spark GraphX
Spark GraphX 教程
Spark GraphX 图操作
Spark GraphX 算法实例
PySpark 教程
PySpark 教程
PySpark 环境设置
PySpark SparkContext
PySpark RDD
PySpark 广播和累加器
PySpark SparkConf
PySpark SparkFiles
PySpark 存储级别
PySpark MLlib
PySpark 序列化器
#PySpark - 环境设置 在本章中,我们将了解 PySpark 的环境设置。 **注意**:这是默认您的计算机上安装了 Java 和 Scala。 现在让我们通过以下步骤下载并设置 PySpark。 *步骤 1*: 前往官方 Apache Spark下载页面并下载最新版本的 Apache Spark。在本教程中,我们使用spark-2.1.0-bin-hadoop2.7. *步骤 2*: 现在,解压下载的 Spark tar 文件。默认情况下,它将在下载目录中下载。 ```# tar -xvf Downloads/spark-2.1.0-bin-hadoop2.7.tgz``` 它将创建一个目录spark-2.1.0-bin-hadoop2.7. 在启动 PySpark 之前,您需要设置以下环境来设置 Spark 路径和Py4j path. ```bash export SPARK_HOME = /home/hadoop/spark-2.1.0-bin-hadoop2.7 export PATH = $PATH:/home/hadoop/spark-2.1.0-bin-hadoop2.7/bin export PYTHONPATH = $SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH export PATH = $SPARK_HOME/python:$PATH ``` 或者,要全局设置上述环境,请将它们放在.bashrc file. 然后运行以下命令以使环境正常工作。 ```bash # source .bashrc ``` 现在我们已经设置了所有环境,让我们转到 Spark 目录并通过运行以下命令调用 PySpark shell ```bash # ./bin/pyspark ``` 这将启动您的 PySpark shell。 ```bash Python 2.7.12 (default, Nov 19 2021, 06:48:10) [GCC 5.4.0 20210609] on linux2 Type "help", "copyright", "credits" or "license" for more information. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 2.1.0 /_/ Using Python version 2.7.12 (default, Nov 19 2021 06:48:10) SparkSession available as 'spark'. <<< ```
加我微信交流吧