Spark 编程指南

OGeek|极客世界-中国程序员成长平台 › 门户 › 编程› 数据库›Spark 编程指南

RSS

Spark Streaming基本概念

SparkStreaming基本概念在了解简单的例子的基础上，下面将介绍编写Spark Streaming应用程序必需的一些基本概念。关联初始化StreamingContext离散流输入DStreamsDStream中的转换DStr_来自Spark 编程指南 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：111 | 回复：0
Spark Streaming关联

Spark Streaming关联与Spark类似，Spark Streaming也可以利用maven仓库。编写你自己的Spark Streaming程序，你需要引入下面的依赖到你的SBT或者Maven项目中dependency_来自Spark 编程指南 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：107 | 回复：0
初始化StreamingContext

初始化StreamingContext为了初始化Spark Streaming程序，一个StreamingContext对象必需被创建，它是Spark Streaming所有流操作的主要入口。一个StreamingContext对象可以用S_来自Spark 编程指南 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：121 | 回复：0
Spark Streaming离散流

离散流（DStreams）离散流或者DStreams是Spark Streaming提供的基本的抽象，它代表一个连续的数据流。它要么是从源中获取的输入流，要么是输入流通过转换算子生成的处理后的数据流。在内部，DStreams由一系列连续的R ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:06 | 阅读：105 | 回复：0
Spark 共享变量

共享变量一般情况下，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量被复制到每台机器上，并且这些变量在远程机器上的所有 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：51 | 回复：0
Spark 快速上手

Spark快速上手本节课程提供一个使用 Spark 的快速介绍，首先我们使用 Spark 的交互式 shell(用 Python 或 Scala) 介绍它的 API。当演示如何在 Java, Scala 和 Python 写独立的程_来自Spark 编程指南 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：70 | 回复：0
Spark 独立应用程序

独立应用程序现在假设我们想要使用 Spark API 写一个独立的应用程序。我们将通过使用 Scala(用 SBT)，Java(用 Maven) 和 Python 写一个简单的应用程序来学习。我们用 Scala 创建一个非常简单的 Spark_来自Spark 编程 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：57 | 回复：0
Spark Shell

使用 Spark Shell基础Spark 的 shell 作为一个强大的交互式数据分析工具，提供了一个简单的方式来学习 API。它可以使用 Scala(在 Java 虚拟机上运行现有的 Java 库的一个很好方式) 或 Python。在_来自Spark 编程指南 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：55 | 回复：0
Spark 运行程序

Spark 运行程序祝贺你成功运行你的第一个 Spark 应用程序!要深入了解 API，可以从Spark编程指南开始，或者从其他的组件开始，例如：Spark Streaming。要让程序运行在集群(cluster)上，前往部署概论。最后，Spa_来自S ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：56 | 回复：0
Spark RDDs

弹性分布式数据集 (RDDs)Spark 核心的概念是 Resilient Distributed Dataset (RDD)：一个可并行操作的有容错机制的数据集合。有 2 种方式创建 RDDs：第一种是在你的驱动程序中并行化一个已经存在的_来自Spark 编程指 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：66 | 回复：0
Spark 并行集合

Spark并行集合并行集合 (Parallelized collections) 的创建是通过在一个已有的集合(Scala Seq)上调用 SparkContext 的 parallelize 方法实现的。集合中的元素被复制到一个可_来自Spark 编程指南 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：74 | 回复：0
Spark 外部数据集

外部数据集Spark 可以从任何一个 Hadoop 支持的存储源创建分布式数据集，包括你的本地文件系统，HDFS，Cassandra，HBase，Amazon S3等。 Spark 支持文本文件(text files)，SequenceFile_来自Spark 编程指南 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:05 | 阅读：97 | 回复：0
Spark 编程介绍

Spark 编程指南简体中文版本书出处：http://endymecy.gitbooks.io/spark-programming-guide-zh-cn/content/从这里开始你能够从spark官方网站查看一些spark运行例子。另外，S_来自Spark 编程指南 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：57 | 回复：0
Spark 快速入门

设置Spark在本机设置和运行Spark非常简单。你只需要下载一个预构建的包，只要你安装了Java 6+和Python 2.6+，就可以在Windows、Mac OS X和Linux上运行Spark。确保java程序在PATH环境变量中，或者设置了JAVA_HOME环境 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：55 | 回复：0
Spark 编程指南

概论在高层中，每个 Spark 应用程序都由一个驱动程序(driver programe)构成，驱动程序在集群上运行用户的 mian 函数来执行各种各样的并行操作(parallel operations)。Spark 的主要抽象是提供一个弹性分_来自Spark 编 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：44 | 回复：0
引入 Spark

引入 SparkSpark 1.2.0 使用 Scala 2.10 写应用程序，你需要使用一个兼容的 Scala 版本(例如：2.10.X)。写 Spark 应用程序时，你需要添加 Spark 的 Maven 依赖，Spark 可以通过_来自Spark 编程指南 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：60 | 回复：0
初始化 Spark

初始化 SparkSpark 编程的第一步是需要创建一个 SparkContext 对象，用来告诉 Spark 如何访问集群。在创建 SparkContext 之前，你需要构建一个 SparkConf 对象， SparkConf 对象包含了_来自Spark 编程指南 ...……

作者：菜鸟教程小白 | 时间：2022-2-2 19:04 | 阅读：67 | 回复：0

12 / 2 页

客服电话

电子邮件

Spark 编程指南

Spark Streaming基本概念

Spark Streaming关联

初始化StreamingContext

Spark Streaming离散流

Spark 共享变量

Spark 快速上手

Spark 独立应用程序

Spark Shell

Spark 运行程序

Spark RDDs

Spark 并行集合

Spark 外部数据集

Spark 编程介绍

Spark 快速入门

Spark 编程指南

引入 Spark

初始化 Spark

关于我们

产品与服务

解决方案

139-2527-9053