大数据

OGeek|极客世界-中国程序员成长平台 › 门户 › 编程›大数据

RSS

下级分类:

impala 教程

impala 架构

Impala是在Hadoop集群中的许多系统上运行的MPP（大规模并行处理）查询执行引擎。与传统存储系统不同，impala与其存储引擎解耦。它有三个主要组件，即Impala daemon（Impalad），Impala Statestore和Impala元数据或 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:52 | 阅读：197 | 回复：0
impala 教程

impala 环境

本章介绍了安装Impala的先决条件，如何在系统中下载，安装和设置Impala。与Hadoop及其生态系统软件类似，我们需要在Linux操作系统上安装Impala。由于cloudera提供Impala，因此它可用于Cloudera Quick Start VM。 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:52 | 阅读：223 | 回复：0
impala 教程

impala 概述

什么是Impala？ Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。它是一个用C ++和Java编写的开源软件。与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。换句话说，Impal ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:51 | 阅读：195 | 回复：0
Apache Storm 教程

Apache Storm应用程序

Apache Storm框架支持许多当今最好的工业应用程序。我们将在本章中简要介绍Storm的一些最显着的应用。Klout Klout是一个应用程序，它使用社交媒体分析，根据在线社交影响力通过Klout得分，这是一个介于1和100之间的 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:50 | 阅读：187 | 回复：0
Apache Storm 教程

Apache Storm在雅虎财经上的应用

雅虎财经是互联网领先的商业新闻和金融数据网站。它是雅虎的一部分，并提供有关金融新闻，市场统计，国际市场数据和其他任何人都可以访问的财务资源信息。如果您是注册的Yahoo!用户，那么您可以自定义Yahoo! Finance ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:50 | 阅读：193 | 回复：0
Apache Storm 教程

Apache Storm在Twitter上的应用

在本章中，我们将讨论Apache Storm的实时应用程序。我们将看到Storm如何在Twitter中使用。Twitter Twitter是一种在线社交网络服务，提供发送和接收用户推文的平台。注册用户可以阅读和发布tweet，但未注册的用户只能 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:49 | 阅读：200 | 回复：0
Apache Storm 教程

Apache Storm Trident

Trident是Storm的延伸。像Storm，Trident也是由Twitter开发的。开发Trident的主要原因是在Storm上提供高级抽象，以及状态流处理和低延迟分布式查询。Trident使用spout和bolt，但是这些低级组件在执行之前由Trident自 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:49 | 阅读：211 | 回复：0
Apache Storm 教程

Apache Storm工作实例

我们已经经历了Apache Storm的核心技术细节，现在是时候编写一些简单的场景。场景 - 移动呼叫日志分析器移动呼叫及其持续时间将作为对Apache Storm的输入，Storm将处理和分组在相同呼叫者和接收者之间的呼叫及其呼叫 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:49 | 阅读：197 | 回复：0
Apache Storm 教程

Apache Storm安装

现在，让我们来看看如何在你的机器上安装Apache Storm框架。这里有三个步骤 - 在系统上安装Java，如果你还没有安装。安装ZooKeeper框架。安装Apache Storm框架。步骤1 - 验证Java安装使用以下命令检查系统上是否 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:49 | 阅读：196 | 回复：0
Apache Storm 教程

Apache Storm分布式消息系统

Apache Storm处理实时数据，并且输入通常来自消息排队系统。外部分布式消息系统将提供实时计算所需的输入。Spout将从消息系统读取数据，并将其转换为元组并输入到Apache Storm中。有趣的是，Apache Storm在内部使用 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:49 | 阅读：197 | 回复：0
Apache Storm 教程

Apache Storm工作流程

一个工作的Storm集群应该有一个Nimbus和一个或多个supervisors。另一个重要的节点是Apache ZooKeeper，它将用于nimbus和supervisors之间的协调。现在让我们仔细看看Apache Storm的工作流程 −最初，nimbus将等待“St ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:49 | 阅读：200 | 回复：0
Apache Storm 教程

Apache Storm集群架构

Apache Storm的主要亮点是，它是一个容错，快速，没有“单点故障”（SPOF）分布式应用程序。我们可以根据需要在多个系统中安装Apache Storm，以增加应用程序的容量。让我们看看Apache Storm集群如何设计和其内部架构 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:49 | 阅读：186 | 回复：0
Apache Storm 教程

Apache Storm核心概念

Apache Storm从一端读取实时数据的原始流，并将其传递通过一系列小处理单元，并在另一端输出处理/有用的信息。下图描述了Apache Storm的核心概念。现在让我们仔细看看Apache Storm的组件 - 组件描述TupleTuple是 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:49 | 阅读：200 | 回复：0
Apache Storm 教程

Apache Storm简介

什么是Apache Storm？ Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。虽然Storm是无状态的，它通过Apache ZooKeeper管 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:48 | 阅读：193 | 回复：0
Apache Kafka 教程

Apache Kafka 相关讨论

Apache Kafka起源于LinkedIn，后来在2011年成为开源Apache项目，然后在2012年成为First-class Apache项目。Kafka是用Scala和Java编写的。 Apache Kafka是基于发布订阅的容错消息系统。它是快速，可扩展和设计分布。 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:47 | 阅读：175 | 回复：0
Apache Kafka 教程

Apache Kafka 相关资源

以下资源包含有关Apache Kafka的其他信息。请使用它们获得更多的深入的知识。Apache Kafka 相关链接 Apache Kafka官方网站 - Apache Kafka官方网站 Apache Kafka Wiki - Apache Kafka的维基百科参考Apache Ka_ ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:47 | 阅读：194 | 回复：0
Apache Kafka 教程

Apache Kafka 快速指南

Apache Kafka - 简介在大数据中，使用了大量的数据。关于数据，我们有两个主要挑战。第一个挑战是如何收集大量的数据，第二个挑战是分析收集的数据。为了克服这些挑战，您必须需要一个消息系统。Kafka专为分布式 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:47 | 阅读：202 | 回复：0
Apache Kafka 教程

Apache Kafka 应用

Kafka支持许多当今最好的工业应用。我们将在本章中简要介绍Kafka最为显着的应用。TwitterTwitter是一种在线社交网络服务，提供发送和接收用户推文的平台。注册用户可以阅读和发布tweet，但未注册的用户只能阅读twe ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:47 | 阅读：178 | 回复：0
Apache Kafka 教程

Apache Kafka 工具

Kafka在“org.apache.kafka.tools。下打包的工具。工具分为系统工具和复制工具。系统工具可以使用运行类脚本从命令行运行系统工具。语法如下 - bin/kafka-run-class.sh package.class - - options下面提到一些系统 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:47 | 阅读：202 | 回复：0
Apache Kafka 教程

Apache Kafka 实时应用程序(Twitter)

让我们分析一个实时应用程序，以获取最新的Twitter Feed和其标签。早些时候，我们已经看到了Storm和Spark与Kafka的集成。在这两种情况下，我们创建了一个Kafka生产者(使用cli)向Kafka生态系统发送消息。然后，sto ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:47 | 阅读：180 | 回复：0
Apache Kafka 教程

Apache Kafka 与Spark的集成

在本章中，我们将讨论如何将Apache Kafka与Spark Streaming API集成。关于SparkSpark Streaming API支持实时数据流的可扩展，高吞吐量，容错流处理。数据可以从诸如Kafka，Flume，Twitter等许多源中提取，并且可以 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:47 | 阅读：193 | 回复：0
Apache Kafka 教程

Apache Kafka 整合 Storm

在本章中，我们将学习如何将Kafka与Apache Storm集成。关于StormStorm最初由Nathan Marz和BackType的团队创建。在短时间内，Apache Storm成为分布式实时处理系统的标准，允许您处理大量数据。 Storm是非常快的，并 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:46 | 阅读：188 | 回复：0
Apache Kafka 教程

Apache Kafka 消费者组示例

消费群是多线程或多机器的Apache Kafka主题。消费者群体消费者可以使用相同的 group.id 加入群组一个组的最大并行度是组中的消费者数量←不是分区。_来自Apache Kafka 教程 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:46 | 阅读：189 | 回复：0
Apache Kafka 教程

Apache Kafka 简单生产者示例

让我们使用Java客户端创建一个用于发布和使用消息的应用程序。 Kafka生产者客户端包括以下API。KafkaProducer API让我们了解本节中最重要的一组Kafka生产者API。 KafkaProducer API的中心部分是 KafkaProducer 类。 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:46 | 阅读：172 | 回复：0
Apache Kafka 教程

Apache Kafka 基本操作

首先让我们开始实现单节点单代理配置，然后我们将我们的设置迁移到单节点多代理配置。希望你现在可以在你的机器上安装 Java，ZooKeeper 和 Kafka 。在迁移到 Kafka Cluster Setup 之前，首先需要启动 ZooKeeper， ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:46 | 阅读：194 | 回复：0
Apache Kafka 教程

Apache Kafka 安装步骤

以下是在机器上安装Java的步骤。步骤1 - 验证Java安装希望你已经在你的机器上安装了java，所以你只需使用下面的命令验证它。$ java -version如果java在您的机器上成功安装，您可以看到已安装的Java的版本。步骤1.1 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:46 | 阅读：202 | 回复：0
Apache Kafka 教程

Apache Kafka 工作流程

到目前为止，我们讨论了 Kafka 的核心概念。让我们现在来看一下 Kafka 的工作流程。Kafka 只是分为一个或多个分区的主题的集合。Kafka 分区是消息的线性有序序列，其中每个消息由它们的索引(称为偏移)来标识。Kafka ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:46 | 阅读：182 | 回复：0
Apache Kafka 教程

Apache Kafka 集群架构

看看下面的插图。它显示Kafka的集群图。下表描述了上图中显示的每个组件。S.No组件和说明1Broker（代理）Kafka集群通常由多个代理组成以保持负载平衡。 Kafka代理是无状态的，所以他们使用ZooKeeper来维护它们的集 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:46 | 阅读：183 | 回复：0
Apache Kafka 教程

Apache Kafka 基础

对于大数据，我们要考虑的问题有很多，首先海量数据如何收集（如 Flume），然后对于收集到的数据如何存储（典型的分布式文件系统 HDFS、分布式数据库 HBase、NoSQL 数据库 Redis），其次存储的数据不是存起来就没事 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:46 | 阅读：200 | 回复：0
Apache Kafka 教程

Apache Kafka 概述

在大数据中，使用了大量的数据。关于数据，我们有两个主要挑战。第一个挑战是如何收集大量的数据，第二个挑战是分析收集的数据。为了克服这些挑战，您必须需要一个消息系统。Kafka专为分布式高吞吐量系统而设计。 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:45 | 阅读：186 | 回复：0
Apache Pig 教程

Apache Pig 讨论

Apache Pig是MapReduce的一个抽象。它是一个工具/平台，用于分析较大的数据集，将它们表示为数据流。Pig通常与 Hadoop 一起使用；我们可以使用Pig在Hadoop中执行所有的数据操作操作。_来自Apache Pig 教程 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:39 | 阅读：206 | 回复：0
Apache Pig 教程

Apache Pig 有用资源

以下资源包含有关Apache Pig的其他信息。请使用它们获得有关此主题的更深入的知识。Apache Pig上的有用链接 Apache Pig - Apache Pig的参考。 Pig Wiki - 维基百科参考资料。有用的Apache Pig书籍_来自Apache P ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:39 | 阅读：215 | 回复：0
Apache Pig 教程

Apache Pig 运行脚本

在本章中，我们将了解如何以批处理模式运行Apache Pig脚本。Pig脚本中的注释在将脚本写入文件时，我们可以在其中包含注释，如下所示。多行注释我们将用'/*'开始多行注释，以'*/'结束。/* These are ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:39 | 阅读：213 | 回复：0
Apache Pig 教程

Apache Pig 用户定义函数（UDF）

除了内置函数之外，Apache Pig还为 User Defined Function（UDF：用户定义函数）提供广泛的支持。使用这些UDF，可以定义我们自己的函数并使用它们。UDF支持六种编程语言，即Java，Jython，Python，JavaScript，Rub ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:39 | 阅读：198 | 回复：0
Apache Pig 教程

Apache Pig 数学函数

我们在Apache Pig中有以下Math（数学）函数:S.N.函数＆描述1ABS(expression)获取表达式的绝对值。2ACOS(expression)获得表达式的反余弦值。3ASIN(expression)获取表达式的反正弦值。4ATAN(expression)此函数用于获 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:39 | 阅读：213 | 回复：0
Apache Pig 教程

Apache Pig 日期时间函数

Apache Pig提供以下日期和时间函数 - S.N.函数＆描述1ToDate(milliseconds)此函数根据给定的参数返回日期时间对象。此函数的另一个替代方法是ToDate（iosstring），ToDate（userstring,format），ToDate（userstr_ ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:38 | 阅读：192 | 回复：0
Apache Pig 教程

Apache Pig 字符串函数

在Apache Pig中有以下String函数。S.N.函数＆描述1ENDSWITH(string, testAgainst)验证给定字符串是否以特定子字符串结尾。2STARTSWITH(string, substring)接受两个字符串参数，并验证第一个字符串是否以第二个字符 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:38 | 阅读：194 | 回复：0
Apache Pig 教程

Apache Pig 包和元组函数

下面给出了Bag和Tuple函数的列表。S.N.函数＆描述1TOBAG()将两个或多个表达式转换为包。2TOP()获取关系的顶部 N 个元组。3TOTUPLE()将一个或多个表达式转换为元组。4TOMAP()将key-value对转换为Map。_来自Apache Pi ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:38 | 阅读：217 | 回复：0
Apache Pig 教程

Apache Pig 加载和存储函数

Apache Pig中的加载和存储函数用于确定数据如何从Pig中弹出。这些函数与加载和存储运算符一起使用。下面给出了Pig中可用的加载和存储函数的列表。S.N.函数描述1PigStorage()加载和存储结构化文件。2TextLoader()将 ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:38 | 阅读：205 | 回复：0
Apache Pig 教程

Apache Pig Eval函数

Apache Pig提供了各种内置函数，即 eval，load，store，math，string，bag 和 tuple 函数。Eval函数下面给出了Apache Pig提供的 eval 函数列表。S.N.函数＆描述1AVG()计算包内数值的平均值。2BagToString()将包的_ ...……

作者：菜鸟教程小白 | 时间：2022-2-3 15:38 | 阅读：196 | 回复：0

1 234 5 / 5 页下一页

客服电话

电子邮件

大数据

下级分类:

关于我们

产品与服务

解决方案

139-2527-9053