RT. 疑问：spark对于迭代运算场景很有优势，那对于迭代不严重的计算场景呢？1，655 ？ 邀请回答 ？ 添加评论 ？ 4 6 人赞同了该回答 。
hadoop和大数据的关系？和spark的关系？ hadoop和spark之间的关系？hadoop和所谓的大数据之间的关系？1998年9月4日，Google公司在美国硅谷成立。正如大家所知，它是一家做搜索引擎起家的公司。。
Spark如何进行迭代计算？每次迭代都产生新的RDD么？ 在Spark中，RDD是不可变的对象集合，那么对于如神经网络等需要迭代计算的算法中，权值w是如何保存在RDD中…
自从flink成熟之后，spark是否慢慢成为鸡肋？ 谢邀我们来看看Apache Flink和Apache Spark有什么异同1、Spark在SQL上的优化，尤其是DataFrame到DataSet…
一次请求对一个spark dataset 进行上千次的迭代查询 affairs：一年来婚外情的频率gender：性别age：年龄yearsmarried：婚龄children：是否有小孩religiousness：宗教信仰程度（5分制，1分表示反对，5分表示非常信仰）education：学历occupation：职业（逆向编号的戈登7种分类）
spark mllib lda主题模型一般迭代多少次 1.1 LDA实例实例步骤：1）加载数据返回的数据格式为：documents：RDD[(Long，Vector)]，其中：Long为文章ID，Vector为文章分词后的词向量；用户可以读取指定目录下的数据，通过分词以及数据格式的转换，转换成RDD[(Long，Vector)]即可。2）建立模型模型参数设置说明：k：主题数，或者聚类中心数DocConcentration：文章分布的超参数(Dirichlet分布的参数)，必需>；1.0TopicConcentration：主题分布的超参数(Dirichlet分布的参数)，必需>；1.0MaxIterations：迭代次数setSeed：随机种子CheckpointInterval：迭代计算时检查点的间隔Optimizer：优化计算方法，目前支持\"em\"，\"online3）结果输出topicsMatrix以及topics(word，topic))输出。实例代码如下：[java]view plain copyimport org.apache.log4j.{ Level，Logger }import org.apache.spark.{ SparkConf，SparkContext }import org.apache.spark.mllib.clustering.LDAimport org.apache.spark.mllib.linalg.Vectorsobject lda {def main(args：Array[String]){0 构建Spark对象val conf=new SparkConf().setAppName(\"lda\")val sc=new SparkContext(conf)Logger.getRootLogger.setLevel(Level.WARN)1 。
如何使用spark进行需要增量修改的迭代计算？ spark声称支持迭代计算，是因为中间数据在内存中，但是RDD是只读的，而一般来说迭代计算都会需要进行增量…
大数据里spark和hadoop的mr相比有哪些优势，能否用较通俗的语言解释一下？ spark是内存计算框架，而mr是离线计算框架。因此，与mr相比，spark计算速度更快，尤其是迭代运算。spark进行计算时，会将中间结果缓存在内存里，当需要再次使用时，不需要从磁盘读取数据。而mr需要将中间结果写入磁盘，再次使用时需要从磁盘重新读取。磁盘i/o通常十分耗时。除了离线计算速度更快以外，spark比mr适用场景更多，spark的streaming模块可以实现实时或近线流式计算。此外，sparksql可以让你方便的使用sql来分析数据。
spark mllib lda主题模型一般迭代多少次 LDA主题模型的评价指标是困惑度，困惑度越小，模型越好。所以，可以跑一组实验，看不同迭代次数对应的困惑度是多少，画一条曲线，最小困惑度对应的迭代次数即为最佳次数。迭代次数太少，会导致模型尚未收敛，迭代次数太多，又会浪费计算资源。
Spark中的RDD是什么技术，怎么理解和使用？ 1、RDD是什么RDD：Spark的核心概念是RDD(resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。为什么会产生RDD？（1）传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法。（2）RDD的具体描述RDD（弹性数据集）是Spark提供的最重要的抽象的概念，它是一种有容错机制的特殊集合，可以分布在集群的节点上，以函数式编 操作集合的方式，进行各种并行操作。可以将RDD理解为一个具有容错机制的特殊集合，它提供了一种只读、只能有已存在的RDD变换而来的共享内存，然后将 所有数据都加载到内存中，方便进行多次重用。a.他是分布式的，可以分布在多台机器上，进行计算。b.他是弹性的，计算过程中内错不够时它会和磁盘进行数 据交换。c.这些限制可以极大的降低自动容错开销d.实质是一种更为通用的迭代并行计算框架，用户可以显示的控制计算的中间结果，然后将其自由运用于之后 的计算。（3）RDD的容错机制实现分布式数据集容错方法有两种：数据检查点和记录更新RDD采用。
