怎么设置hive中map 个数 控制map任务数

mapreduce程序运行过程中，为什么map阶段只显示0%，或者100%的进度，中间进度不显示？ 你的map任务运行太快，控制台是每隔一定时间显示job运行进度的，所以应该是你的map运行太快，所以直接从0蹦到100了java中使用map时控制其所占内存 你可以在放入键值对的时候增加一个统计Map容量的方法，就是在你往Map放入的时候，同时更新一个累加变量，增加的值就是本次加入的大小。也可以直接继承一个Map的子类，然后重写其put方法达到监听的目的。另外，键值数据类型是否必要？可以使用内存占用更短的类型。你可以使用JProfiler来分析下你的程序的内存、cpu占用情况，更好的优化程序…如何控制job的map任务和reduce任务的数量 map的数量map的数量通常是由hadoop集群的DFS块大小确定的，也就是输入文件的总块数，正常的map数量的并行规模大致是每一个Node是10~100个，对于CPU消耗较小的作业可以设置Map数量为300个左右，但是由于hadoop的每一个任务在初始化时需要一定的时间，因此比较合理的情况是每个map执行的时间至少超过1分钟。具体的数据分片是这样的，InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分片，每一个分片会由一个map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端进行自定义设置。还有一个重要参数就是mapred.map.tasks，这个参数设置的map数量仅仅是一个提示，只有当InputFormat 决定了map任务的个数比mapred.map.tasks值小时才起作用。同样，Map任务的个数也能通过使用JobConf 的conf.setNumMapTasks(int num)方法来手动地设置。这个方法能够用来增加map任务的个数，但是不能设定任务的个数小于Hadoop系统通过分割输入数据得到的值。当然为了提高集群的并发效率，可以设置一个默认的map数量，当用户的map数量较小或者比本身自动分割的值还小时可以使用一个相对交大的默认值，从而提高整体hadoop集群的效率。2 reduece的。hadoop2.0 和1.0的区别 1.Hadoop 1.0中的资源管理方案Hadoop 1.0指的2113是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列5261的Hadoop，内核主要由HDFS和MapReduce两个系4102统组成，其中，MapReduce是一个离线1653处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）三部分组成。Hadoop 1.0资源管理由两部分组成：资源表示模型和资源分配模型，其中，资源表示模型用于描述资源的组织方式，Hadoop 1.0采用“槽位”（slot）组织各节点上的资源，而资源分配模型则决定如何将资源分配给各个作业/任务，在Hadoop中，这一部分由一个插拔式的调度器完成。Hadoop引入了“slot”概念表示各个节点上的计算资源。为了简化资源管理，Hadoop将各个节点上的资源（CPU、内存和磁盘等）等量切分成若干份，每一份用一个slot表示，同时规定一个task可根据实际需要占用多个slot。通过引入“slot“这一概念，Hadoop将多维度资源抽象简化成一种资源（即slot），从而大大简化了资源管理问题。更进一步说，slot相当于任务运行“许可证”，一个任务只有得到该“许可证”后，才能够获得运行的机会，这也意味着，每个节点上的slot数目决定了该节点上的。Hadoop 中 map任务数，reduce任务数 和机器节点数之间是什么关系 一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的goalSize=totalSize/mapred.map.tasksinSize=max {mapred.min.split.size，minSplitSize}splitSize=max(minSize，min(goalSize，dfs.block.size))一个task的reduce数量，由partition决定。hadoop集群中不会自动释放jvm内存吗 1.内存hadoop为各个守护进程（namenode，secondarynamenode，jobtracker，datanode，tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为。

#数据处理#autocad#hive#input#hadoop