快捷搜索:
来自 计算机编程 2019-12-12 13:12 的文章
当前位置: 67677新澳门手机版 > 计算机编程 > 正文

【67677新澳门手机版】源码下载

生龙活虎、Hadoop景况安插概述

      三台设想机,操作系统为:Ubuntu 16.04。

      Hadoop版本:2.7.2

      NameNode:192.168.72.132

      DataNode:192.168.72.135,192.168.72.136

      注:具配置进程,不有所介绍了,英特网海人民广播广播台湾大学。

二、eclipse(JAVA)情形布署概述

     操作系统:Windows 10

     eclipse版本:Mars.2 Release (4.5.2)

     1.hadoop-eclipse-plugin-2.7.2.jar组件放plugins目录 下,具体怎么计划去网上找。

     2.配置HADOOP_HOME境况变量:E:hadoop-2.7.2,配置PATH遭遇变量,扩展:%HADOOP_HOME%bin

     3.下载:winutils.exe和Hadoop.dll几个文件,放到E:hadoop-2.7.2bin下;Hadoop.dll放到WindowsSystem32下载。

     4.引用hadoop组件包,为了科学,sharehadoopcommon、sharehadoophdfs、sharehadoopmapreduce、sharehadoopyarn,以及各种目录下的lib中的jar包全部援用。

     5.新建项目wordcount,英特网一大堆代码,直接复制就能够了。

     6.支行效果:

67677新澳门手机版 1

三、VS2015(C#)景况布置概述

      1.充实组件援引,分别Install-Package:Microsoft.Azure.Management.HDInsight、Microsoft.Azure.Management.HDInsight.Job 、Microsoft.Hadoop.WebClient、Microsoft.Hadoop.Hive、Microsoft.Hadoop.MapReduce等5个零部件,大概会报WebClient和MapReduce引用的版本号不对,删除WebClient组件援引,重新在MapReduce下援用WebClient组件。

      2.配置C:WindowsSystem32driversetchosts文件,192.168.72.132 wxzz-pc、192.168.72.135 wxzz-pc1、192.168.72.136 wxzz-pc2,不然会报不能连接DataNode。

      3.至此myCluster.StorageSystem.LsFiles和myCluster.StorageSystem.Exists是能够符合规律施行,myCluster.StorageSystem.CopyFromLocal和myCluster.StorageSystem.CopyToLocal一向出现非凡。

      4.新兴在NameNode上安装了Hive,myCluster.StorageSystem.CopyFromLocal和myCluster.StorageSystem.CopyToLocal八个操作才得以健康施行。至此,HDFS的操作没格外了。

      5.myCluster.MapReduceJob.Execute执行mapreduce的时候间接会报不能连接“ip:50111”的非常新闻

      6.新兴安插hive中的webhcat,而且起动服务,myCluster.MapReduceJob.Execute履行又报“67677新澳门手机版 ,Response status code does not indicate success: 500 (Server Error).”万分消息,仓库音讯如下:

StackTrace 
"   在 System.Threading.Tasks.Task.ThrowIfExceptional(Boolean includeTaskCanceledExceptions)rn   
在 System.Threading.Tasks.Task.Wait(Int32 millisecondsTimeout, CancellationToken cancellationToken)rn   在 System.Threading.Tasks.Task.Wait()rn   
在 Microsoft.Hadoop.WebClient.WebHCatClient.WebHcatMapReduceStreamingExecutor.Execute(Boolean throwOnError)rn   
在 Microsoft.Hadoop.MapReduce.Execution.Hadoop.StreamingJobExecutorBase.ExecuteCore(Type mapper, Type reducer, Type combiner, HadoopJobConfiguration config)rn   
在 Microsoft.Hadoop.MapReduce.Execution.Hadoop.StreamingJobExecutorBase.Execute(Type mapperType, Type reducerType, Type combinerType, HadoopJobConfiguration config)rn   
在 Microsoft.Hadoop.MapReduce.Execution.Hadoop.StreamingJobExecutorBase.Execute[TMapper,TReducer](HadoopJobConfiguration config)rn   
在 Hadoop_Demo.Program.Main(String[] args) 位置 C:\Users\WXZZ\Desktop\Hadoop_Demo\Hadoop_Demo\Program.cs:行号 61" string

       找遍互连网,那么些问题也直接未有缓和掉,此中有个回复,请参谋:

67677新澳门手机版 2

       借使是Hdfs协议的难点,那么StorageSystem操作不会实践成功。而单单是mapreduce实践破产,作者疑惑是还是不是是webhcat配置有标题,可能央求数据左券自个儿的难点。

四、总结

    只是一个小规模试制验,尚未曾当真的利用的生育意况。一贯用C#支出,现身那个难点,不能够减轻,也是挺无可奈何的。先举行总计,今后逐步切磋。

五、组件和源代码下载

    http://pan.baidu.com/s/1i48Ln4D


 

1.[连载]《C#电视发表(串口和互连网)框架的规划与完成》

2.[开源]C#跨平台物联网通信框架ServerSuperIO(SSIO)介绍

2.利用SuperIO(SIO)和开源跨平台物联网框架ServerSuperIO(SSIO)创设系统的完好方案

3.C#工业物联网和集成系统技术方案的才能渠道(数据源、数据搜罗、数据上传与吸收接纳、ActiveMQ、Mongodb、WebApi、手提式有线电话机App)

5.ServerSuperIO开源地址:

物联网&集成技能(.NET卡塔尔(قطر‎ QQ群54256083 

本文由67677新澳门手机版发布于计算机编程,转载请注明出处:【67677新澳门手机版】源码下载

关键词: