问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

如何使用idea开发hadoop程序

发布网友 发布时间:2022-05-07 04:30

我来回答

2个回答

热心网友 时间:2023-10-15 15:52

(1)准备工作
1) 安装JDK 6或者JDK 7
2) 安装scala 2.10.x (注意版本)
2)下载Intellij IDEA最新版(本文以IntelliJ IDEA Community Edition 13.1.1为例说明,不同版本,界面布局可能不同):
3)将下载的Intellij IDEA解压后,安装scala插件,流程如下:
依次选择“Configure”–> “Plugins”–> “Browse repositories”,输入scala,然后安装即可

(2)搭建Spark源码阅读环境(需要联网)
一种方法是直接依次选择“import project”–> 选择spark所在目录 –> “SBT”,之后intellij会自动识别SBT文件,并下载依赖的外部jar包,整个流程用时非常长,取决于机器的网络环境(不建议在windows下操作,可能遇到各种问题),一般需花费几十分钟到几个小时。注意,下载过程会用到git,因此应该事先安装了git。
第二种方法是首先在linux操作系统上生成intellij项目文件,然后在intellij IDEA中直接通过“Open Project”打开项目即可。在linux上生成intellij项目文件的方法(需要安装git,不需要安装scala,sbt会自动下载)是:在spark源代码根目录下,输入sbt/sbt gen-idea
注:如果你在windows下阅读源代码,建议先在linux下生成项目文件,然后导入到windows中的intellij IDEA中。

热心网友 时间:2023-10-15 15:52

其实,你弄错了hadoop的真正意图。首先,hadoop不适合于开发WEB程序。hadoop的优势在于大规模的分布式数据处理。负责数据的分析并采用分布式数据库(hbase)来存储。但是,hadoop有个特点是,所有的数据处理作业都是批处理的,也就是说hadoop在实...
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
小鹏交付怎么评分 2024年5月趋乾黄道吉日 2024年5月哪天适合趋乾 2024年6月词讼黄道吉日 2024年6月哪天适合词讼 2024年8月成服黄道吉日 2024年8月哪天适合成服 2024年8月26日黄道吉日 百度识图在线识别这个人是 百度怎样识别明星是谁? 海绵城市都建什么 包钢股票前景如何 600010包钢股份这支股票我现在被套百分之六了,后市该怎么操作,适合做长 ... 关于理想的名言名句。 白居易是哪里人呢? 关于立志或理想的名言名句 白居易是什么诗人 历史上的白居易是个什么样的人 网站看电影的时候字幕和声音不匹配是怎么回事儿 我的电脑放电影时字幕和声音不同步,怎么回事,换了播放器也一样 用手机爱奇艺看电影,电视剧,演员说话跟不上字幕谁知道怎么回事吗 用爱奇艺看在线视频,有时会出现字幕和声音不同步的情况,还一卡一卡的。有时候在PPTV也会有这样的情 华为被别的账号登录、然后自己登录后备忘录联系人没有了怎么办? P30通讯录图标不见了 我申请了闲鱼玩家机构入驻怎么没有反应? 咸鱼被抽查审核多久能恢复, 闲鱼玩家认证怎么一个月了还在审核中的?那个全网影响力一直显示在审核中... 闲鱼校园圈审核要多久 同牌子不同型号的手机电池可以混用吗?谢谢了,大神帮忙啊 不同品牌的充电电池 能否混用??? 不同品牌电池混用安全吗 两种不同牌子的电池能一起用会损坏电器吗 不同品牌的电池可以混合—起用嘛? 白居易是谁? 关于理想的名言名句带出处解释 怎样快速去腋臭? 怎么去狐臭会快速有效 腋臭怎么治用什么方法好的最快去根 春天必做的7件事是什么? 春天应该做够哪些事? 运城盐湖区禹香苑东门高架桥运城中医火疗养生会所 山西省运城市盐湖区禹香园在哪个街道 linux安装的时候分区被删掉了,怎么恢复 运城禹香苑小区有拆迁通知吗 运城禹香苑照片 运城禹香苑 车厘子26-28mm是几j 山西运城学苑路禹香苑14-15号是不是在盐湖区? 运城市热力有限公司怎么样? 关于卸载linux和恢复硬盘空间 春天做哪些事情会更健康? 运城星河尚品交通方便吗?应该怎么过去? 请问autocad2007半圆怎么画?最好有图