vincenta
- 浏览: 18353 次
- 性别:
- 来自: 广州
-
最新评论
文章列表
最近在yarn 上運行spark 遇到一個奇怪的問題：
Diagnostics: ExitCodeException exitCode=2:
gzip: /spare/hadoop/yarn/local/filecache/21_tmp/tmp_spark2-hdp-yarn-archive.tar.gz: unexpected end of file
tar: This does not look like a tar archive
tar: Exiting with failure status due to previous errors
查閲了很多資料，偶然看 ...
在使用idea + maven 進行spark app 本地(windows)開發的過程中，遇到了java.lang.ClassNotFoundException:$$anonfun$1 .
val conf = new SparkConf
conf.setMaster(spark://<ip>:7077)
經過查閲資料，發現引起這個問題的原因是因爲jvm 沒有把最新的代碼全部讀取。因爲我是在本地開發的，所以最新代碼在local, 而master 我是指向了spark cluster, 因而導致在spark cluster 運行時 jvm 沒有得到最 ...
Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE
此原因是由於httpclient & httpcore 版本過低(<4.3)
Solution :
替換hadoop_home folder 下面所有httpclient & httpcore.jar 為大於4.3. (保守起見，把sqoop , hive ,hbase ,spark 下對應的包也檢查替換一下。)
[from] http://www.agildata.com/apache-spark-rdd-vs-dataframe-vs-dataset/
There Are Now 3 Apache Spark APIs. Here’s How to Choose the Right One
See Apache Spark 2.0 API Improvements: RDD, DataFrame, DataSet and SQL here.
Apache Spark is evolving at a rapid pace, including changes and add ...
今天在maven compile 的過程中突然遇到這樣一個問題: error: inconvertible types.
翻查了網上資料，最終發現是由於jdk 7 對於類型的支持進行了更嚴格的限制。貌似取消了自動拆箱的支持.
修改之前的code： (boolean)data[i][0]
應該改成：(Boolean)data[i][0]
refer : http://stackoverflow.com/questions/15769308/why-am-i-getting-an-inconvertible-type-error
將 CA cert 導入 java 即可.
${JAVA_HOME}/bin/keytool -import -trustcacerts -noprompt -alias <alias_of_cert> -file <path_of_cert> -keystore ${JAVA_HOME}/jre/lib/security/cacerts -storepass changeit
經過網上苦尋，最終翻查了在\hadoop-2.7.2\share\hadoop\common\lib (我用的版本是2.7.2) 找到了htrace-core-3.1.0-incubating.
這個sampleBuilder 只在3.1.0裏面有，在現在最新的版本4.1.0已經消失了。所以只需要mvn install 這個jar 就好了。
[轉]http://www.blogjava.net/snoics/archive/2010/10/10/333408.html
加上hadoop-auth-xx.jar
[轉]http://www.cnblogs.com/hyl8218/p/5492450.html
[轉]http://blog.csdn.net/u012554102/article/details/47971697
原因是hadoop-core中的ipc 版本太低。
解決方法是：在pom 中加入hadoop-hdfs / hadoop-common / hadoop-client ，同時刪除hadoop-core即可
本文只作記錄和參考，希望對自己或者各位路人都有多少價值。
在實際開發過程中，配置信息會因為不同環境而有所不同。而過多的人工干預，會增加工作量和錯誤率。現在記錄的是如何使用maven快速安全地切換配 ...
Bean Life Cycle (Initialization & Destory)
We have 3 ways to control th life-cycle of Bean.
1) @PostConstruct and @PreDestory
2) afterPropertiesSet() from interface InitializingBean
destory() from interface DisposableBean
3) Standard method naming, init() & destory()
Abo ...
最近使用ssh構建服務器，用於與android客戶端的通訊。期間每每添加action或者new method都必須改配置文件，久而久之很煩，於是於昨夜決定，今日起身后嘗試用annotation返回json(過往不曾嘗試...).
由於之前嘗試使用annotation跳轉到頁面，因此覺得返回json應該是差不多的。不過真的誰試誰知道...哎...
最後通過木有大腿的毅力，終於成果了。遂記，或拯救他人於水深火熱之中。
先說說需要的jars,如下圖:
然後，看一下目錄結構:
對於m ...
在不假思索的将/lib下的所有jar 添加到项目去之后，出现了各种各样诡异的错误,比如说什么gxp。google无果,遂立心再从零开始,并记以博客供日后查询。
回顾电脑中的上一个Struts2版本已经是2.2.1，看来鄙人阔别都已经有相当时间...
小试了一下，2.3.3( 2.2.1<x<2.3.3， x没有作全部测试 )在基础jar方面有那么一点增加。
增加的是 commons-lang3.jar.
以上是配置的最少包数。
接着是对web.xml进行配置,使用的是Struts2自带的filter.
<?xml versio ...