vincenta的博客
vincenta · 共 14 篇文章
最近在yarn 上運行spark 遇到一個奇怪的問題: Diagnostics: ExitCodeException exitCode=2: gzip: /spare/hadoop/yarn/local/filecache/21_tmp/tmp_spark2-hdp-yarn-archive.tar.gz: unexpected end of file tar: This does not look like a tar archive tar: Exiting with failure status due to previous errors 查閲了很多資料,偶然看到以下的url 受到啓…
2017-03-28 11:38 · spark · 评论(0)
在使用idea + maven 進行spark app 本地(windows)開發的過程中,遇到了java.lang.ClassNotFoundException:$$anonfun$1 . val conf = new SparkConf conf.setMaster(spark://<ip>:7077) 經過查閲資料,發現引起這個問題的原因是因爲jvm 沒有把最新的代碼全部讀取。因爲我是在本地開發的,所以最新代碼在local, 而master 我是指向了spark cluster, 因而導致在spark cluster 運行時 jvm 沒有得到最新的代碼。 解決方案有2個: 1. 在lo…
2017-03-27 11:45 · spark · 评论(0)
Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE 此原因是由於httpclient & httpcore 版本過低(<4.3) Solution : 替換hadoop_home folder 下面所有httpclient & httpcore.jar 為大於4.3. (保守起見,把sqoop , hive ,hbase ,spark 下對應的包也檢查替換一下。)
2017-03-06 20:54 · Hadoop · 评论(0)
[from] http://www.agildata.com/apache-spark-rdd-vs-dataframe-vs-dataset/ There Are Now 3 Apache Spark APIs. Here’s How to Choose the Right One See Apache Spark 2.0 API Improvements: RDD, DataFrame, DataSet and SQL here . Apache Spark is evolving at a rapid pace, including changes and additions to c…
2017-02-08 09:24 · spark · 评论(0)
今天在maven compile 的過程中突然遇到這樣一個問題: error: inconvertible types. 翻查了網上資料,最終發現是由於jdk 7 對於類型的支持進行了更嚴格的限制。貌似取消了自動拆箱的支持. 修改之前的code: (boolean)data[i][0] 應該改成:(Boolean)data[i][0] refer : http://stackoverflow.com/questions/15769308/why-am-i-getting-an-inconvertible-type-error
2016-12-08 09:25 · maven · 评论(0)
將 CA cert 導入 java 即可. ${JAVA_HOME}/bin/keytool -import -trustcacerts -noprompt -alias <alias_of_cert> -file <path_of_cert> -keystore ${JAVA_HOME}/jre/lib/security/cacerts -storepass changeit
2016-10-23 13:23 · maven · 评论(0)
經過網上苦尋,最終翻查了在\hadoop-2.7.2\share\hadoop\common\lib (我用的版本是2.7.2) 找到了htrace-core-3.1.0-incubating. 這個sampleBuilder 只在3.1.0裏面有,在現在最新的版本4.1.0已經消失了。所以只需要mvn install 這個jar 就好了。
2016-08-09 11:17 · Hadoop · 评论(0)
[轉]http://www.blogjava.net/snoics/archive/2010/10/10/333408.html 加上hadoop-auth-xx.jar
2016-08-09 10:00 · Hadoop · 评论(0)
[轉]http://www.cnblogs.com/hyl8218/p/5492450.html
2016-08-09 09:57 · Hadoop · 评论(0)
[轉]http://blog.csdn.net/u012554102/article/details/47971697 原因是hadoop-core中的ipc 版本太低。 解決方法是:在pom 中加入hadoop-hdfs / hadoop-common / hadoop-client ,同時刪除hadoop-core即可
2016-08-08 23:37 · Hadoop · 评论(0)
本文只作記錄和參考,希望對自己或者各位路人都有多少價值。 在實際開發過程中,配置信息會因為不同環境而有所不同。而過多的人工干預,會增加工作量和錯誤率。現在記錄的是 如何使用maven快速安全地切換配置信息 而不需要多餘的人工修改干預。我們就以最常見的數據庫信息切換作為例子。 Project Structure: ------src | ------ main | ------java | ------ 省略,此處不是重點 | ------resources | ------ db.properties | ------ filters | ------ db-dev.properties |…
2016-04-09 21:12 · maven · 评论(0)
Bean Life Cycle (Initialization & Destory) We have 3 ways to control th life-cycle of Bean. 1) @PostConstruct and @PreDestory 2) afterPropertiesSet() from interface InitializingBean destory() from interface DisposableBean 3) Standard method naming, init() & destory() Above are 3 mechanisms, if appl…
2012-12-27 21:50 · Spring · 评论(0)
最近使用ssh構建服務器,用於與android客戶端的通訊。期間每每添加action或者new method都必須改配置文件,久而久之很煩,於是於昨夜決定,今日起身后嘗試用annotation返回json(過往不曾嘗試...). 由於之前嘗試使用annotation跳轉到頁面,因此覺得返回json應該是差不多的。不過真的誰試誰知道...哎... 最後通過木有大腿的毅力,終於成果了。遂記,或拯救他人於水深火熱之中。 先說說需要的jars,如下圖: 然後,看一下目錄結構: 對於model 的話,像平常一樣使用json annotation就可以,在此就不截圖了。 現在來看一下action. im…
2012-05-19 20:41 · struts2 · 评论(0)
在不假思索的将/lib下的所有jar 添加到项目去之后,出现了各种各样诡异的错误,比如说什么gxp。google无果,遂立心再从零开始,并记以博客供日后查询。 回顾电脑中的上一个Struts2版本已经是2.2.1,看来鄙人阔别都已经有相当时间... 小试了一下,2.3.3( 2.2.1<x<2.3.3, x没有作全部测试 )在基础jar方面有那么一点增加。 增加的是 commons-lang3.jar. 以上是配置的最少包数。 接着是对web.xml进行配置,使用的是Struts2自带的filter. <?xml version="1.0" encoding="UTF-8"?> <web-a…
2012-05-11 09:15 · struts2 · 评论(0)