hadoop 安装问题总结

 安装启动步骤  [英语好的,直接手把手跟着来]

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

问题

Diagnostics 「诊断」

Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. 
Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory used. Killing container. 

只要在这个 of的 ' 2G physical' * 2.1 大于后面需要的,即可!配置

yarn-site.xml

<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>8196</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>4096</value>
</property>

再具体的可参考

http://blog.chinaunix.net/uid-25691489-id-5587957.html

--------------------- 安装 hive 过程-------

解决bug,第一是问题定位!    [有些是不够具体的错误信息,而在其它log文件才显示]

问题一:Unable to instantiate org.apache.hadoop.hive.metastore.....

直接 通过在hive shell 的异常信息并不能解决问题!   通过查看日志tmp/${user.name}/hive.log”

问题二:当你确定mysql-connector-java- jar 一定in lib里的时候,

<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>

<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver </value>

这俩配置能找区别吗? 对,没错,找出来了,多了个空白,我的天,也许是因为空白留出我的空虚,抒情了我的寂寞!

繁忙的手打,盲目的信心,逝去的光阴,去百度以下

“ The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH ”

或者

The specified datastore driver ("com.mysql.jdbc.Driver ") was not found in the CLASSPATH     

     

 多了个空白,少了半天生命!

问题三:mysql Access denied for user root@localhost

用以下解决,在安装后mysql后,需要对mysql 做root的密码设置! 然后在hive.site.xml对应就好了

# mysqladmin -uroot -p password 'newpassword'

问题四:hive JDODataStoreException: Error executing SQL query "select "DB_ID" from "DBS"" 错误,

hive 未初始化元数据库报错

 跟着来就可以了,主要是./schematool -dbType mysql -initSchema

原文地址:https://www.cnblogs.com/-aye/p/7841021.html