1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
Answer：
程序里面需要打開多個(gè)文件，進(jìn)行分析，系統(tǒng)一般默認(rèn)數(shù)量是1024，（用ulimit -a可以看到）對于正常使用是夠了，但是對于程序來講，就太少了。
修改辦法：
修改2個(gè)文件。
/etc/security/limits.conf
vi /etc/security/limits.conf
加上：
* soft nofile 102400
* hard nofile 409600

$cd /etc/pam.d/
$sudo vi login
添加 session    required     /lib/security/pam_limits.so

2：Too many fetch-failures
Answer:
出現(xiàn)這個(gè)問題主要是結(jié)點(diǎn)間的連通不夠全面。
1) 檢查 、/etc/hosts
   要求本機(jī)ip 對應(yīng) 服務(wù)器名
   要求要包含所有的服務(wù)器ip + 服務(wù)器名
2) 檢查 .ssh/authorized_keys
   要求包含所有服務(wù)器（包括其自身）的public key

3：處理速度特別的慢 出現(xiàn)map很快 但是reduce很慢 而且反復(fù)出現(xiàn) reduce=0% 
Answer:
結(jié)合第二點(diǎn)，然后
修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000 

4：能夠啟動datanode，但無法訪問，也無法結(jié)束的錯(cuò)誤
在重新格式化一個(gè)新的分布式文件時(shí)，需要將你NameNode上所配置的dfs.name.dir這一namenode用來存放NameNode 持久存儲名字空間及事務(wù)日志的本地文件系統(tǒng)路徑刪除，同時(shí)將各DataNode上的dfs.data.dir的路徑 DataNode 存放塊數(shù)據(jù)的本地文件系統(tǒng)路徑的目錄也刪除。如本此配置就是在NameNode上刪除/home/hadoop/NameData，在DataNode上刪除/home/hadoop/DataNode1和/home/hadoop/DataNode2。這是因?yàn)镠adoop在格式化一個(gè)新的分布式文件系統(tǒng)時(shí)，每個(gè)存儲的名字空間都對應(yīng)了建立時(shí)間的那個(gè)版本（可以查看/home/hadoop /NameData/current目錄下的VERSION文件，上面記錄了版本信息），在重新格式化新的分布式系統(tǒng)文件時(shí)，最好先刪除NameData 目錄。必須刪除各DataNode的dfs.data.dir。這樣才可以使namedode和datanode記錄的信息版本對應(yīng)。
注意：刪除是個(gè)很危險(xiǎn)的動作，不能確認(rèn)的情況下不能刪除?。∽龊脛h除的文件等通通備份?。?/span>

5：java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log
出現(xiàn)這種情況大多是結(jié)點(diǎn)斷了，沒有連接上。

6：java.lang.OutOfMemoryError: Java heap space
出現(xiàn)這種異常，明顯是jvm內(nèi)存不夠得原因，要修改所有的datanode的jvm內(nèi)存大小。
Java -Xms1024m -Xmx4096m
一般jvm的最大內(nèi)存使用應(yīng)該為總內(nèi)存大小的一半，我們使用的8G內(nèi)存，所以設(shè)置為4096m，這一值可能依舊不是最優(yōu)的值。（其實(shí)對于最好設(shè)置為真實(shí)物理內(nèi)存大小的0.8）
7：出現(xiàn)map%,但是呢reduce到98%左右的時(shí)候呢，就直接進(jìn)failedjobs了
解決辦法：
檢查mapred.map.tasks是不是設(shè)置的太多了，設(shè)置太多的話會導(dǎo)致處理大量的小文件
檢查mapred.reduce.parallel.copies是否設(shè)置合適。

8:
系統(tǒng)根目錄下的/tmp文件夾是不可以刪除的
否則bin/hadoop jps
會出現(xiàn)異常：
Exception in thread "main" java.lang.NullPointerException  at sun.jvmstat.perfdata.monitor.protocol.local.LocalVmManager.activeVms(LocalVmManager.java:127)
        at sun.jvmstat.perfdata.monitor.protocol.local.MonitoredHostProvider.activeVms(MonitoredHostProvider.java:133)
        at sun.tools.jps.Jps.main(Jps.java:45)
同時(shí)
bin/hive
Unable to create log directory /tmp/hadoopuser

2：Too many fetch-failures
Answer:
出現(xiàn)這個(gè)問題主要是結(jié)點(diǎn)間的連通不夠全面。
1) 檢查 、/etc/hosts
   要求本機(jī)ip 對應(yīng) 服務(wù)器名
   要求要包含所有的服務(wù)器ip + 服務(wù)器名
2) 檢查 .ssh/authorized_keys
   要求包含所有服務(wù)器（包括其自身）的public key

3：處理速度特別的慢 出現(xiàn)map很快 但是reduce很慢 而且反復(fù)出現(xiàn) reduce=0% 
Answer:
結(jié)合第二點(diǎn)，然后
修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000 

4：能夠啟動datanode，但無法訪問，也無法結(jié)束的錯(cuò)誤
在重新格式化一個(gè)新的分布式文件時(shí)，需要將你NameNode上所配置的dfs.name.dir這一namenode用來存放NameNode 持久存儲名字空間及事務(wù)日志的本地文件系統(tǒng)路徑刪除，同時(shí)將各DataNode上的dfs.data.dir的路徑 DataNode 存放塊數(shù)據(jù)的本地文件系統(tǒng)路徑的目錄也刪除。如本此配置就是在NameNode上刪除/home/hadoop/NameData，在DataNode上刪除/home/hadoop/DataNode1和/home/hadoop/DataNode2。這是因?yàn)镠adoop在格式化一個(gè)新的分布式文件系統(tǒng)時(shí)，每個(gè)存儲的名字空間都對應(yīng)了建立時(shí)間的那個(gè)版本（可以查看/home/hadoop /NameData/current目錄下的VERSION文件，上面記錄了版本信息），在重新格式化新的分布式系統(tǒng)文件時(shí)，最好先刪除NameData 目錄。必須刪除各DataNode的dfs.data.dir。這樣才可以使namedode和datanode記錄的信息版本對應(yīng)。
注意：刪除是個(gè)很危險(xiǎn)的動作，不能確認(rèn)的情況下不能刪除?。∽龊脛h除的文件等通通備份??！

5：java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log
出現(xiàn)這種情況大多是結(jié)點(diǎn)斷了，沒有連接上。

6：java.lang.OutOfMemoryError: Java heap space
出現(xiàn)這種異常，明顯是jvm內(nèi)存不夠得原因，要修改所有的datanode的jvm內(nèi)存大小。
Java -Xms1024m -Xmx4096m
一般jvm的最大內(nèi)存使用應(yīng)該為總內(nèi)存大小的一半，我們使用的8G內(nèi)存，所以設(shè)置為4096m，這一值可能依舊不是最優(yōu)的值。（其實(shí)對于最好設(shè)置為真實(shí)物理內(nèi)存大小的0.8）
7：出現(xiàn)map%,但是呢reduce到98%左右的時(shí)候呢，就直接進(jìn)failedjobs了
解決辦法：
檢查mapred.map.tasks是不是設(shè)置的太多了，設(shè)置太多的話會導(dǎo)致處理大量的小文件
檢查mapred.reduce.parallel.copies是否設(shè)置合適。

8:
系統(tǒng)根目錄下的/tmp文件夾是不可以刪除的
否則bin/hadoop jps
會出現(xiàn)異常：
Exception in thread "main" java.lang.NullPointerException  at sun.jvmstat.perfdata.monitor.protocol.local.LocalVmManager.activeVms(LocalVmManager.java:127)
        at sun.jvmstat.perfdata.monitor.protocol.local.MonitoredHostProvider.activeVms(MonitoredHostProvider.java:133)
        at sun.tools.jps.Jps.main(Jps.java:45)
同時(shí)
bin/hive
Unable to create log directory /tmp/hadoopuser

2：Too many fetch-failures
Answer:
出現(xiàn)這個(gè)問題主要是結(jié)點(diǎn)間的連通不夠全面。
1) 檢查 、/etc/hosts
   要求本機(jī)ip 對應(yīng) 服務(wù)器名
   要求要包含所有的服務(wù)器ip + 服務(wù)器名
2) 檢查 .ssh/authorized_keys
   要求包含所有服務(wù)器（包括其自身）的public key

3：處理速度特別的慢 出現(xiàn)map很快 但是reduce很慢 而且反復(fù)出現(xiàn) reduce=0% 
Answer:
結(jié)合第二點(diǎn)，然后
修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000 

4：能夠啟動datanode，但無法訪問，也無法結(jié)束的錯(cuò)誤
在重新格式化一個(gè)新的分布式文件時(shí)，需要將你NameNode上所配置的dfs.name.dir這一namenode用來存放NameNode 持久存儲名字空間及事務(wù)日志的本地文件系統(tǒng)路徑刪除，同時(shí)將各DataNode上的dfs.data.dir的路徑 DataNode 存放塊數(shù)據(jù)的本地文件系統(tǒng)路徑的目錄也刪除。如本此配置就是在NameNode上刪除/home/hadoop/NameData，在DataNode上刪除/home/hadoop/DataNode1和/home/hadoop/DataNode2。這是因?yàn)镠adoop在格式化一個(gè)新的分布式文件系統(tǒng)時(shí)，每個(gè)存儲的名字空間都對應(yīng)了建立時(shí)間的那個(gè)版本（可以查看/home/hadoop /NameData/current目錄下的VERSION文件，上面記錄了版本信息），在重新格式化新的分布式系統(tǒng)文件時(shí)，最好先刪除NameData 目錄。必須刪除各DataNode的dfs.data.dir。這樣才可以使namedode和datanode記錄的信息版本對應(yīng)。
注意：刪除是個(gè)很危險(xiǎn)的動作，不能確認(rèn)的情況下不能刪除！！做好刪除的文件等通通備份??！

5：java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log
出現(xiàn)這種情況大多是結(jié)點(diǎn)斷了，沒有連接上。

6：java.lang.OutOfMemoryError: Java heap space
出現(xiàn)這種異常，明顯是jvm內(nèi)存不夠得原因，要修改所有的datanode的jvm內(nèi)存大小。
Java -Xms1024m -Xmx4096m
一般jvm的最大內(nèi)存使用應(yīng)該為總內(nèi)存大小的一半，我們使用的8G內(nèi)存，所以設(shè)置為4096m，這一值可能依舊不是最優(yōu)的值。（其實(shí)對于最好設(shè)置為真實(shí)物理內(nèi)存大小的0.8）
7：出現(xiàn)map%,但是呢reduce到98%左右的時(shí)候呢，就直接進(jìn)failedjobs了
解決辦法：
檢查mapred.map.tasks是不是設(shè)置的太多了，設(shè)置太多的話會導(dǎo)致處理大量的小文件
檢查mapred.reduce.parallel.copies是否設(shè)置合適。

8:
系統(tǒng)根目錄下的/tmp文件夾是不可以刪除的

（jps is based on jvmstat and it needs to be able to secure a memory mapped file on the temporary file system. 

）
否則bin/hadoop jps
會出現(xiàn)異常：
Exception in thread "main" java.lang.NullPointerException  at sun.jvmstat.perfdata.monitor.protocol.local.LocalVmManager.activeVms(LocalVmManager.java:127)
        at sun.jvmstat.perfdata.monitor.protocol.local.MonitoredHostProvider.activeVms(MonitoredHostProvider.java:133)
        at sun.tools.jps.Jps.main(Jps.java:45)
同時(shí)
bin/hive
Unable to create log directory /tmp/hadoopuser