大數據技術Hadoop面試題(三)

　　分析：它是可以被修改的Hadoop的基礎配置文件是hadoop-default.xml，默認建立一個Job的時候會建立Job的Config，Config首先讀入hadoop-default.xml的配置，然后再讀入hadoop-site.xml的配置(這個文件初始的時候配置為空)，hadoop-site.xml中主要配置需要覆蓋的hadoop-default.xml的系統級配置。

　　15.Nagios不可以監控Hadoop集群，因為它不提供Hadoop支持。(錯誤)

　　分析：Nagios是集群監控工具，而且是云計算三大利器之一

　　16.如果NameNode意外終止，SecondaryNameNode會接替它使集群繼續工作。(錯誤)

　　分析：SecondaryNameNode是幫助恢復，而不是替代，如何恢復，可以查看

　　17.ClouderaCDH是需要付費使用的。(錯誤)

　　分析：第一套付費產品是ClouderaEnterpris，ClouderaEnterprise在美國加州舉行的Hadoop大會(HadoopSummit)上公開，以若干私有管理、監控、運作工具加強Hadoop的功能。收費采取合約訂購方式，價格隨用的Hadoop叢集大小變動。

　　18.Hadoop是Java開發的，所以MapReduce只支持Java語言編寫。(錯誤)

　　分析：rhadoop是用R語言開發的，MapReduce是一個框架，可以理解是一種，可以使用其他語言開發。

　　19.Hadoop支持數據的隨機讀寫。(錯)

　　分析：lucene是支持隨機讀寫的，而hdfs只支持隨機讀。但是HBase可以來補救。HBase提供隨機讀寫，來解決Hadoop不能處理的問題。HBase自底層設計開始即聚焦于各種可伸縮性問題：表可以很“高”，有數十億個數據行;也可以很“寬”，有數百萬個列;水平分區并在上千個普通商用機節點上自動復制。表的模式是物理存儲的直接反映，使系統有可能提高高效的數據結構的序列化、存儲和檢索。

　　20.NameNode負責管理metadata，client端每次讀寫請求，它都會從磁盤中讀取或則會寫入metadata信息并反饋client端。(錯誤)

　　此題分析：

　　NameNode不需要從磁盤讀取metadata，所有數據都在內存中，硬盤上的只是序列化的結果，只有每次namenode啟動的時候才會讀取。

　　1)文件寫入

　　Client向NameNode發起文件寫入的請求。

　　NameNode根據文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。

　　Client將文件劃分為多個Block，根據DataNode的地址信息，按順序寫入到每一個DataNode塊中。

　　2)文件讀取

　　Client向NameNode發起文件讀取的請求。

　　21.NameNode本地磁盤保存了Block的位置信息。(個人認為正確，歡迎提出其它意見)

　　分析：DataNode是文件存儲的基本單元，它將Block存儲在本地文件系統中，保存了Block的Meta-data，同時周期性地將所有存在的Block信息發送給NameNode。NameNode返回文件存儲的DataNode的信息。

　　Client讀取文件信息。

　　22.DataNode通過長連接與NameNode保持通信。()

　　這個有分歧：具體正在找這方面的有利資料。下面提供資料可參考。

　　首先明確一下概念：

　　(1).長連接

　　Client方與Server方先建立通訊連接，連接建立后不斷開，然后再進行報文發送和接收。這種方式下由于通訊連接一直存在，此種方式常用于點對點通訊。

　　(2).短連接

　　Client方與Server每進行一次報文收發交易時才進行通訊連接，交易完畢后立即斷開連接。此種方式常用于一點對多點通訊，比如多個Client連接一個Server.

　　23.Hadoop自身具有嚴格的權限管理和安全措施保障集群正常運行。(錯誤)

　　hadoop只能阻止好人犯錯，但是不能阻止壞人干壞事

　　24.Slave節點要存儲數據，所以它的磁盤越大越好。(錯誤)

　　分析：一旦Slave節點宕機，數據恢復是一個難題

　　25.hadoopdfsadmin–report命令用于檢測HDFS損壞塊。(錯誤)

　　26.Hadoop默認調度器策略為FIFO(正確)

　　27.集群內每個節點都應該配RAID，這樣避免單磁盤損壞，影響整個節點運行。(錯誤)

　　分析：首先明白什么是RAID，可以參考百科磁盤陣列。這句話錯誤的地方在于太絕對，具體情況具體分析。題目不是重點，知識才是最重要的。因為hadoop本身就具有冗余能力，所以如果不是很嚴格不需要都配備RAID。具體參考第二題。

　　28.因為HDFS有多個副本，所以NameNode是不存在單點問題的。(錯誤)

　　29.每個map槽就是一個線程。(錯誤)

　　分析：首先我們知道什么是map槽,map槽->mapslotmapslot只是一個邏輯值(org.apache.hadoop.maPd.TaskTracker.TaskLauncher.numFreeSlots)，而不是對應著一個線程或者進程

　　30.MaPduce的inputsplit就是一個block。(錯誤)

　　31.NameNode的WebUI端口是50030，它通過jetty啟動的Web服務。(錯誤)

　　32.Hadoop環境變量中的HADOOP_HEAPSIZE用于設置所有Hadoop守護線程的內存。它默認是200GB。(錯誤)

　　hadoop為各個守護進程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)統一分配的內存在hadoop-env.sh中設置，參數為HADOOP_HEAPSIZE，默認為1000M。

　　33.DataNode首次加入cluster的時候，如果log中報告不兼容文件版本，那需要NameNode執行“Hadoopnamenode-format”操作格式化磁盤。(錯誤)

　　分析：

　　首先明白介紹，什么ClusterID

　　ClusterID

　　添加了一個新的標識符ClusterID用于標識集群中所有的節點。當格式化一個Namenode，需要提供這個標識符或者自動生成。這個ID可以被用來格式化加入集群的其他Namenode。

　　二次整理

　　有的同學問題的重點不是上面分析內容：內容如下：

　　這個報錯是說明DataNode所裝的Hadoop版本和其它節點不一致，應該檢查DataNode的Hadoop版本