大數(shù)據(jù)技術(shù)Hadoop面試題(三)

更新：2023-09-19 21:14:36 高考升學(xué)網(wǎng)

　　分析：它是可以被修改的Hadoop的基礎(chǔ)配置文件是hadoop-default.xml，默認(rèn)建立一個(gè)Job的時(shí)候會(huì)建立Job的Config，Config首先讀入hadoop-default.xml的配置，然后再讀入hadoop-site.xml的配置(這個(gè)文件初始的時(shí)候配置為空)，hadoop-site.xml中主要配置需要覆蓋的hadoop-default.xml的系統(tǒng)級(jí)配置。

　　15. Nagios 不可以監(jiān)控 Hadoop 集群，因?yàn)樗惶峁?Hadoop 支持。(錯(cuò)誤 )

　　分析：Nagios是集群監(jiān)控工具，而且是云計(jì)算三大利器之一

　　16. 如果 NameNode 意外終止，SecondaryNameNode 會(huì)接替它使集群繼續(xù)工作。(錯(cuò)誤 )

　　分析：SecondaryNameNode是幫助恢復(fù)，而不是替代，如何恢復(fù)，可以查看

　　17. Cloudera CDH 是需要付費(fèi)使用的。(錯(cuò)誤 )

　　分析：第一套付費(fèi)產(chǎn)品是Cloudera Enterpris，Cloudera Enterprise在美國加州舉行的 Hadoop 大會(huì) (Hadoop Summit) 上公開，以若干私有管理、監(jiān)控、運(yùn)作工具加強(qiáng) Hadoop 的功能。收費(fèi)采取合約訂購方式，價(jià)格隨用的 Hadoop 叢集大小變動(dòng)。

　　18. Hadoop 是 Java 開發(fā)的，所以 MapReduce 只支持 Java 語言編寫。(錯(cuò)誤 )

　　分析：rhadoop是用R語言開發(fā)的，MapReduce是一個(gè)框架，可以理解是一種，可以使用其他語言開發(fā)。

　　19. Hadoop 支持?jǐn)?shù)據(jù)的隨機(jī)讀寫。(錯(cuò) )

　　分析：lucene是支持隨機(jī)讀寫的，而hdfs只支持隨機(jī)讀。但是HBase可以來補(bǔ)救。HBase提供隨機(jī)讀寫，來解決Hadoop不能處理的問題。HBase自底層設(shè)計(jì)開始即聚焦于各種可伸縮性問題：表可以很“高”，有數(shù)十億個(gè)數(shù)據(jù)行;也可以很“寬”，有數(shù)百萬個(gè)列;水分區(qū)并在上千個(gè)普通商用機(jī)節(jié)點(diǎn)上自動(dòng)復(fù)制。表的模式是物理存儲(chǔ)的直接反映，使系統(tǒng)有可能提高高效的數(shù)據(jù)結(jié)構(gòu)的序列化、存儲(chǔ)和檢索。

　　20. NameNode 負(fù)責(zé)管理 metadata，client 端每次讀寫請求，它都會(huì)從磁盤中讀取或則會(huì)寫入 metadata 信息并反饋 client 端。(錯(cuò)誤)

　　此題分析：

　　NameNode 不需要從磁盤讀取 metadata，所有數(shù)據(jù)都在內(nèi)存中，硬盤上的只是序列化的結(jié)果，只有每次 namenode 啟動(dòng)的時(shí)候才會(huì)讀取。

　　1)文件寫入

　　Client向NameNode發(fā)起文件寫入的請求。

　　NameNode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。

　　Client將文件劃分為多個(gè)Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。

　　2)文件讀取

　　Client向NameNode發(fā)起文件讀取的請求。

　　21. NameNode 本地磁盤保存了 Block 的位置信息。( 個(gè)人認(rèn)為正確，歡迎提出其它意見)

　　分析：DataNode是文件存儲(chǔ)的基本單元，它將Block存儲(chǔ)在本地文件系統(tǒng)中，保存了Block的Meta-data，同時(shí)周期性地將所有存在的Block信息發(fā)送給NameNode。NameNode返回文件存儲(chǔ)的DataNode的信息。

　　Client讀取文件信息。

　　22. DataNode 通過長連接與 NameNode 保持通信。( )

　　這個(gè)有分歧：具體正在找這方面的有利資料。下面提供資料可參考。

　　首先明確一下概念：

　　(1).長連接

　　Client方與Server方先建立通訊連接，連接建立后不斷開，然后再進(jìn)行報(bào)文發(fā)送和接收。這種方式下由于通訊連接一直存在，此種方式常用于點(diǎn)對點(diǎn)通訊。

　　(2).短連接

　　Client方與Server每進(jìn)行一次報(bào)文收發(fā)交易時(shí)才進(jìn)行通訊連接，交易完畢后立即斷開連接。此種方式常用于一點(diǎn)對多點(diǎn)通訊，比如多個(gè)Client連接一個(gè)Server.

　　23. Hadoop 自身具有嚴(yán)格的權(quán)限管理和安全措施保障集群正常運(yùn)行。(錯(cuò)誤 )

　　hadoop只能阻止好人犯錯(cuò)，但是不能阻止壞人干壞事

　　24. Slave 節(jié)點(diǎn)要存儲(chǔ)數(shù)據(jù)，所以它的磁盤越大越好。( 錯(cuò)誤)

　　分析：一旦Slave節(jié)點(diǎn)宕機(jī)，數(shù)據(jù)恢復(fù)是一個(gè)難題

　　25. hadoop dfsadmin –report 命令用于檢測 HDFS 損壞塊。(錯(cuò)誤 )

　　26. Hadoop 默認(rèn)調(diào)度器策略為 FIFO(正確 )

　　27. 集群內(nèi)每個(gè)節(jié)點(diǎn)都應(yīng)該配 RAID，這樣避免單磁盤損壞，影響整個(gè)節(jié)點(diǎn)運(yùn)行。(錯(cuò)誤 )

　　分析：首先明白什么是RAID，可以參考百科磁盤陣列。這句話錯(cuò)誤的地方在于太絕對，具體情況具體分析。題目不是重點(diǎn)，知識(shí)才是最重要的。因?yàn)閔adoop本身就具有冗余能力，所以如果不是很嚴(yán)格不需要都配備RAID。具體參考第二題。

　　28. 因?yàn)?HDFS 有多個(gè)副本，所以 NameNode 是不存在單點(diǎn)問題的。(錯(cuò)誤 )

　　29. 每個(gè) map 槽就是一個(gè)線程。(錯(cuò)誤 )

　　分析：首先我們知道什么是map 槽,map 槽->map slotmap slot 只是一個(gè)邏輯值 ( org.apache.hadoop.mapred.TaskTracker.TaskLauncher.numFreeSlots )，而不是對應(yīng)著一個(gè)線程或者進(jìn)程

　　30. Mapreduce 的 input split 就是一個(gè) block。(錯(cuò)誤 )

　　31. NameNode 的 Web UI 端口是 50030，它通過 jetty 啟動(dòng)的 Web 服務(wù)。(錯(cuò)誤 )

　　32. Hadoop 環(huán)境變量中的 HADOOP_HEAPSIZE 用于設(shè)置所有 Hadoop 守護(hù)線程的內(nèi)存。它默認(rèn)是 200 GB。( 錯(cuò)誤)

　　hadoop為各個(gè)守護(hù)進(jìn)程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)統(tǒng)一分配的內(nèi)存在hadoop-env.sh中設(shè)置，參數(shù)為HADOOP_HEAPSIZE，默認(rèn)為1000M。

　　33. DataNode 首次加入 cluster 的時(shí)候，如果 log 中報(bào)告不兼容文件版本，那需要 NameNode執(zhí)行“Hadoop namenode -format”操作格式化磁盤。(錯(cuò)誤 )

　　分析：

　　首先明白介紹，什么ClusterID

　　ClusterID

　　添加了一個(gè)新的標(biāo)識(shí)符ClusterID用于標(biāo)識(shí)集群中所有的節(jié)點(diǎn)。當(dāng)格式化一個(gè)Namenode，需要提供這個(gè)標(biāo)識(shí)符或者自動(dòng)生成。這個(gè)ID可以被用來格式化加入集群的其他Namenode。

　　二次整理

　　有的同學(xué)問題的重點(diǎn)不是上面分析內(nèi)容：內(nèi)容如下：

　　這個(gè)報(bào)錯(cuò)是說明 DataNode 所裝的Hadoop版本和其它節(jié)點(diǎn)不一致，應(yīng)該檢查DataNode的Hadoop版本