《大數(shù)據(jù)開發(fā)技術(shù)（二）》20春期末考核
 
一、單選題 (共 15 道試題,共 30 分)
1.GraphX中（）方法可以查詢頂點信息
A.numVertices
B.numEdges
C.vertices
D.edges
正確答案:

2.MLlib 中可以調(diào)用mllib.tree.DecisionTree 類中的靜態(tài)方法（）訓(xùn)練回歸樹
A.trainClassifier
B.trainRegressor
C.LogisticRegressionModel
D.LabeledPoint
正確答案:

3.以下哪個函數(shù)可以對RDD進(jìn)行去重（）
A.sortBy
B.filter
C.distinct
D.intersection
正確答案:

4.圖是一種數(shù)據(jù)元素間為（）關(guān)系的數(shù)據(jù)結(jié)構(gòu)
A.多對多
B.一對一
C.一對多
D.多對一
正確答案:

5.GraphX中（）方法可以查詢度數(shù)
A.degrees
B.degree
C.vertices
D.edges
正確答案:

6.Scala中（）方法返回一個列表，包含除了第一個元素之外的其他元素
A.head
B.init
C.tail
D.last
正確答案:

7.GraphX中graph.triplets可以得到（）
A.頂點視圖
B.邊視圖
C.頂點與邊的三元組整體視圖
D.有向圖
正確答案:

8.spark-submit配置項中（）表示啟動的executor數(shù)量
A.--num-executors NUM
B.--executor-memory MEM
C.--total-executor-cores NUM
D.--executor-coures NUM
正確答案:

9.（）是AMPLab發(fā)布的一個R開發(fā)包，使得R擺脫單機運行的命運，可以作為Spark的Job運行在集群上
A.SparkR
B.BlinkDB
C.GraphX
D.Mllib
正確答案:

10.Spark GraphX中類Graph的collectNeighborIds(edgeDirection: EdgeDirection)方法可以（）
A.收集鄰居頂點的頂點Id和頂點屬性
B.收集鄰居頂點的頂點Id
C.向指定頂點發(fā)送信息并聚合信息
D.將頂點信息更新到圖中
正確答案:

11.Mllib中線性會館算法中的參數(shù)reParam表示（）
A.要運行的迭代次數(shù)
B.梯度下降的步長
C.是否給數(shù)據(jù)加干擾特征或者偏差特征
D.Lasso 和ridge 的正規(guī)化參數(shù)
正確答案:

12.Scala列表方法中通過給定的方法將所有元素重新計算的方法是（）
A.filter
B.foreach
C.map
D.mkString
正確答案:

13.Scala函數(shù)組合器可以把一個二維的列表展開成一個一維的列表的方法是（）
A.filter
B.flatten
C.grouby
D.flatmap
正確答案:

14.GraphX中（）方法可以釋放頂點緩存
A.cache
B.presist
C.unpersistVertices
D.edges.unpersist
正確答案:

15.Spark GraphX中類Graph的aggregateMessages方法可以（）
A.收集鄰居頂點的頂點Id和頂點屬性
B.收集鄰居頂點的頂點Id
C.向指定頂點發(fā)送信息并聚合信息
D.將頂點信息更新到圖中
正確答案:

二、多選題 (共 10 道試題,共 20 分)
16.MLBase包括（）
A.Mllib
B.MLI
C.SparkR
D.GraphX
正確答案:

17.Spark創(chuàng)建DataFrame對象方式有（）
A.結(jié)構(gòu)化數(shù)據(jù)文件
B.外部數(shù)據(jù)庫
C.RDD
D.Hive中的表
正確答案: 

18.TF-IDF中IDF指的是（）
A.詞頻
B.詞在文檔中出現(xiàn)的次數(shù)
C.逆文檔概率
D.詞在文檔集中出現(xiàn)的概率
E.詞在文檔集中出現(xiàn)的概率
正確正確答案:

19.Spark中DataFrame的（）方法是查詢指定字段的數(shù)據(jù)信息
A.select
B.selectExpr
C.col
D.apply
正確答案: 

20.以下算法中屬于監(jiān)督學(xué)習(xí)算法的是（）
A.KNN算法
B.邏輯回歸
C.隨機森林
D.Kmeans
正確答案: 

21.以下哪個方法可以從集合中創(chuàng)建RDD（）
A.parallelize
B.makeRDD
C.textFile
D.loadFile
正確答案:

22.Scala函數(shù)支持（）
A.遞歸函數(shù)
B.高階函數(shù)
C.柯里化
D.匿名函數(shù)
正確答案: 

23.GraphX中Edge邊對象存有（）字段
A.srcId
B.dstId
C.attr
D.val
正確答案: 

24.Spark中的RDD的說法正確的是（）
A.彈性分布式數(shù)據(jù)集
B.是Spark中最基本的數(shù)據(jù)抽象
C.代表一個可變的集合
D.代表的集合里面的元素可并行計算
正確答案: 

25.Spark支持使用（）語言編寫應(yīng)用
A.Scala
B.Python
C.Java
D.R
正確答案:

三、判斷題 (共 10 道試題,共 20 分)
26.Scala高階函數(shù)可以使用函數(shù)作為參數(shù)，也可以使用函數(shù)作為輸出結(jié)果。
答案:

27.RDD的sortBy函數(shù)包含參數(shù)numPartitions，該參數(shù)決定排序后的RDD的分區(qū)個數(shù)，默認(rèn)排序后的分區(qū)個數(shù)和排序之前的個數(shù)相等，即為this.partitions.size。
答案:

28.RDD的filter過濾會將返回值為true的過濾掉
答案:

29.RDD的subtract用于用于將前一個RDD 中在后一個RDD 出現(xiàn)的元素刪除
答案:

30.圖（Graph）是一種復(fù)雜的非線性結(jié)構(gòu)
答案:

31.Spark中DataFrame 的查詢操作也是一個懶操作， 僅僅生成一個查詢計劃， 只有觸發(fā)Action 操作才會進(jìn)行計算并返回查詢結(jié)果。
答案:

32.RDD的map操作不會改變RDD的分區(qū)數(shù)目
答案:

33.Scala 集合分為可變的和不可變的集合
答案:

34.Spark RDD 是惰性求值的， 如果需要對一個RDD 多次使用，那么調(diào)用行動操作時每次都需要重復(fù)計算RDD 以及它的依賴。
答案: 

35.Scala 列表與數(shù)組非常相似，列表的所有元素可具有不同的類型。
答案: 

四、主觀填空題 (共 5 道試題,共 10 分)
36.Scala函數(shù)組合器可以把一個二維的列表展開成一個一維的列表的方法是##
答案: 

37.Mllib中線性會館算法中的參數(shù)reParam默認(rèn)值是##
答案:

38.假設(shè)集合A 有5 個元素，集合B 有10 個元素，使用RDDcartesian函數(shù)會返回##個元素的組合
答案: 

39.Scala中定義函數(shù)的關(guān)鍵字是##
正確答案: 

40.Spark SQL 可以通過##方法將HDFS 上的格式化文件轉(zhuǎn)換為DataFrame
答案: 

五、問答題 (共 1 道試題,共 10 分)
41.請闡述Spark對數(shù)據(jù)進(jìn)行持久化的特點
答案: 

六、名詞解釋 (共 2 道試題,共 10 分)
42.SparkR
答案:

 
43.DStream
正確答案: