如何高效的學習ApacheSpark？

Spark定義a.是通用的大規模數據處理引擎。

B.Spark是一個大數據分布式處理框架。

3.Spark在性能和方案統一性上優勢明顯。

Spark使用SparkSQL、SparkStreaming、MLlib和Graph幾乎完美地解決了大數據的批處理、流處理和Ad-hocQuery三大核心問題。

如何學習配置spark環境:先安裝linux、java、Scala、Spark等軟件，配置環境變量，搭建一個集群。建議你先熟悉一下linux系統。It學習scala語言和函數式編程有點難。我是學java的，用起來感覺很不舒服。語法感覺怪怪的，需要靜下心來好好學習。特征、對象伴隨對象和分類的概念仍然需要很好地理解。他還有很多優點，比如apply()方法，創建新對象非常方便。用多了，感覺很好用。現在學了java后覺得很好理解，本質一樣，表達不一樣。建議你學java。Spark學習，學習spark最好的方法就是看公文，跟著公文走一遍，基本就明白了。接下來就可以基本上手idea集成編程完成的程序、調試、測試了！接下來要看源代碼，深入Spark內核，通過源代碼掌握Spark的任務提交流程，掌握Spark集群的任務調度，尤其是掌握DAGScheduler、TaskScheduler、Workernode內部的每一步工作。基于Spark上核心框架的使用，學習SparkSQL(關系運算)、SparkStreaming(實時處理)、MLlib(機器學習)、GraphX(圖形處理)。

我們在使用spark的時候一般會用到Yarn框架，所以我覺得需要學習一些Hadoop。它由hdfs和mr(現為YARN)組成。如果有興趣，可以看看這篇文章。

事件

Spark是一個分布式內存計算框架，吸收了MR的優點，用RDD數據表示模型，提供了多種操作符，如map|filter|flatmap|sample|groupbykey|reducebykey|union|join等，并將中間數據放入內存，使得迭代運算效率更高，更適用于實時計算|交互計算或者要求計算量大、效率高的場景。結合紗線，SpaRk可以和MR運行在同一個集群中，共享存儲資源和計算資源。不斷完善的SparkSQL可以兼容Hive，大大增強了Spark的應用范圍和優勢。

Spark是一個基于內存的迭代計算框架，適用于需要多次操作特定數據集的應用。需要重復操作的次數越多，需要讀取的數據量就越大，收益也就越大。當數據量小但計算強度大時，收益相對較小。

總的來說，Spark應用廣泛，通用性強。

Spark特點a.基于內存的運算速度是Mr的100倍，基于磁盤的運算速度是MR的10倍。

Spark有一個DAG(有向無環圖)執行引擎，支持循環數據流和內存計算。

B.使用方便

提供多語言API，可以快速實現應用。與MR相比，代碼簡潔，安裝部署簡單。

C.普遍的

提供強大的技術棧，包括查詢語言SparkSQL、實時流處理工具SparkStreaming、機器學習工具MLlib和圖形計算工具GraphX，Spark旨在構建一個結構集成、功能多樣化的高效數據管道技術棧。

D.集成Hadoop

Spark可以在YARN上運行，并從Hadoop中讀取任何數據。

下面是Spark的生態系統SparkCor:，包含了Spark的基本功能(任務調度、內存管理、故障恢復和存儲系統的交互)，以及RDD|Stag:

彈性分布式數據集是分布式只讀和分區集合對象。

這些集合是有彈性的，如果數據集的一部分丟失，可以重新構建。

它具有自動容錯、位置感知調度和可擴展性等特點。

對于記錄數據的更新，RDD只支持粗粒度的轉換(記錄如何從其他rdd，也就是Lineage，轉換過來，以便恢復丟失的分區)。

數據集容錯有兩種數據檢查點(成本高，服務器間傳輸問題)和記錄數據的更新。

Spark大數據處理框架1。Spark之所以快。

A.統一的RDD抽象和操作:Spark基于RDD抽象，這使得Spark的框架可以輕松使用SparkCore中的所有內容，并且每個框架都可以無縫集成并在內存中完成系統任務。

B.Spark基于統一的技術堆棧。

2.基于記憶的迭代計算

MR應該在每次執行時和計算完成后從磁盤中讀取數據。在磁盤上存儲數據。

Spark是基于內存的，每一個操作都是在內存中計算的。

3.十克

A.是速度快的另一個重要原因。

B.基于RDD，Spark有一個非常復雜的作業調度系統。

C.Dag中有寬依賴和窄依賴，DAG可以根據依賴優化流水線等操作。

D.基于RDD和DAG并行計算整個作業。

4.出色的容錯機制

A.基于DAG圖的沿襲是輕量級和高效的。

B.操作之間有沿襲關系，每個操作只與其父操作相關，每個切片的數據互不影響。

出現錯誤時，只需恢復單個拆分的特定部分。

我覺得spark挺好用的，但是有些場景還是不適用。

歡迎各位大神指點。

cpu從哪里執行指令？

讓讓我們看看數據是如何在CPU中運行的。我們知道，數據從輸入設備流經內存，等待CPU處理。要處理的信息以字節存儲，即以8位二進制數或8位為單位存儲。該信息可以是數據或指令。數據可以是二進制字符、數字、顏色等等。指令告訴CPU如何處理數據，如加、減或移位。

我們假設內存中的數據是最簡單的原始數據。首先，指令指針將通知CPU將要執行的指令將被放置在存儲器中的存儲位置。因為存儲器中的每個存儲單元都有一個編號(稱為地址)，所以可以根據這些地址取出數據，并通過地址總線發送給控制單元。指令解碼器從指令寄存器IR中取出指令，并將其翻譯成CPU可以執行的形式，然后決定需要什么必要的操作來完成該指令。它會告訴算術邏輯單元(ALU)何時計算，指令讀取器何時獲取數值，指令解碼器何時翻譯指令。

如果將數據發送到算術邏輯單元，數據將執行算術運算和指令中指定的其他運算。當數據被處理后，它將返回寄存器并繼續通過不同的指令運行或通過DB總線發送到數據緩沖區。

基本上，這就是CPU執行三個基本任務的讀取數據、處理數據和將數據寫入內存。但在正常情況下，一條指令可以包含許多按明確順序執行的操作。CPU的工作就是執行這些指令。完成一條指令后，CPU的控制單元會告訴指令閱讀器從內存中讀取下一條指令來執行。

這個過程快速而連續地重復，一個接一個的指令被快速執行，產生你在監視器上看到的結果。很容易想到，在處理這么多指令和數據的同時，由于數據傳輸和CPU處理的時間差，肯定會出現處理混亂的情況。為為了確保每一個操作都準時發生，CPU需要一個時鐘，而時鐘控制著CPU執行的每一個動作。時鐘就像一個節拍器，它不斷發出脈沖，決定了CPU的節奏和處理時間。這就是我們所熟悉的CPU的標稱速度，也稱為主頻。主頻值越高，CPU工作越快。