北京弱電系統工程運維人員需要掌握的必備技能有哪些？凱源恒瑞北京監控安裝工程公司最了解！

發布日期：2022-12-28 / 點擊次數：987

北京弱電系統工程運維人員需要掌握的必備技能有哪些？凱源恒瑞北京監控安裝工程公司最了解！

運維是一個融合多學科(網絡、系統、開發、安全、應用架構、存儲等)的綜合性技術崗位。

從最初的網絡管理（網管）發展到現在的系統運維工程師、網絡運維工程師、安全運維工程師、運維開發工程師等，可以看出，運維的分工一直在細化，并且對綜合技能要求越來越高。

未來運維的發展趨勢是高、精、尖。高表示高度，精表示精通，尖表示尖端，也就是運維職場一定要站在一定的技術高度，在多個技術領域中，要精通某項技能，同時對尖端前沿技術一定要能掌控趨勢。

根據不同的運維領域和技術面以及分工流程三個方面來了解下2019年運維職位的發展趨勢。

1.按領域來劃分

1）基礎設施運維：IDC/網絡運維、服務器/存儲設備運維
2）系統運維：系統中間件運維、云計算平臺運維
3）數據運維：數據庫運維、大數據技術平臺運維
4）應用運維：應用軟件系統
5）云平臺運維：公有云平臺運維
6）容器運維：基于容器服務的運維

2.按技術切面來分

1）安全運維
2）性能運維
3）數據運維
4）集成運維

3.按流程來劃分

1）構建/持續集成、發布
2）安裝部署、升級、遷移、合并、擴展
3）配置、初始化、配置變更
4）備份、傳輸、恢復
5）日志、監控、預警
6）診斷排查、優化

系統運維是運維的基礎，新的一年中，對基礎運維技能要求也在提高，打好系統運維基礎，才能深入學習后面的各種運維技能。

下圖列出了系統運維要掌握的必備技能：

時至今日，容器技術在國內大多數企業中落地已成為一種共識，而國內的生態系統，也呈現出了企業產品、開源社區和公有云齊頭并進的良好局面。

因此，2019年也是容器繼續快速落地的一年，下圖列出了大數據運維要掌握的各種必備技能。

對數據的維護和管理至關重要，特別是日志數據，對運維來說，通過日志可以比較準確全面地知道系統或是設備的運行情況，可以返查問題產生的原因，還原問題發生的整個過程。

通過日志也可以提前預測系統可能要發生的問題或是故障，如系統安全日志，如果網絡攻 擊會在系統安全日志中有一定的體現。

這么多的日志，運維要通過各種手段完成日志的收集、過濾分析、可視化展示，那么如何實現這些功能呢？

方法很多，例如ELK集成套件（Elasticsearch , Logstash, Kibana）就可以輕松實現日志數據的實時收集、分析傳輸以及圖形化展示。

那么要如何使用ELK呢，根據日志量的不同，對應的ELK架構也不盡相同，看下面幾個常見架構：

此架構主要是將Logstash部署在各個節點上搜集相關日志、數據，并經過分析、過濾后發送給遠端服務器上的Elasticsearch進行存儲。

Elasticsearch再將數據以分片的形式壓縮存儲，并提供多種API供用戶查詢、操作。用戶可以通過Kibana Web直觀的對日志進行查詢，并根據需求生成數據報表。

此架構的優點是搭建簡單，易于上手。缺點是Logstash消耗系統資源比較大，運行時占用CPU和內存資源較高。

另外，由于沒有消息隊列緩存，可能存在數據丟失的風險。此架構建議供初學者或數據量小的環境使用。

由此衍生出來了第二種架構：

此架構主要特點是引入了消息隊列機制，位于各個節點上的Logstash Agent（一級Logstash，主要用來傳輸數據）先將數據傳遞給消息隊列（常見的有Kafka、Redis等）。

接著，Logstash server（二級Logstash，主要用來拉取消息隊列數據，過濾并分析數據）將格式化的數據傳遞給Elasticsearch進行存儲。

最后，由Kibana將日志和數據呈現給用戶。由于引入了Kafka（或者Redis）緩存機制，即使遠端Logstash server因故障停止運行，數據也不會丟失，因為數據已經被存儲下來了。

這種架構適合于較大集群、數據量一般的應用環境，但由于二級Logstash要分析處理大量數據，同時Elasticsearch也要存儲和索引大量數據，因此它們的負荷會比較重，解決的方法是將它們配置為集群模式，以分擔負載。

此架構的優點在于引入了消息隊列機制，均衡了網絡傳輸，從而降低了網絡閉塞尤其是丟失數據的可能性，但依然存在Logstash占用系統資源過多的問題，在海量數據應用場景下，可能會出現性能瓶頸。

最后，還有第三種架構：

這個架構是在上面第二個架構基礎上改進而來的，主要是將前端收集數據的Logstash Agent換成了filebeat，消息隊列使用了kafka集群，然后將Logstash和Elasticsearch都通過集群模式進行構建。

此架構適合大型集群、海量數據的業務場景，它通過將前端Logstash Agent替換成filebeat，有效降低了收集日志對業務系統資源的消耗。

同時，消息隊列使用kafka集群架構，有效保障了收集數據的安全性和穩定性，而后端Logstash和Elasticsearch均采用集群模式搭建，從整體上提高了ELK系統的高效性、擴展性和吞吐量。

大數據分析最早就來源于運維人的日志分析，到逐漸發展對各種業務的分析，人們發現這些數據蘊涵著非常大的價值。

那么如何用大數據思維做運維呢，大數據架構上的一個思維就是：提供一個平臺讓運維方便解決這些問題， 而不是，讓大數據平臺去解決出現的問題。

基本的一個大數據運維架構是這樣的：

對于運維的監控，利用大數據思維，需要分三步走：

獲取需要的數據
過濾出異常數據并設置告警閥值
通過第三方監控平臺進行告警

所有系統最可靠的就是日志輸出，系統是不是正常，發生了什么情況，我們以前是出了問題去查日志，或者自己寫個腳本定時去分析。現在這些事情都可以整合到一個已有的平臺上，我們唯一要做的就是定義分析日志的的邏輯。