Alan's BLOG
  • archives
  • posts
  • tags
  • about
  • quote
  • search
Home » Tags

elk

喬叔帶你上手Elastic Stack:Elasticsearch的最佳實踐與最佳化技巧

📚讀後心得 當初在研究Elastic Stack,ILM這部份還不熟時,剛好搜尋到喬叔的鐵人賽文章,閱讀時彷彿挖到了寶,對於Index的管理講解得非常透徹,從Index如何被建立,使用Template以及Alias,再到導入ILM以及搭配Rollover以及Shrink等方式達到索引、搜尋、儲存等最佳化,一步一步穩定順利的完成,真的很感動。 之前使用Elastic Stack並沒有使用到ILM的配置,所以單個Index可能會超過官方建議的大小,並且使用的是以一天為單位,但實務上並非每個服務都是固定的大小,因此導入ILM對於整體的效能會有更好的幫助,並且使用三溫暖架構,讓最新的log都放在效能較好的機器上,較舊的log則隨著自定義的時間轉移到效能較差的機器上,讓搜尋能有更好的體驗。 ...

2022-10-17 · 1 min · 24 words · Alan

在 GCP 環境下使用 Ansible 自動化建立 ELK Stack

📔心得 最近,我在探索 Ansible 自動化工具的過程中,決定運用它來建立 ELK Stack,這是我之前使用 Docker 建立的經驗的延伸。在這個過程中,我想分享一下我的學習心得。 尋找資源 我開始了解 ELK Stack 的安裝過程,首先閱讀了官方文件,熟悉了整個設置流程。接著,我尋找 Ansible 中相關的模組,這讓我更好地理解如何在 Ansible 中實現相同的步驟。 目錄結構的重要性 在撰寫 Ansible Playbook 過程中,我學到了良好的目錄結構是多麼重要。我從最初只有一個主要的 main.yml 開始,逐漸分解出根目錄下的多個 .yml 檔案,然後使用 include 來引入任務。這種結構讓整個 Playbook 更加模組化,易於管理。 使用模板和變數 在創建模板時,我發現了 Jinja2 語法的威力。我可以直接套用變數,這讓我的模板在複製到目標主機時能自動載入所需的參數。此外,我還學會了如何根據我的主機清單(inventory)來動態設定這些參數,這真是強大的功能。 感謝凍仁大的指南 我要特別感謝凍仁大(作者)的 Ansible 教程,我從他的 Ansible GitBook 中學到了許多寶貴的資訊。他的教程簡潔明瞭,對於初學者也非常友好。他的教程甚至提供了 Ansible 在使用 Docker Compose 方面的實際練習,這讓我能更好地掌握 Ansible 的操作技巧。另外,使用 Jupyter Notebook 執行 Ansible 模組也讓我的學習過程更加便利。 如果你對於 Ansible 自動化配置技巧感興趣,我推薦你閱讀這份凍仁大的 Ansible 指南,連結在下方: 🔗凍仁大ansible指南 –> 現代 IT 人一定要知道的 Ansible 自動化組態技巧 此外,我還將我使用 Ansible 建立 ELK Stack 的 Playbook 放在了以下的 GitHub 倉庫,歡迎參考:...

2022-10-17 · 2 min · 338 words · Alan

ELFK-stack-monitor

📔心得 因最近在研究elk-stack,藉此紀錄一下使用docker-compose建立起elk-stack的架構,在建立的過程中,比較多遇到的是記憶體使用率的配置不足,導致容器無法成功啟動,或是config檔權限的問題,因此在filebeat的部分會直接把config檔放進去並改成root權限。 之後希望能再增加logstash的pipeline功能,在實務上可多個服務做篩選,以及elasticsearch的資料安全性配置SSL和叢集架構,並導入ILM做log的空間管理。 監控的部分則是拿之前做的小專案直接套用並呈現,所以整體流程大致上差不多,多了個elasticsearch_exporter,可查看更多elasticsearch的整體狀況,例如index、shard的數量,資料大小,寫入速率等等。 🔗詳細專案位置 –> ELFK-stack-monitor 👨‍💻簡介 🔰ELFK-stack:使用docker-compose建立起elk-stack的架構,主要先從alpine產生假資料並存到filebeat讀取的資料夾,接著filebeat將資料送往logstash,在實務上,會在logstash做filter的功能(未來會新增),接著送到elasticsearch存起來,並透過kibana的ui下去做搜尋所需的log資料。 🔰Monitor:使用cadvisor監控所有容器以及elasticsearch_exporter監控elasticsearch的狀態,並把資料送到prometheus儲存起來,最後透過grafana的ui呈現。 ...

2022-07-03 · 1 min · 45 words · Alan
© 2024 艾倫的程式之旅 Powered by Hugo & PaperMod