Alibaba Cloudのログ収集機能を使ってみた

初めまして、SBCloudのtetsuです。初めてのテックブログの投稿ですので、よろしくお願いいたします。

突然ですが、日々システムを運用・保守している(?)皆さんは、クラウド環境のログをどのように確認しているのでしょうか。おそらく個々のサーバーにログインして、ログを調査するというような経験をされた方は多いのではないかと思います。

Alibaba Cloudでは、複数のサーバーのログを一元的に収集して保存、そしてそのログを監視したり、分析したり・・ということが簡単にできるのです。

今回はAlibaba Cloudの提供するログの管理機能のうち、ログ収集の方法についてご紹介したいと思います。

Alibaba Cloudのログ収集機能

Alibaba Cloudのログ管理プロダクトはLog Serviceと呼ばれています。このLog Seiviceの、LogHubという機能を使ってログの収集を行います。

Log Serviceはログの収集、処理(短期保管、他のサービスとの連携、可用性の確保など)、転送、照会、分析までを簡単に一元管理できるプロダクトです。
詳しくはまたの機会にご紹介できればと思います。

実際にLogHubを使ってみる

では、実際にLogHubを使ってみます。
今回は、2台のECSからログを収集する環境を作ります。

ログ収集するにあたって、収集対象のサーバーにlogtailというログ収集ツールをインストールする必要があります。インストールした各サーバーのLogtailエージェントがLogHubに対してログの送信を行うイメージです。

設定手順の概要は、以下になります。
・プロジェクトの作成
・ログストアの作成
・ログ収集対象のECSにLogtailをインストール
・Alibaba CloudのコンソールからLogtailの構成を作成
・ログ収集の動作確認

設定方法

1. まず、プロジェクトを作成します。プロジェクトというのは、Log Serviceを管理する入れ物のようなもので、Alibaba Cloudは、このプロジェクト毎にLog Serviceを管理します。

2. 次に、ログストアを作成します。ログストアもプロジェクトと同じように入れ物のようなものです。LogHub(ログの収集、処理機能)、LogSearch(ログの収集、分析機能)、LogShipper(ログの転送機能)で扱うログをここで設定・定義します。

※1. と2. の具合的な操作手順について、今回は省略しますので、クイックスタートやユーザーガイドを参考にしてください。

3. ログ収集対象の2台のECSにLogtailをインストールします。

# wget http://logtail-release-ap-northeast-1.oss-ap-northeast-1-internal.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install ap-northeast-1_vpc

4. インストールが完了するとLogtailが自動起動されます。
Logtailが起動したことを確認します。

# /etc/init.d/ilogtaild status
ilogtail is running

 

Alibaba CloudのコンソールからLogtail構成を作成します。

5. 該当のログストアから「Logtail構成」を選択します。

 

6. 「作成」を選択します。

 

7. 「1.データソースの選択」で「テキスト」を選択して、「次」へを選択します。

 

8. 「2.収集モードの指定」で以下の項目を入力します。
今回は/var/log/messagesファイルを監視対象にします。
・構成名:logtail-test01(任意の構成名)
・ログパス:/var/log
・ファイル名:messages
・モード:シンプルモード
入力が終わったら、「次へ」を選択します。

 

9. 「3.マシングループに適用」で「マシングループの作成」を選択します。

 

10. 「マシングループの作成」画面が表示されるので、以下の項目を入力します。
・マシングループ名:log-group01(任意のグループ名)
・マシングループの識別子:IP
・IP :監視したいECSのプライベートIP、今回は2台分設定
入力が終わったら、「確認」を選択します。

 

11. 作成したマシングループ名にチェックを入れて、「マシングループに適用」を選択します。

 

これで、Logtailが構成されました。

実際に、ログ収集が、正しく動作しているか見てましょう。

12.ログストアリストの画面から、LogHubの「表示」を選択します。

13.ログファイルに変更があった場合、その内容が確認できます。

 

今回、収集元のECSのログは以下の赤枠部分となりますが・・・・・、

ECS1

ECS2

以下のように無事、収集することができました!

最後に

今回は、ログ収集にLogtailを使用する方法を紹介いたしましたが、Logstashやfluentdなどのオープンソースログ収集ツールを使用することもできます。
また、収集したログをOSS(オブジェクトストレージサービス)やTableStoreなどのAlibaba Cloudのサービスと連携して、大量データの長期保存、分析をすることもできます。
この辺については、今後紹介していきたいと思います。

 

この記事をシェアする