ASP.NET 從 NLog 到 Grafana Loki

前言

最近一個系統中，拆成許多小小的 Service 專案，從前端UI操作如果發生問題時，
要查問題時，往往要去每個 Service 的 Log 檔案查看。
因為是實體檔案，所以要到主機上去看才行。
實在是蠻不方便的，不知有沒有更好的工具來幫忙呢?

實作

要解決以上的問題，可以把 Log 送到 ELK Stack(Elasticsearch, Logstash, Kibana)，
或是使用 Grafana Loki。
接下來以 rainmakerho/ps-microservices-getting-started 來練習從加入 Log 到最後使用 Grafana Loki。

環境準備

從 GettingStarted-AsyncComms branch 開始

取得測試方案

1
2
3
4
5
6
7
8
git clone https://github.com/rainmakerho/ps-microservices-getting-started.git
cd ps-microservices-getting-started
git checkout GettingStarted-AsyncComms
cd GloboTicket\GloboTicket.Services.EventCatalog
dotnet-ef database update
cd ..
cd GloboTicket.Services.ShoppingBasket
dotnet-ef database update

透過 Visual Studio 開啟 GloboTicket.sln ，重建後設定啟動專案如下，

然後直接執行看看是否運作正常。

為 GloboTicket.Client 及 GloboTicket.Services.EventCatalog 加上 Log

在 GloboTicket.Client/Controllers/EventCatalogController.cs 加上 .LogInformation($"Index method called!!!");
在 GloboTicket.Client/Services/EventCatalogService.cs 也分別加上 before/after 的 log.
在 GloboTicket.Services.EventCatalog/Controllers/EventController.cs 也加上 before/after 的 log.
可以切到 addLogs Branch 執行，相關的 Log 會分別由 GloboTicket.Client 及 GloboTicket.Services.EventCatalog 的 Console 視窗輸出，如下，

改用 NLog 寫到 Log 檔案

GloboTicket.Client 及 GloboTicket.Services.EventCatalog專案加入 NLog.Web.AspNetCore 套件，然後在 Program.cs 設定使用 NLog

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
public class Program
{
    public static void Main(string[] args)
    {
        var logger = NLogBuilder.ConfigureNLog("nlog.config").GetCurrentClassLogger();
        try
        {
            logger.Debug("init main function");
            CreateHostBuilder(args).Build().Run();
        }
        catch (Exception ex)
        {
            logger.Error(ex, "Error in init");
            throw;
        }
        finally
        {
            NLog.LogManager.Shutdown();
        }
        //CreateHostBuilder(args).Build().Run();
    }

    public static IHostBuilder CreateHostBuilder(string[] args) =>
        Host.CreateDefaultBuilder(args)
            .ConfigureWebHostDefaults(webBuilder =>
            {
                webBuilder.UseStartup<Startup>();
            })
            .ConfigureLogging(logging =>
            {
                logging.ClearProviders();
                logging.SetMinimumLevel(LogLevel.Information);
            })
            .UseNLog();
}

同時在各專案中加入 nlog.config 來設定要輸出的目標及內容。
GloboTicket.Client 的 nlog.config 內容為，

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" autoReload="true" internalLogLevel="info" internalLogFile="internalLog.txt">
	<extensions>
		<add assembly="NLog.Web.AspNetCore" />
	</extensions>
	<!-- the targets to write to -->
	<targets>
		<!-- write to file -->
		<target xsi:type="File" name="alldata" fileName="Web-${shortdate}.log" layout="${longdate}|${event-properties:item=EventId_Id}|${uppercase:${level}}|${logger}|${message} ${exception:format=tostring}" />
		<target xsi:type="File" name="allinOne" fileName="d:\\GloboTicket-${shortdate}.log" layout="${longdate}|${event-properties:item=EventId_Id}|${uppercase:${level}}|${logger}|${message} ${exception:format=tostring}" />
	</targets>
	<!-- rules to map from logger name to target -->
	<rules>
		<logger name="*" minlevel="Trace" writeTo="allinOne" />
		<!--Skip non-critical Microsoft logs and so log only own logs-->
		<logger name="Microsoft.*" maxLevel="Info" final="true" />
	</rules>
</nlog>

GloboTicket.Services.EventCatalog 的 nlog.config 內容為，

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" autoReload="true" internalLogLevel="info" internalLogFile="internalLog.txt">
	<extensions>
		<add assembly="NLog.Web.AspNetCore" />
	</extensions>
	<!-- the targets to write to -->
	<targets>
		<!-- write to file -->
		<target xsi:type="File" name="alldata" fileName="EventCatalog-${shortdate}.log" layout="${longdate}|${event-properties:item=EventId_Id}|${uppercase:${level}}|${logger}|${message} ${exception:format=tostring}" />
		<target xsi:type="File" name="allinOne" fileName="d:\\GloboTicket-${shortdate}.log" layout="${longdate}|${event-properties:item=EventId_Id}|${uppercase:${level}}|${logger}|${message} ${exception:format=tostring}" />
	</targets>
	<!-- rules to map from logger name to target -->
	<rules>
		<logger name="*" minlevel="Trace" writeTo="allinOne" />
		<!--Skip non-critical Microsoft logs and so log only own logs-->
		<logger name="Microsoft.*" maxLevel="Info" final="true" />
	</rules>
</nlog>

所以目前它們會將 Log 都寫到 d:\GloboTicket-${shortdate}.log 之中。

  • 請切換到 NLog Branch 練習

改用 Serilog 寫到 Log 檔案

Serilog 可以將原本是文字訊息的Log內容改以結構化的方式儲存，而且也可以將這些結構化的Log轉送到其他服務(目前先設定存到檔案)。
GloboTicket.Client 及 GloboTicket.Services.EventCatalog專案加入 Serilog.Extensions.Hosting, Serilog.Settings.Configuration及Serilog.Sinks.File 套件，然後在 Program.cs 設定使用 Serilog，而設定取自 appSettings.json

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
public class Program
{
    public static IConfiguration Configuration { get; } = new ConfigurationBuilder()
    .SetBasePath(Directory.GetCurrentDirectory())
    .AddJsonFile("appSettings.json", optional: false, reloadOnChange: true)
    .AddEnvironmentVariables()
    .Build();

    public static void Main(string[] args)
    {
        Log.Logger = new LoggerConfiguration()
            .ReadFrom.Configuration(Configuration)
            .CreateLogger();
        try
        {
            Log.Debug("init main function");
            var host = CreateHostBuilder(args).Build();
            host.Run();
        }
        catch (Exception ex)
        {
            Log.Fatal(ex, "Error in init");
        }
        finally
        {
            Log.CloseAndFlush();
        }
    }

    public static IHostBuilder CreateHostBuilder(string[] args) =>
        Host.CreateDefaultBuilder(args)
            .ConfigureWebHostDefaults(webBuilder =>
            {
                webBuilder.UseStartup<Startup>();
            }).UseSerilog();
}

在 Program.cs 設定使用 Serilog，並從 appSettings.json 讀取設定值，
所以將原本 appSettings.json 中的 Logging區段 改以 Serilog 區段替換
以下為原本 Logging區段內容，

1
2
3
4
5
6
7
"Logging": {
    "LogLevel": {
        "Default": "Information",
        "Microsoft": "Warning",
        "Microsoft.Hosting.Lifetime": "Information"
    }
}

改以 Serilog 區段替換，

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
"Serilog": {
    "Using": [],
    "MinimumLevel": {
      "Default": "Debug",
      "Override": {
        "Microsoft": "Warning",
        "System": "Warning"
      }
    },
    "WriteTo": [
      {
        "Name": "File",
        "Args": {
          "path": "d:\\GloboTicket.json",
          "formatter": "Serilog.Formatting.Json.JsonFormatter, Serilog",
          "shared": true,
          "rollingInterval": "Day"
        }
      }
    ]
}

所以目前它們會將 Log 都寫到 d:\GloboTicket{日期}.json 之中。

  • 請切換到 Serilog Branch 練習

將 Log 送到 Grafana Loki

要使用 Grafana Loki 最容易的就是透過 Docker 來啟動它，
下載 loki 的 docker-compose.yaml 檔案

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
version: "3"

networks:
  loki:

services:
  loki:
    image: grafana/loki:2.4.0
    ports:
      - "3100:3100"
    command: -config.file=/etc/loki/local-config.yaml
    networks:
      - loki

  promtail:
    image: grafana/promtail:2.4.0
    volumes:
      - /var/log:/var/log
    command: -config.file=/etc/promtail/config.yml
    networks:
      - loki

  grafana:
    image: grafana/grafana:latest
    ports:
      - "3000:3000"
    networks:
      - loki

然後在該目錄執行 docker-compose up 就可以了，如下，

執行後，可以開啟 Browser 連到 http://localhost:3000 就會導到 login 頁面，
輸入帳/密輸入 admin/admin 即可以登入。

為了將 Log 送到 Grafana loki ，
GloboTicket.Client 及 GloboTicket.Services.EventCatalog 專案要加入
Serilog.Sinks.Grafana.Loki 套件，並在 appSettings.json 中加入寫到 Loki 的設定
GloboTicket.Client 的 appSettings.json Serilog 區段

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
"Serilog": {
    "Using": [
        "Serilog.Sinks.Grafana.Loki"
    ],
    "MinimumLevel": {
        "Default": "Debug",
        "Override": {
        "Microsoft": "Warning",
        "System": "Warning"
        }
    },
    "WriteTo": [
        {
        "Name": "File",
        "Args": {
            "path": "d:\\GloboTicket.json",
            "formatter": "Serilog.Formatting.Json.JsonFormatter, Serilog",
            "shared": true,
            "rollingInterval": "Day"
        }
        },
        {
        "Name": "GrafanaLoki",
        "Args": {
            "uri": "http://localhost:3100",
            "labels": [
            {
                "key": "app",
                "value": "GloboTicket"
            },
            {
                "key": "service",
                "value": "Web"
            }
            ],
            "outputTemplate": "{Timestamp:dd-MM-yyyy HH:mm:ss} [{Level:u3}] [{ThreadId}] {Message}{NewLine}{Exception}"
        }
        }
    ]
}

GloboTicket.Services.EventCatalog 的 appSettings.json Serilog 區段

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
"Serilog": {
    "Using": [
        "Serilog.Sinks.Grafana.Loki"
    ],
    "MinimumLevel": {
        "Default": "Debug",
        "Override": {
        "Microsoft": "Warning",
        "System": "Warning"
        }
    },
    "WriteTo": [
        {
        "Name": "File",
        "Args": {
            "path": "d:\\GloboTicket.json",
            "formatter": "Serilog.Formatting.Json.JsonFormatter, Serilog",
            "shared": true,
            "rollingInterval": "Day"
        }
        },
        {
        "Name": "GrafanaLoki",
        "Args": {
            "uri": "http://localhost:3100",
            "labels": [
            {
                "key": "app",
                "value": "GloboTicket"
            },
            {
                "key": "service",
                "value": "EventCatalog"
            }
            ],
            "outputTemplate": "{Timestamp:dd-MM-yyyy HH:mm:ss} [{Level:u3}] [{ThreadId}] {Message}{NewLine}{Exception}"
        }
        }
    ]
}

再執行程式一次後，然後到 Grafana(http://localhost:3000) 中，加入 Loki 資料來源(Data Source)，

設定資料來源的Name及設定 URL (因為使用 docker compose ，所以 Data Source 的 URL 為 http://loki:3100)，再按下下面的「Save and Test」Button 測試連線是否OK。

連線 OK 後，就可以再按下方的「Explore」就會進到查詢的功能(預設會切到 Loki，如果沒有請自行選擇剛才設定的 Loki Data Source)。
進到了 Grafana 的 Explore 功能後，就可以按下「Log browser」，它會顯示可以查詢的一些 Lables ，設定好要查詢 Log 的條件(例如:{app=”GloboTicket”})後，可以按下 「Show Logs」按鈕

就可以看到相關的 Log 了。

另外，也可以依 TraceId 來查看，從 Web 到 Service 的 Log 資訊。

  • 請切換到 Grafana-loki Branch 練習

參考資源

Using Loki in Grafana
Grafana always report “Error connecting to datasource: Loki: Bad Gateway. 502”
Loki in Grafana

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

大家好，我是亂馬客 Rainmaker，目前任職於叡揚資訊，大家也都叫我 RM 。 平常負責開發公司各產品線的加值、共用的軟體，例如 Azure, OpenAI, Chatbot, Database ... 同時 Support 公司各種技術及資安修改問題。 Blog中的內容也是個人的看法， 如果有需要討論的地方， 可以留言，或是 mail 給我 :) rainmaker_ho@gss.com.tw