2024年3月24日 星期日

DbServices SDK開發 — 3 (unit test)

上一篇講解了測試專案的架構,本篇開始逐一講解測試函數的內容,進而理解SDK是如何被使用。

DCL

這邊所說的DCL與一般定義不同,非CRUD類的都會放在這兒。

取回所有資料表


利用GetAllTableNames()來取回目前資料庫中所有資料表(含view,不要含view則參數設false)。
[TestMethod()]
public virtual void GetAllTableNamesTest()
{
string[]? allTableName = _db.GetAllTableNames();
Assert.IsNotNull(allTableName);
Assert.IsTrue(allTableName.Length > 0);
Console.WriteLine($"All Table Name: {string.Join("\r\n", allTableName)}");
}


測試結果:


設定資料表

這個目的是告訴DbService 現在要針對那個資料表進行處理。其實,所有的函數都可以接受資料表名稱參數,只是設定後,就可以不用輸入。

使用SetCurrentTableName(string tableName)可透過字串設定目標資料表。GetCurrentTableName()可以確認目前是否有設定好目標資料表。
[TestMethod()]
public virtual void SetCurrentTableNameTest()
{
_db.SetCurrentTableName("PersonTable");
Assert.AreEqual("PersonTable", _db.GetCurrentTableName());
Console.WriteLine($"Current Table: {_db.GetCurrentTableName()}");
}

測試結果:


使用SetCurrentTable<T>()則可在已知Modle下,設定目標資料表。
[TestMethod()]
public virtual void SetCurrentTableTest()
{
_db.SetCurrentTable<PersonTable>();
Assert.AreEqual("PersonTable", _db.GetCurrentTableName());
Console.WriteLine($"Current Table: {_db.GetCurrentTableName()}");
}

測試結果:


取回資料表欄位定義


使用GetFieldsByTableName(string tableName)可以取回此資料表的所有資訊。回傳型態是IEnumerable<FieldBaseModel>。FieldBaseModel的結構後續再討論。
[TestMethod()]
public virtual void GetFieldsByTableNameTest()
{

var result = _db.GetFieldsByTableName("PersonTable");
Assert.IsNotNull(result);
Assert.IsTrue(result.Any());

var nameList = from item in result
select item.FieldName;
Console.WriteLine($"Fields:\r\n{string.Join("\r\n", nameList)}");
}


測試結果:

DbServices SDK開發 — 2 (Unit Test)

SDK的使用可分成DB First與Model First兩種方式。DB First如上篇所展示,資料庫已有資料表的情形下,透過SDK來存取資料庫。Model First則是先定義好Model後產生資料表,接著運用泛型機制對資料庫進行存取。本篇從Unit Test角度來看這些SDK要如何使用。
測試總管

本系列文章不是基礎教學文件,基本東西就不說明了。下圖是Visual Studio的測試總管畫面。總計18單元測試項目(可能還會增加),是針對SDK所提供的函數進行測試。

測試專案


雖然現階段測試僅針對SQLite(TesterForSqlite.cs),但實際上所提供的服務函數各家資料庫都是一樣的(DataBaseServiceTests.cs),主要差別是在SQL產生器的部分。Models目錄就是定義好的模型。


模型定義


所有資料表類別,都需要繼承TableDefBaseModel類別。只要單純宣告此類別所擁有的屬性即可。PersonTable類別為例。 
public class PersonTable : TableDefBaseModel
{
public string? Name { get; set; }
public int Age { get; set; }

}
TableDefBasedModel類別由資料表類別來繼承,提供幾個重要的共通欄位。
public abstract class TableDefBaseModel
{
protected TableDefBaseModel(string? userName = null)
{
CreatedDate ??= DateTime.UtcNow;
LastModifyDate = DateTime.UtcNow;
CreatorName = userName;

}

[Key]
[Required]
public long Id { get; set; }
[Required]
public DateTime? CreatedDate { get; set; }
public DateTime? LastModifyDate { get; set; }
public string? CreatorName { get; set; }
}

為了後續各項服務能方便使用,補了一個Extension Function。至於用途如何,在講解測試函數時便可知。public static class TableDefBaseModelExtension
public static class TableDefBaseModelExtension
{
public static IEnumerable<KeyValuePair<string, object?>> GetKeyValuePairs(this TableDefBaseModel source, bool withKey = false)
{
var properties = source.GetType().GetProperties();
List<KeyValuePair<string, object?>> target = [];
foreach (var p in properties)
{
if (p.Name == "Id" && !withKey) continue;
target.Add(new(p.Name, p.GetValue(source)));
}
return target;
}
}

測試類別

[TestClass]
public class TesterForSqlite: DataBaseServiceTests
{
private const string connString = @"Data Source=C:\temp\Test.db;";
public TesterForSqlite() : base(MainService.UseSQLite(connString))
{
}
}
針對不同的資料庫提供者,建立不同測試類別。測試類別都繼承DataBaseServiceTests,因為所需要測試的函數幾乎一樣,這邊只需要定義資料庫連線字串,以及告知父類別這個測試類別是真的那個資料庫提供者。

測試父類別

此類別是主要實做區。依據SQL的功能,將測試項目分成DCL、DDL、DQL與DML各大項目。

結語

避免文章篇幅過大,先介紹於此。下一篇則針對測試函數內容逐一說明。

2024年3月18日 星期一

DbServices SDK開發 — 1 (Web API)

在某次的系統整合案中,資料提供端什麼也不想做,只願意開放資料庫存取功能。受限於專案時程,最終方案就是在資料庫外架設一個Web API服務。只要設定好資料庫連線字串,透過這個服務,即可得知資料庫的資料表,然後進行CRUD作業。

這個Web API的背後,其實是一個資料庫存取服務器(DbServices,也就是本系列重點),主要採用DotNet 8、C#與Dapper 技術。由於Dapper需要自行撰寫SQL,也就演變成開發SQL產生器。由於各家資料庫廠商支援的SQL有共通標準,也會有私有指令,所以在支援服務層級架構上,就得稍做設計。 目前支援MS-SQL與SQLite,Oracle與MySQL有提供,但沒有仔細測試。至於其他的資料庫,只要補上自己特殊的語法即可。

DbServices 需求情境是企業內部使用,所以並沒有建置授權認證機制。本系列文章,僅是開發心得分享,並不足以當作學習教材,程式仍有許多改善空間。

使用情境

Web API是應用DbServices的其中一種,這種情境下前端就比較不受限。另一種情境是直接使用SDK,各項支援功能就會比較複雜多樣。這邊先以Web API來簡易說明。測試環境是使用SQLite。

在設定好資料庫連線字串後,執行專案即可得到Swagger介面。


取得資料表清單

首先使用GET /meta服務,來取得此資料庫所有資料表。SDK可設定是否需要包含View。


取得資料表內容

使用GET /{resourceName}/fieldSet服務,輸入資料表名稱,就可以得知此資料表的所有資訊。

圖中為例,PersonTable總共有六個欄位,詳情參照FieldDefine。有3筆記錄。


取回欄位可能值

有時候可能需要先知道某資料表的某欄位可能包含哪些值,例如要處理列舉型態。則可使用GET /{resourceName}/valueSet這個服務。輸入資料表與欄位名稱即可。


取回資料表所有紀錄

使用GET /{resourceName}服務,在沒有打查詢條件時,則會取回所有紀錄。

DbService SDK並沒有提供複雜的Order By等機制,基本上概念是配合前端Data Grid來使用。這方面的元件選擇性多元化。


依條件取回記錄

同樣使用GET /{resourceName}服務,可以再加上查詢條件。SDK還有提供其他機制,例如補上opertor,多個Key-Value,直接補上where子句內容。


取回特定紀錄

使用GET /{resourceName}/{id}則可利用id取回特定記錄。


新增記錄

使用POST /{resourceName}服務,輸入資料表名稱以及在Body補上JSON內容,即可新增一筆資料。


驗證看看。確實name=ZZ這筆已經存進去了。


更新紀錄

使用PUT /{resourceName}/{id}可以用來更新每特定記錄。


驗證看看,確實id=4這筆資料已經被更新了。


刪除記錄


使用DELETE /{resourceName}/{id}刪除特定記錄。

結語

此處僅是簡單運用Web API功能,但已經足以滿足整合案中所需。Web API僅是資料服務,流程邏輯處理還是需要前端。

而這個Web API背後所用到DbService是用來簡化資料庫存取機制。只要告知是什麼資料庫,一換資料庫連線字串,立刻可以操作資料表。在實務上,確實會發生資料提供端得同時面對多種資料庫來源。

後續就慢慢來介紹DbService SDK的設計理念與應用。