在這個 LLM 時代 RAG 可說是一個非常熱的議題，其中來源資料的品質幾乎決定了整個 RAG 應用的成敗，而在一系列的資料處理流程中，又以 Chunking 做為一個重要的環節，像是常見的固定長度、重疊等等都是基本的 Chunking 策略。 Semantic Chunking 是一種進階的 Chunking 手法，比起基本的固定長度切分，Semantic Chunking 希望藉由語意分析劃分出更具有意義的 Chunk。本篇將使用在 Document Intelligence 中新推出的 Layout Model 文檔分析 API 來實作 Semantic Chunking。 Markdown 與 Semantic Chunking Markdown 是一種具有結構的標記語言，對於人類在閱讀上是非常友好的，而對於 LLM 來說當然也是如此，不過在現實上，我們提供給 RAG 的文件往往都不是 Markdown。 現在我們將使用 Layout Model 來解決這個問題，其提供的文檔分析 API 可以在一次呼叫中將傳入的 PDF、PPT 等常見格式文檔轉換成 Markdown 格式，這個轉換過程中包含了 OCR、文件結構分析等步驟，這也就代表轉換出的 Markdown 結構在某種程度上是蘊含文件語意的。 最後我們將使用這個 Markdown 結構做為 Chunking 的依據，以此來實現 Semantic Chunking。 建立 Document Intelligence 建立 AI 類服務時基本上都不用做太複雜的設定，這邊唯一要注意的是我們預計要使用的 Layout Model API 目前只有在美東、美西 2 與西歐三個地區提供，建議時需要留意選擇的地區。 Document Intelligence Studio 與其他 AI 服務一樣，Document Intelligence 也有提供 Studio 讓我們快速體驗功能，從 Studio 首頁進入「Layout」頁面，我們使用內建的範例文件來看看文檔分析 API 的能力。 首先選擇一篇範例文件，再調整「Output format style」為「Markdown 」後點擊上方的「Run analysis」開始分析，我們可以看到文件被精準的轉換成 Markdown 結構。 切換一下右側的頁籤，也能看到文件中的
在 Azure 中的所有資源都是由一組 Azure Resource Manager (ARM) 模板定義出來的，但以純 JSON 格式組成的 ARM 模板在開發或閱讀時都非常不方便，於是微軟推出了一組 IaC 工具 Bicep，讓使用者以更像程式開發的創作方式來生成 ARM 模板。
對於 Azure 資源的操作主要可以分為 Control Plane 與 Data Plane，Bicep 與 ARM 模板主要都是負責 Control Plane 的動作，而 Data Plane 大部分都是透過 Azure CLI、Azure Power Shell 或 REST API 來實現，這導致使用純 Bicep 在某些情境下可能沒辦法做到全自動化佈署，因此在 Bicep 中推出了佈署指令來解決這個問題。
以下我們將以儲存體帳戶做為範例，使用 Bicep 建立基本的儲存體帳戶與容器，並透過 Bicep 中的佈署指令使用 Azure Power Shell 在容器中寫入一個測試檔案。接下來如果你需要一個方便執行 Bicep 的環境，可以參考下方連結部落格使用 GitHub Codespaces 搭建 Bicep 開發環境。
系列文章
使用 Bicep 建立儲存體帳戶
我們直接由一個現有的 Bicep 範例開始，以下範例將建立儲存體帳戶與一個名為 data 的 Blob 容器。
建立使用者指派的受控識別
為了有足夠的權限可以使用佈署指令執行 Azure Power Shell 指令，我們需要先建立一個使用者指派的受控識別。
賦予權限
稍後我們將使用 Azure Power Shell 指令在 Blob 容器中寫入一個檔案，為了執行這個動作，我們將賦予參與者與儲存體 Blob 資料參與者兩個內建腳色給剛剛建立的受控識別。
建立佈署指令
事前準備完成後可以開始建立佈署指令了，我們先從一個 deploymentScript 的基本框架開始：
我們在 kind 中指定使用 Azure Power Shell，並且在 identity 中選擇使用剛剛建立好的受控識別，因此稍後執行腳本時將會具有受控識別所具備的權限，最後我們在 dependsOn 中確保腳本會在所有授權動作完成後才執行。
接著最主要的 Azure Power Shell 腳本會放在 properties 中：
在腳本部分，我們使用 Set-Content 指令來建立一個名為 example.txt 的測試檔案，並使用 Set-AzStorageBlobContent 指令上傳該檔案，最後我們可以使用 $DeploymentScriptOutputs 來保留下一些資訊。
另外搭配 arguments 使用，可以將 Bicep 內的其他資訊傳入佈署指令內使用，是個非常方便的使用方式。
完整 Bicep
最終我們完成的 Bicep 如下：
測試 Bicep
最方便的方式是使用 Azure Cloud Shell 來測試 Bicep，先建立一個單獨的資源群組。
接著將 Bicep 儲存為 main.bicep 後執行：
Portal 中會看到所有被建立的資源：
其中 Azure Power Shell 腳本將會運行在容器執行個體，執行中的資訊將會被保存在儲存體帳戶，這兩項資源在腳本執行完成後也會自行刪除。
最後我們確認 data 容器中包含了我們寫入的 example.txt，測試成功！
總結
在這個儲存體帳戶的範例中，我們執行了在 Control Plane 上的建立資源，與 Data Plane 上的寫入檔案兩種類型的動作，以此展示了 Bicep 如何藉由佈署指令來補足 Bicep 或 ARM 模板不擅長的 Data Plane 操作。
在佈署指令中搭配 arguments 使用的設計，讓腳本可以與 Bicep 其他資源交換資訊，同時佈署指令在單獨的容器實例中執行並支援 Power Shell 與 Bash 腳本，這些都讓佈署指令在使用上得到了非常大的彈性。
留言
張貼留言