Charlie Wei Blog

在 OpenAI 與 Azure OpenAI 同時發佈 o1 系列模型的一週後，我也順利通過 Azure OpenAI 的使用申請啦！本篇就來快速試用一下最新的o1 系列模型。 提出申請 目前如果要使用 o1 系列模型都需要經過微軟的資格審查，申請表單可以參考以下連結，表單只需要填寫一份，申請通過後 o1-preview 和 o1-mini 兩個模型都能使用。 相關連結： https://aka.ms/oai/modelaccess 使用 AI Studio 首先你必須要有一個位於 美東 2 地區的 Azure OpenAI 資源，不管是原有的或是新建立的資源都可以。 因為目前 o1 系列模型還處於早期訪問階段，資源中不需要自行佈署模型，取而代之的是需要透過 Early Access Playground 才能使用到 o1 系列模型。 而這次比較特別的是只能使用 AI Studio 的 Playground，看得出來微軟要慢慢整併掉 Azure OpenAI Studio 了。 草莓問題 這次就拿近期已經被大家玩爛的草莓問題來測試，在這個問題中我們會詢問 GPT 在「Strawberry」這個單字裡包含了多少個字母「r」，沒錯，這個草莓問題就是這麼簡單無聊，但結果卻出乎意料。 gpt-4o：兩次 gpt-4o 會有非常高的機率回答：兩次，看似如此簡單的問題又能讓 gpt-4o 屢屢回答錯誤，這就是草莓問題出名的原因，大家也可以自己嘗試看看。 o1-preview：三次 反觀加入 Chain of Thought 概念的 o1-preview 就輕鬆解決了這個草莓問題 😂 總結 根據官方資訊，具有 Chain of Thought 的 o1 模型犧牲了回應的即時性，但大幅改善在邏輯與推理類型問題中的表現，同時成本方面 o1-preview 相較 gpt-4o-0806 貴了 6 倍，對於企業來說就需要好好思考是否有適用的情境了，不過現階段還是繼續期待 API 可用的那天。

在這個 LLM 時代 RAG 可說是一個非常熱的議題，其中來源資料的品質幾乎決定了整個 RAG 應用的成敗，而在一系列的資料處理流程中，又以 Chunking 做為一個重要的環節，像是常見的固定長度、重疊等等都是基本的 Chunking 策略。 Semantic Chunking 是一種進階的 Chunking 手法，比起基本的固定長度切分，Semantic Chunking 希望藉由語意分析劃分出更具有意義的 Chunk。本篇將使用在 Document Intelligence 中新推出的 Layout Model 文檔分析 API 來實作 Semantic Chunking。 Markdown 與 Semantic Chunking Markdown 是一種具有結構的標記語言，對於人類在閱讀上是非常友好的，而對於 LLM 來說當然也是如此，不過在現實上，我們提供給 RAG 的文件往往都不是 Markdown。 現在我們將使用 Layout Model 來解決這個問題，其提供的文檔分析 API 可以在一次呼叫中將傳入的 PDF、PPT 等常見格式文檔轉換成 Markdown 格式，這個轉換過程中包含了 OCR、文件結構分析等步驟，這也就代表轉換出的 Markdown 結構在某種程度上是蘊含文件語意的。 最後我們將使用這個 Markdown 結構做為 Chunking 的依據，以此來實現 Semantic Chunking。 建立 Document Intelligence 建立 AI 類服務時基本上都不用做太複雜的設定，這邊唯一要注意的是我們預計要使用的 Layout Model API 目前只有在美東、美西 2 與西歐三個地區提供，建議時需要留意選擇的地區。 Document Intelligence Studio 與其他 AI 服務一樣，Document Intelligence 也有提供 Studio 讓我們快速體驗功能，從 Studio 首頁進入「Layout」頁面，我們使用內建的範例文件來看看文檔分析 API 的能力。 首先選擇一篇範例文件，再調整「Output format style」為「Markdown 」後點擊上方的「Run an...

 Azure OpenAI 上的 On Your Data 是微軟最早推出的 RAG 架構，沒有太多複雜的 Chunking 手法，甚至直接不處理文件中的圖文夾雜問題，有的就是基本的 Embedding 與向量搜尋機制，主打的是一個快速串接流程。 On Your Data 藉由 Azure OpenAI Studio 介面提供使用者快速完成所有服務的串接，而背後主要由兩個動作組成，On Your Data 首先會使用 Azure OpenAI 提供的 Ingestion Jobs API 建立 Azure AI Search、Azure OpenAI 與 Storage Account 之間的串聯設定，接著再使用存放於 GitHub 上的 Sample Chat App with AOAI 做為 App Service 的原始碼來源來建立一個範例網頁。 儘管 Ingestion Jobs API 已經包裝了大部份的流程，但這兩項主要動作還是需要人為點擊來觸發。本篇將紀錄如何使用 Bicep 建立 On Your Data 流程與其範例網頁，以達到真正的自動佈署。 完整的 Bicep 程式碼已經整理在我的 GitHub 上，歡迎參考以下連結。 相關連結： https://github.com/charliewei0716/azure-openai-on-your-data-with-bicep 系列文章 【Bicep】從開發到佈署的工作流程 【Bicep】使用佈署指令擴充 Bicep 功能 【Bicep】自動還要更自動的 AOAI On Your Data（本篇） 建立儲存體帳戶 首先我們需要一個儲存體帳戶與 Blob 容器來存放 RAG 使用的原始文件。 建立 Azure OpenAI 最重要的 Azure OpenAI 資源，同時佈署目前最新的 gpt-4o 與 text-embedding-ada-002 模型。 啟用的受控識別會在稍後賦予對應權限，另外這邊需要注意使用的訂閱在該地區的 Azure OpenAI 額度。 建立 AI Search 選擇基本 Basic 等級的 AI Search，一樣也啟用受控識別。 服務間的授權 到此我們建立的儲存體帳戶、Azure OpenAI 與 AI Search ...

在 Azure 中的所有資源都是由一組 Azure Resource Manager (ARM) 模板定義出來的，但以純 JSON 格式組成的 ARM 模板在開發或閱讀時都非常不方便，於是微軟推出了一組 IaC 工具 Bicep，讓使用者以更像程式開發的創作方式來生成 ARM 模板。 對於 Azure 資源的操作主要可以分為 Control Plane 與 Data Plane，Bicep 與 ARM 模板主要都是負責 Control Plane 的動作，而 Data Plane 大部分都是透過 Azure CLI、Azure Power Shell 或 REST API 來實現，這導致使用純 Bicep 在某些情境下可能沒辦法做到全自動化佈署，因此在 Bicep 中推出了佈署指令來解決這個問題。 以下我們將以儲存體帳戶做為範例，使用 Bicep 建立基本的儲存體帳戶與容器，並透過 Bicep 中的佈署指令使用 Azure  Power Shell 在容器中寫入一個測試檔案。接下來如果你需要一個方便執行 Bicep 的環境，可以參考下方連結部落格使用 GitHub Codespaces 搭建 Bicep 開發環境。 系列文章 【Bicep】從開發到佈署的工作流程 【Bicep】使用佈署指令擴充 Bicep 功能（本篇） 【Bicep】自動還要更自動的 AOAI On Your Data 使用 Bicep 建立儲存體帳戶 我們直接由一個現有的 Bicep 範例開始，以下範例將建立儲存體帳戶與一個名為 data 的 Blob 容器。 建立使用者指派的受控識別 為了有足夠的權限可以使用佈署指令執行 Azure Power Shell 指令，我們需要先建立一個使用者指派的受控識別。 賦予權限 稍後我們將使用 Azure Power Shell 指令在 Blob 容器中寫入一個檔案，為了執行這個動作，我們將賦予 參與者 與 儲存體 Blob 資料參與者 兩個內建腳色給剛剛建立的受控識別。 建立佈署指令 事前準備完成後可以開始建立佈署指令了，我們先從一個 deploymentScript 的基本框架開始： 我們在 kind 中指定使用 Azure Power Shell，並且在  iden...

Provisioned Throughput Units 一直是目前在 Azure OpenAI 對於延遲問題的最有效解法，同時也是官方最推薦的方案。有別於基本的隨付即用，PTU 具有穩定、可預測的延遲等優勢，適合用於正式上線的生產環境。 但 PTU 的成本是一個不可忽視的問題，儘管選購最小單位量的 PTU，也是需要應用到達一定規模後才看得出使用效益。在確認是否購買 PTU 時，除了詳細閱讀官方文件並使用官方推出的計算機規劃額度外，以下幾點或許也是你該注意的。 不可自行購買 PTU 首先，是的，截自撰文當日 (2024/07/09) PTU 只能透過微軟業務窗口洽詢購買細節，這可能對於多數用戶是不友善的，但我相信這個過程很快就能得到優化。 相關連結： https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/provisioned-throughput#how-do-i-get-access-to-provisioned PTU 的可用區域僅供參考 在官方文件中記錄了下述表格，其中詳細的呈現各種模型的 PTU 在不同地區的可用性，但這張表只是一個參考，因為當你洽詢業務窗口時你會得到另一張不同的表格。 其中對於台灣用戶可能最有影響的，是我們沒辦法在日本東部購買 gpt-4o 模型的 PTU，對於想透過購買 PTU 以降低模型延遲的用戶來說這是一個矛盾的選擇，當然更不用提隨之產生的跨區傳輸量成本。 一樣截至撰文為止，為何在打勾區域✅無法購買的問題，官方並沒有給出任何理由，或許是我們採購量沒有達到官方需要解釋的程度😔 相關連結： https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/provisioned-throughput#what-models-and-regions-are-available-for-provisioned-throughput 有別於你認知的定價策略 承如前述，PTU 的成本絕對是導入時的重要考量點。 PTU 的售價到底是多少 事實上 PTU 的官方售價早就是公開的秘密，稱之為秘密是因為 PTU 的售價截至目前並沒有被列在官方文件或定價計算機中，但在最新的 Azure OpenAI S...

在一些常見的案例中，我們會將 Azure 虛擬桌面設計為進入 Azure 環境的跳板機或登陸區，這將使得 AVD 成為重要的資安保護目標，因此在 AVD 上設定多重要素驗證是非常必要的。 必要條件 Microsoft Entra ID P1 等級以上：這是使用條件式存取的最低要求 曾在租用戶中設定過 Azure Virtual Desktop：這會使應用程式加入租用戶中，否則後續在設定條件存取時會選不到該應用程式。 關閉 per-user MFA 對於有加入 Microsoft Entra 的 AVD 主機並不支援 per-user MFA，我們可以從 Portal 檢查目前的開啟狀況，進入「Microsoft Entra ID」→「管理」→「使用者」並點擊上方「每位使用者的 MFA」，確保每個即將使用 AVD 的使用者顯示狀態都是「已停用」。 設定條件式存取原則 要設定條件式存取原則建議使用  Microsoft Entra admin center ，進入「保護」→「條件式存取」→「原則」後點擊「新原則」 根據需求選取會使用到 AVD 的使用者，一個建議的作法是建立一個群組並搭配 AVD 需要的 RBAC 使用 在目標資源中選取「Windows Virtual Desktop」，根據你第一次啟用 AVD 的時間點不同，應用程式的名稱可能會是「Azure Virtual Desktop」 而另一種常見的作法是直接選擇「所有雲端應用程式」 但這種情況下需要注意，如果 AVD 主機有加入 Microsoft Entra，就需要另外排除「Azure Windows VM Sign-in」 接著在條件中勾選「瀏覽器」與「行動裝置 App 及桌面用戶端」， 再來在授予中確保勾選「需要多重要素驗證」 最後將啟用原則切換到「開啟」後就可以建立原則了 測試原則 我們使用 AVD 的瀏覽器用戶端進行測試，使用瀏覽器無痕模式開啟 https://client.wvd.microsoft.com/arm/webclient/ 多重要素驗證設定成功！ 總結 整個設定流程非常方便，都只要在 UI 上點擊就能完成，但其中需要特別注意關閉 pre-user MFA 設定，還有在開啟所有雲端應用程式時要另外排除「Azure Windows VM Sign-in」，這兩...