Azure Cognitive Services Toolkit 深入解析与实战示例-CSDN博客

本文链接：https://blog.csdn.net/qq_29929123/article/details/149225020

技术背景介绍

Azure Cognitive Services 是微软推出的一系列云服务，旨在为开发者提供强大的人工智能和机器学习功能。这些功能涵盖了计算机视觉、语音识别、文本分析等多个领域，帮助开发者快速构建智能应用。本文将详细解析 Azure Cognitive Services Toolkit 中的几个重要工具，并通过代码示例展示其实际应用。

核心原理解析

Azure Cognitive Services Toolkit 包含多个工具，每个工具都针对特定的 AI 任务，例如图像分析、文档识别、语音转文本等。这些工具依托于 Azure 的强大云服务，通过 RESTful API，实现不同类型的数据处理和分析。

代码实现演示

下面我们将展示如何使用 Azure Cognitive Services Toolkit 进行图像分析、文本语音转换等功能。

环境准备

首先，需要安装 Azure Cognitive Services 的相关 Python 包：

%pip install --upgrade --quiet azure-ai-formrecognizer > /dev/null
%pip install --upgrade --quiet azure-cognitiveservices-speech > /dev/null
%pip install --upgrade --quiet azure-ai-textanalytics > /dev/null
%pip install --upgrade --quiet azure-ai-vision > /dev/null  # 仅适用于 Windows/Linux
%pip install -qU langchain-community

接下来，设置 Azure Cognitive Services 的环境变量：

import os

os.environ["AZURE_COGS_KEY"] = "your-cognitive-services-key"
os.environ["AZURE_COGS_ENDPOINT"] = "your-cognitive-services-endpoint"
os.environ["AZURE_COGS_REGION"] = "your-cognitive-services-region"

使用工具包进行图像分析

from langchain_community.agent_toolkits import AzureCognitiveServicesToolkit

# 初始化 Toolkit
toolkit = AzureCognitiveServicesToolkit()

# 调用图像分析工具
from langchain.agents import AgentType, initialize_agent
from langchain_openai import OpenAI

llm = OpenAI(temperature=0)
agent = initialize_agent(
    tools=toolkit.get_tools(),
    llm=llm,
    agent=AgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION,
    verbose=True,
)

result = agent.run(
    "What can I make with these ingredients?"
    "https://images.openai.com/blob/9ad5a2ab-041f-475f-ad6a-b51899c50182/ingredients.png"
)

print(result)

此代码将分析图像中的内容，并根据识别到的对象和标签，返回可制作的食物建议。

使用工具包进行文本语音合成

audio_file = agent.run("Tell me a joke and read it out for me.")

from IPython import display

audio = display.Audio(audio_file)
display.display(audio)