Amazon Aurora PostgreSQL 添加 pgvector 以支持生成 AI 的嵌入
2023年7月29日,AWS 最近宣布,Amazon Aurora 的 PostgreSQL 兼容版本现在支持 pgvector进行向量存储和相似性搜索。Aurora 是最新的托管 PostgreSQL 数据库,支持开源扩展来存储和搜索机器学习模型的嵌入。
pgvector扩展简化了现有 Postgres 数据库中嵌入的存储和有效搜索,捕获文本输入的语义。AWS 首席数据库专家解决方案架构师 Shayon Sanyal 介绍了如何在 Aurora 上利用 pgvector 进行自然语言处理、聊天机器人和情感分析:
pgvector 提供了不同的功能,可让您识别精确和近似最近邻。它旨在与其他 PostgreSQL 功能无缝协作,包括索引和查询。使用 ChatGPT 和其他 LLM 工具通常需要将这些系统的输出(即向量嵌入)存储在永久存储系统中,以便稍后检索。
在文章中,Sanyal 展示了如何使用 LangChain 和 Streamlit 构建一个简单的交互式应用程序,让用户根据 PDF 文件中的内容以自然语言提问。
据云提供商称,pgvector 扩展允许客户将 ML 功能构建到电子商务、媒体和健康应用程序中。新选项增加了Amazon Aurora 机器学习的功能,它将 Aurora 与 AWS ML 服务集成,并提供使用 SQL 语言创建基于 ML 的预测的能力。Glass 联合创始人 Stefan Borsje评论道:
pgvector 登陆 Amazon Aurora,相似性搜索在合理大小的数据集上的表现(速度 + 精度)让我大吃一惊。只需约 10 毫秒即可通过余弦相似度对数十万个 512 维向量进行排序。这是什么魔法?
AWS 高级数据库专家解决方案架构师Krishna Sarabu解释了如何使用 SageMaker 和 pgvector 在 PostgreSQL 中构建人工智能驱动的搜索:
生成嵌入后,应用程序或研究人员可以在向量空间内执行相似性搜索。嵌入的相似性搜索有利于各种行业应用,包括电子商务、推荐系统和欺诈检测。例如,系统可以识别产品或交易之间的数学相似性,以创建相关产品推荐或识别潜在的欺诈活动。
词嵌入:语义相似的词在嵌入空间中紧密结合在一起(来源:使用 Amazon SageMaker 和 pgvector 在 PostgreSQL 中构建人工智能驱动的搜索)
由于生成式 AI 的流行以及为了与Pinecone等专用矢量数据库竞争,不同的托管数据库服务增加了对 pgvector 的支持。这些服务包括Azure Database for PostgreSQL 灵活服务器、Azure Cosmos DB for PostgreSQL 和 Amazon RDS for PostgreSQL。此外,Google Cloud SQL for PostgreSQL 和 AlloyDB for PostgreSQL 最近引入了对该扩展的支持,InfoQ 上单独报道了这一点。
pgvector 扩展可在所有 AWS 区域的 Aurora PostgreSQL 15.3、14.8、13.11、12.15 及更高版本上使用。该文档涵盖了当前支持的所有扩展、它们的版本以及如何使用 PostgreSQL 扩展和外部数据包装器。
文章来源:https://www.infoq.com/news/2023/07/aws-aurora-pgvector/
免责声明:
1、本站资源由自动抓取工具收集整理于网络。
2、本站不承担由于内容的合法性及真实性所引起的一切争议和法律责任。
3、电子书、小说等仅供网友预览使用,书籍版权归作者或出版社所有。
4、如作者、出版社认为资源涉及侵权,请联系本站,本站将在收到通知书后尽快删除您认为侵权的作品。
5、如果您喜欢本资源,请您支持作者,购买正版内容。
6、资源失效,请下方留言,欢迎分享资源链接
文章评论