来源：云云众生s开云官网切尔西赞助商

以下是咱们挑选的开源AI时候栈最好组件。

译自Stop Paying the OpenAI Tax: The Emerging Open-Source AI Stack，作家 Team Timescale。

译自Stop Paying the OpenAI Tax: The Emerging Open-Source AI Stack，作家 Team Timescale。

一套开源模子和器用，使任何开采者皆能构建起首进的AI应用法子。

要是咱们概况回到已往，告诉软件工程师他们的应用法子将由微妙的AI驱动，咱们对其里面运作一无所知，况兼他们为了体验的便利性而将最明锐的数据交给影子第三方，他们可能会难以置信地摇头。但这即是咱们刻下所处的境地。

如今，全球的开采者正在围绕AI再行构念念他们的应用法子，默许情况下，这意味着将专有的大型言语模子（LLM）集成到各个方面。然则，诚然来自OpenAI和Anthropic等公司的专有LLM激发了AI翻新，但它们也存在彰着的过错：惊东说念主的资本、数据诡秘问题、供应商锁定以及缺少可定制性。最初，为了翻新性的功能而焚烧性能和限度权似乎是一笔值得作念的走动，但如今好多开采者念念要一种不同的形式。

张开剩余90%

然则，翻新总能使也曾独特的东西民主化。诚然最初的AI飞腾聚拢在专有模子上，但确实的翻新是开源LLM行为专有模子（如OpenAI的模子）的可行替代决议的连忙兴起。开源AI器用的创新也悄然爆发，使开采东说念主员概况诈欺开源LLM增强的推明智商，并将它们转机为有用的应用法子——从模子部署和托管器用到数据存储和检索，再到前端和后端Web框架，敩学相长。

为了匡助您了解这个新的规模，并基于与数百名开采东说念主员和其他AI器用构建者的对话，咱们正在分享咱们选拔的**“浅易模式”开源AI时候栈**——最适应开采东说念主员构建AI应用法子的模子和器用。以下是该时候栈的组件如何协同责任以增强开采东说念主员智商并重塑AI翌日的：

“浅易模式”开源AI时候栈。精选的顶级模子和器用，使开采东说念主员概况应答构建AI应用法子，从而最大终结地限度数据诡秘、资本和性能。

这套开源AI器用将部署、诡秘和性能的绝对限度权交还给开采东说念主员，而不会焚烧其应用法子的智能性。开采东说念主员刻下不错使用这些器用以任何他们念念要的形式构建和部署AI科罚决议——土产货、云霄或边际。他们保留对其数据的100%限度权，况兼不必挂牵“值得相信的”第三方可能会若那边理潜在的明锐信息。这不单是是时候上的诊疗；它亦然文化上的诊疗，标志着开采者自主性和创新的中枢价值不雅的回顾。

这即是开源AI时候栈的快乐——一套使任何开采者皆能构建起首进AI应用法子的模子和器用。它不单是是一套时候；它更是一场旨在使创新惠及每位开采者的理解。

1. LLMs：开源模子

精选的顶级开源免费LLM，可与OpenAI、Anthropic和Google的专有模子相失色。其中包括Meta的Llama 3.3、Mistral模子系列、Qwen模子系列、微软的Phi 3以及DeepMind的Gemma 2。

开源大型言语模子正处于AI民主化的最前沿。诸如Meta的Llama 3系列、Mistral 7B和Pixtral 12B、阿里云的Qwen 2.5、微软的Phi 3和DeepMind的Gemma 2等模子皆不错免费下载和使用，任何领有鼓胀硬件的开采者皆不错运行。

这些开源模子可与专有科罚决议相失色，并提供以下上风：

更苍劲的数据限度： 使用开源模子不错保证所特地据奥妙性，幸免依赖第三方，并为开采者提供更苍劲的安全性和合规性保险。 具有竞争力的推感性能： 开源模子在MMLU、HumanEval和MATH Reasoning等基准测试中日益具有竞争力，标明开源模子和专有模子之间的推理差距正在减弱。 无邪的部署和可定制性： 您不错通过自行微调或访谒公开可用的模子微长入变体来顺应利基用例，而无需受供应商欺压。 微型模子的后果和可彭胀性： 较小的开源模子每每需要较少的计较智商，使其具有资本效益，况兼易于在资源受限的诞生或环境中部署，同期仍能为特定任务提供苍劲的性能。

2. 镶嵌模子：开源镶嵌模子

一些顶级的开源镶嵌模子包括Nomic、来自BAAI的BGE、Sentence Transformers系列以及来自Jina AI的模子等。向量镶嵌在当代AI应用中极其有用。它们为搜索和RAG（检索增强生成）功能提供撑握，使LLM应用法子概况以更可靠、更合适高下文的联系谜底进行反应。

就像开源LLM相同，开源镶嵌模子也取得了权臣进展，不错与OpenAI的text-embedding-3模子系列和Cohere的embed-multilingual-v3.0等专有科罚决议相失色。开始的开源镶嵌模子包括：

包含各类尺寸和专科化功能的开源镶嵌模子系列，从轻量级的all-minilm到多言语模子。

Sentence Transformers / SBERT： 开源的镶嵌模子眷属，包含各类大小和专科化的模子，从轻量级的all-minilm到多言语模子。 Nomic： Nomic Embed Text V1.5撑握多种镶嵌尺寸（768、512、256、128、64），特地用于检索、相似性、聚类和分类任务。它不错处理多达8,192个鲜艳的序列，并为文本和图像数据提供多模态智商。 BGE (BAAI)： BGE（BAAI通用镶嵌）模子将文本映射到密集向量，用于检索、分类和语义搜索任务。最新的BGE-M3模子撑握100多种言语，不错处理最多8192个token的文档。它具有多功能性（密集检索、多向量检索、稀薄检索）智商。 Jina AI：Jina AI的jina-embeddings-v3是一个领有5.7亿参数的模子，撑握89种言语，在30种中枢言语中阐发出色。它具有8192个token的输入长度、可设立的最高1024维输出以及针对查询文档检索、聚类、分类和文本匹配的专科功能。

3. 模子访谒和部署：Ollama

Ollama已成为开采者访谒和使用开源LLM和镶嵌模子的默许器用。

部署AI模子也曾就像试图从你的车库辐射航天飞机相同。这需要令东说念主视为畏途的专科常识组合：由博士构成的团队、复杂的架构以及会让大大批组织望而却步的资源。Ollama透彻改造了游戏法例，允许开采者使用单个号令运行起首进的模子：

ollama run llama3.2

通过单个器用访谒数百个LLM和镶嵌模子，空洞化基础设施挑战并简化部署，Ollama将也曾看似难以晋升的绝交诊疗为无缝、直不雅的过程。它使开采东说念主员概况专注于科罚实践天下的问题，弥合个东说念主和企业格局创新与实用性之间的差距。

借助开源模子和Ollama的简略性，开采东说念主员不错以前所未有的目田度来部署AI。举例：上述开源LLM和镶嵌模子部分中提到的通盘模子皆可通过Ollama获取！

4. 数据存储和检索：PostgreSQL、pgvector和pgai

开源数据库PostgreSQL特殊用于AI用例（如pgvector和pgai）的开源彭胀生态系统，是但愿构建AI应用法子的开采者的理念念选拔。

细腻的数据和细腻的检索是AI中RAG翻新的中枢，使开采东说念主员概况创建LLM应用法子，为用户提供高度准确、合适高下文、无幻觉的谜底。

然则，最好的AI应用法子不单是是使用向量数据库——它们触及非结构化数据、结构化数据和应用法子数据的组合，以及对具有复杂过滤器的弘大数据集进行向量搜索。此类检索系统可确保您的用户获取最合适高下文的谜底，但构建它们可能很复杂，在某些情况下，可能需要多个数据库系统和自界说数据管说念：

您需要存储文档和其他源数据以创建要搜索的常识库。 你需要一种步调来预处理数据，从中创建向量镶嵌，并在常识库发生变化时保握这些镶嵌同步。 你还需要概况存储和搜索向量镶嵌，每每是大范畴的，况兼对元数据和其他用户数据进行复杂的过滤。更无谓说处理多田户、权限和访谒限度以及高可用性等骨子问题了。

好音尘是，PostgreSQL（天下上最受宽宥的数据库）正在从可靠的关系型数据库诊疗为为 AI 应用法子提供撑握的数据层，撑握结构化数据、非结构化数据以及快速、准确的向量搜索。

PostgreSQL 是开源的，况兼领有一个开源彭胀生态系统，这使其成为为 AI 应用法子提供存储和检索功能的首选数据库：

向量搜索：诸如pgvector和pgvectorscale之类的彭胀法子撑握向量存储和相似性搜索，其性能优于特地的向量数据库。 易用性：诸如pgai之类的彭胀法子简化了访谒 LLM 以对 PostgreSQL 中的数据进行推理的过程，况兼诸如pgai Vectorizer之类的功能使镶嵌创建和同步与传统的数据库索引相同直不雅。 集成和生态系统：Pgai 对 Ollama 的撑握使得应答访谒起首进的开源模子以进行镶嵌创建或推理成为可能。

示例：使用几行 SQL 实行语义搜索：

CREATETABLEIF NOT EXISTS blog ( id SERIALPRIMARY KEY, title TEXT, authors TEXT, contents TEXT, metadata JSONB ); INSERT INTO blog (title, authors, contents, metadata) VALUES ('The Future of Artificial Intelligence', 'Dr. Alan Turing', 'As we look towards the future, artificial intelligence continues to evolve...', '{"tags": ["AI", "technology", "future"], "read_time": 12, "published_date": "2024-04-01"}'); --insert more data here --Vectorize data in the contents column using models from Ollama SELECTai.create_vectorizer( 'blog'::regclass, destination =>'blog_contents_embeddings', embedding =>ai.embedding_ollama('nomic-embed-text', 768), chunking => ai.chunking_recursive_character_text_splitter('contents') ); -- Perform semantic search SELECT b.title, b.contents, be.chunk, be.embeddingai.ollama_embed('nomic-embed-text', 'What comes next in AI') as distance FROM blog_contents_embeddings be JOIN blog b ONb.id=be.id ORDER BY distance LIMIT3;

5. 后端：FastAPI

你的应用法子后端将智能模子聚首到面向用户的应用法子，而 FastAPI 已成为开采东说念主员的首选框架。它提供：

速率和简略性：异步编程确保低蔓延和高费解量。 面向开采东说念主员的估量打算：自动 API 文档和类型提醒概况快速迭代。 无缝集成：特别适应及时应用法子，举例聊天机器东说念主、推选引擎和瞻望分析。

FastAPI 排斥了后端瓶颈，使开采东说念主员概况应答地将 AI 应用法子从原型彭胀到坐褥环境。念念象一下部署一个由开源模子驱动的推选系统。FastAPI 的异步功能确保用户肯求立即得到处理，而其自动文档使配合保握无缝。这些功能共同将复杂的后端责任过程诊疗为可管制、高效的系统。

6. 前端：NextJS

AI 应用法子的前端需要处理复杂的情状管制和动态更新，而NextJS已成为用于坐褥部署的首选 React 框架。

它提供好多有用的功能：

搀杂渲染:劳动器端渲染 (SSR) 和客户端静态渲染为您提供了无邪的每个页面渲染仁和存选项。Next.js 提供苍劲的劳动器端功能，这关于 AI 应用法子尤其故意。该框架的 SSR 有助于有用地管制计较密集型 AI 任务，同期减少客户端诞生的负载。这在处理复杂的 AI 模子交互和数据处理时尤其蹙迫。 及时流和更新:它与各类及时科罚决议无缝集成，以撑握通达的动态交互，这关于 AI 聊天和其他披露动态内容的 UI 尤其蹙迫。 与 Vercel AI SDK 集成:Vercel AI SDK（亦然开源的）专为使用 Next.js 创建 AI 应用法子而构建，并撑握客户端和劳动器端的 AI 功能。它与Ollama很好地集成，并提供用于处理 AI 模子推理、流式反应和聚首提供商的实用法子。

7. 缺失的部分：评估和考证

诚然开源 AI 时候栈一经练习，但评估仍然是一个要津挑战。像LangFuse和Arize 的 Phoenix这么的格局提供了但愿，但生态系统仍然缺少一个用于测试和考证 AI 模子的全面框架。这一差距代表了一个创新的契机——一个让社区界说可靠的、实践天下的 AI 应用法子的契机。

这为什么蹙迫： 与传统应用法子不同，LLM 口角相信性的，这意味着要是您在莫得评估和考证的情况下部署 AI 应用法子，您将无法判断应用法子的性能。苍劲的评估系统关于确保您的应用法子刻下和系统发展过程中皆能细腻运行至关蹙迫。

咱们应该说，鉴于开源社区在创建可不雅察性和监控器用方面的苍劲记载，咱们发现这种智商差距特别酷好酷好。咱们觉得，总的来说，评估生态系统还处于起步阶段，尚未找到正确的步调。咱们怀疑刻下的系统过于千人一面，况兼低估了不同格局之间评估需求的各类性。需要的是一种肖似于 DevOps 中GitOps 翻新的视角诊疗，这即是为什么咱们特别欢笑看到开源驱动的创新在这个规模蕃昌发展。

绽开获取创新：你将构建什么？

开源 AI 时候栈不单是是一组器用——它是一场理解。开采东说念主员刻下不错目田地构建、创新和限度他们的 AI 应用法子，而无需挂牵供应商锁定或诡秘问题。

使用开源 AI，您不错获取：

目田部署在职何地点——土产货、云霄或边际。 绝对限度数据——无需第三方分享。 可定制性以自满您的需求。 与全球社区合作。

这不单是关乎时候；它关乎创造属于你我方的东西。不管您是部署模子、构建 RAG 应用法子照旧启动新的 AI 劳动，开源时候栈皆让您不错按照我方的形式进行操作。

立即开动：

使用 Ollama部署开源模子。 使用 PostgreSQL构建 RAG 应用法子。 使用 FastAPI创建您的后端。

实验、迭代和孝顺。开源 AI 翻新一经到来——你将构建什么？

本文由 Matvey Arye 和 Avthar Sewrathan 撰写，并于 2024 年 12 月 16 日在 Timescale 官方博客上初度发布。

本文在云云众生（https://yylives.cc/）首发开云官网切尔西赞助商，宽宥人人访谒。

本文在云云众生（https://yylives.cc/）首发，宽宥人人访谒。

发布于：北京市