5分钟搭建llama3 RAG [ phidata+groq+streamlit ]

5分钟搭建llama3 RAG [ phidata+groq+streamlit ]

简介

使用phidata+groq+streamlit快速搭建 AI RAG系统,可以读取PDF,网址,图片来进行问答。

同在AI应用发展真是超级快啊,现在建立一个这个的RAG是多么容易,还是一个比很多chatbot多很多功能的高级RAG。

Phidata adds memory, knowledge and tools to LLMs.

此RAG 支持数据库,记忆等知识库及Tools……

下面还没撸起袖子就部署完成了,开干。

下载项目及前期配置

在VPS中或本地开发环境中输入以下代码:

git clone https://github.com/phidatahq/phidata
cd phidata/cookbook/llms/groq/rag

#以下2行创造虚拟环境(可选。适合Linux系统)
python -m venv phidata
source phidata/bin/activate

pip install -r requirements.txt
export GROQ_API_KEY=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
export OPENAI_API_KEY=

设置数据库

使用docke run 安装 RAG使用到数据库

docker run -d \
  -e POSTGRES_DB=ai \
  -e POSTGRES_USER=ai \
  -e POSTGRES_PASSWORD=ai \
  -e PGDATA=/var/lib/postgresql/data/pgdata \
  -v pgvolume:/var/lib/postgresql/data \
  -p 5532:5432 \
  --name pgvector \
  phidata/pgvector:16

#运行完成后可通过 docker ps 来查看

运行程序

streamlit run app.py

Comments

No comments yet. Why don’t you start the discussion?

    发表回复

    您的邮箱地址不会被公开。 必填项已用 * 标注