UIUC人工智能助教

UIUC 电气工程“比 Google 更好”多媒体 QA 和搜索 我们在 HuggingFace 上直播：👉 https://huggingface.co/spaces/kastan/ai-teaching-assistant 👈 系统图 我们的系统并行运行 11 个独立模型，用于文本/图像检索、生成、审核和排名，并且仍然实现平均 2 秒的响应时间。数据 我们使用来自教科书、讲座视频和学生 QA 论坛的数据（主观上按重要性排序）。目前这些数据均未公开，因为该项目未获得作者授予这些权利。 RLHF 我最喜欢的贡献是 RLHF 期间语义搜索检索的新颖方法，使用我雇佣了一个由五名电气工程专业学生组成的团队迭代生成的数据集。该数据可在 Huggingface 上免费获取：https://huggingface.co/datasets/kastan/rlhf-qa-comparisons。我们专门介绍了 UIUC 课程 ECE 120 电气工程入门所需的材料。评估 我们这里有很多模型。为了评估哪些是有帮助的，哪些是有害的，每次我们推出新功能时，我们都会重新运行此评估。我们的 QA 对评估数据集是内部生成的，由专家电气工程师编写。利用这些问题，我们为每个模型生成答案。最后，我们询问 GPT-3 生成的结果是否比人类编写的真实答案“更好”或“更差”。一个限制是 GPT-3 会自我评估。 GPT-3 几乎总是认为 GPT-3 很棒，但这可能不是真的，也是这种评估方法的局限性。也许我们应该用 Cohere 的模型进行同样的评估来进行比较。尽管如此，迭代评估对于确保我们的新功能使我们的系统变得更好至关重要。请在此处查看完整的评估结果。请参阅此处的评估代码。使用 该项目是完全开源的，商业教科书除外。我强烈鼓励您简单地插入您自己的 Pinecone 文档数据库并在您的工作中使用它！ 🚀 安装 Python 需求 # 在 python 3.8 上测试 pip install -rrequirements.txt API 密钥 我们依赖于 run_ta_gradio.sh 中枚举的这些 API。请务必添加您自己的 😄 文档存储以进行检索增强生成 只需构建您自己的文档 Pinecone 数据库即可。我们开源了为此使用的脚本，其中我们的源材料是 PDF 或纯文本格式，我们的讲座幻灯片是 .jpg 图像（从 .pptx 偷偷导出）。数据清理实用程序： 教科书 PDF 到 Pinecone 数据库 视频记录（来自 Whisper）到 Pinecone 你就完成了！您现在可以运行应用程序🎉#运行网络应用程序！ bash run_ta_gradio.sh 文件 main.py ：我们许多 LLM 实现的主要聚合器。 TA_gradio_ux.py ：定义 Gradio UX，并调用 main.py 中定义的模型。 promping.py ：我们的提示工程之家。 evaluation.py ：对我们的系统运行 GPT-3 支持的评估。我们定期运行此程序来确定每个附加功能是否使响应“更好”或“更差”。 Feedback.json ：通过 Gradio Web 应用程序收集真实用户反馈。 run_ta_gradio.sh ：入口点启动脚本。