基于Metadata过滤实现RAG应用中知识权限的访问控制

随着越来越多企业开始构建基于企业知识库的LLM+RAG应用，一个目前讨论还不太多的问题自然而然地浮出水面：如何基于企业用户权限，控制大模型RAG应用的问答内容输出范围？说到底，就是RAG应用只能回答当前用户有权限访问的知识内容。 访问控制并不是什么新鲜概念。对熟练的程序员而言，很容易想到RBAC、ABAC、PBAC等多种方案，结合具体场景做基于角色、属性、策略的各类访问控制。 其实，在LLM RAG应用的背后，通常会有一个存放各类原始企业知识文档的存储层。如果直接在知识库层面动手，权限控制的粒度可以一直做到文档级别。手段也很多：比如划分知识库、建立多级文件夹、打标签等。通过这些方式，可以强制限制RAG应用只在指定范围内进行检索。举个例子，阿里云百炼模型服务平台1.0版就采用了打标签的方式——把上传到知识库的文档通过标签归类聚合，然后限制RAG应用只能在那个范围里进行知识问答。 知识库里的文档经过分块、Embedding后，向量数据被存入用于提供检索功能的向量数据库。你可以立刻想到一个更灵活的思路：在检索向量数据库时做访问控制，根据当前用户的角色权限，只检索出他有权访问的向量数据交给LLM。有些向量数据库本身就已经支持基于身份的权限访问控制，比如Zilliz的RBAC实践。但更多时候，需要与应用结合得更紧密、更灵活，那就要在向量数据库的数据中增加元数据（metadata）。把数据密级、分类、单位部门、时间、地点等信息都放进metadata里，后续在检索时直接做查询过滤。 比方说，可以在向量数据库中增加如下的metadata信息： ```cs collection.add(documents=["这是公司2023年上半年的公开财报。财报中针对..."], metadatas =[{"auth_level": 1, "category": "公司财报", "department": "IR", "role":"all", "year": "2023"}], ids="id1") collection.add(documents=["2023年饮料事业部内部经营分析报告，针对事业部在2023年的经营策略..."], metadatas =[{"auth_level": 2, "category": "经营分析报告", "department": "饮料事业部", "role":"bev|ir|IT|sec", "year": "2023"}], ids="id2") collection.add(documents=["机密:公司未来一年的重点投资方向和投资策略..."], metadatas =[{"auth_level": 3, "category": "投资策略", "department": "投资部", "role":"hqhead|boardsmembers", "year": "2024"}], ids="id3") ``` 接下来，写一个检索函数，简单根据前端应用传入的授权级别做数据查询过滤： ```python def vector_search_with_rbac(query_text, user_auth_level): if not isinstance(user_auth_level, int) or user_auth_level < 0: raise ValueError("Invalid user_auth_level. Must be a non-negative integer.") try: results = collection.query(query_texts=[query_text],n_results=10, where={"auth_level": user_auth_level}) return results except Exception as e: print(f"An error occurred: {e}") return [] ``` 可以基于上面的思路进一步扩展，根据前端应用传入的时间地点、分类类别、单位部门、角色岗位等元数据信息，做各种数据查询过滤，确保当前用户只能得到他有权限知道的回答内容。 至于元数据的内容，既可以把第一环节知识库中配置好的权限转化过来存入，也可以直接根据前端应用中的权限配置信息转化后存入。 总的来说，对于企业级RAG应用来说，权限访问控制是绕不过去的一关。只有做好了这一步，才能让RAG应用更放心地投入生产使用。