Enterprise LLM Security Framework
Proof-of-concept bảo mật cho ứng dụng RAG doanh nghiệp, tập trung vào prompt injection, data leakage, provenance và document poisoning.
Problem
LLM không phải một trust boundary.
Ứng dụng RAG có nhiều bề mặt tấn công: prompt của người dùng, tài liệu được truy xuất, dữ liệu nhạy cảm trong output và nguồn tài liệu bị làm độc. Dự án đặt một gateway kiểm soát trước, trong và sau pipeline thay vì trông chờ duy nhất vào model.
Architecture
Defense in depth, quyết định có thể audit.
- Input guard phân loại prompt injection/jailbreak và kiểm tra phạm vi.
- RAG guard + provenance guard đánh giá chunk, nguồn và quyền truy cập.
- Output guard/DLP hạn chế rò rỉ dữ liệu nhạy cảm.
- Audit trail ghi lại quyết định và lý do theo từng request.
- Offline mock provider giúp test tái lập mà không phát sinh API trả phí.
Evidence
Từ claim đến artifact.
Repository chứa benchmark v2 gồm 120 case đã đóng băng, unit/integration tests, scripts kiểm chứng release và các báo cáo audit độc lập. Những con số hiệu năng chỉ được công bố khi có artifact sinh từ evaluation runner.
What I learned
Security metrics need governance.
Thiết kế benchmark, khóa holdout, provenance của artifact và cách diễn đạt giới hạn quan trọng không kém code guardrail. Một hệ thống bảo mật đáng tin phải chỉ ra được nó đã test điều gì — và chưa test điều gì.
Scope trung thực: academic internship PoC, synthetic data, không tuyên bố production-ready.