资源导航

数据集

• 通用语料：Pile、RefinedWeb、C4；中文可选 Wudao/ClueCorpus（注意授权）。
• 指令/对话：ShareGPT、UltraChat、OpenOrca、自制垂类指令集合。
• 安全与拒答：PKU SafeRLHF、Beavertails、AlignBench-Safety。

评测基准

• 通用理解：MMLU、C-Eval、AGIEval。
• 推理：GSM8K、MATH、MMLU-Pro。
• 代码：HumanEval、MBPP、CodeBLEU 相关任务。
• 安全：ToxiGen、RealToxicityPrompts，及红队自建集合。

工具与框架

• 训练/微调：PyTorch、DeepSpeed、Lightning、vLLM-LoRA。
• 推理/服务：vLLM、TensorRT-LLM、TGI；监控可选 Prometheus/Grafana。
• 代理与编排：LangChain、LlamaIndex、OpenAI ReAct/Functions、LLM-as-Observer 模式。

开源模型

• 通用：Llama 2/3、Mistral/Mixtral、Qwen、GLM。
• 代码：CodeLlama、StarCoder、DeepSeek-Coder。
• 多模态：Qwen-VL、LLaVA、InternVL。

选择资源前请确认许可证与数据合规性，避免侵权与敏感内容风险。