track-ml-experiments
关于
This skill sets up an MLflow tracking server for experiment management with autologging for popular frameworks. It enables systematic comparison of training runs via metrics and visualizations while managing artifacts in remote storage. Use it when starting ML projects requiring reproducible workflows, migrating from manual logging, or comparing multiple runs with full lineage tracking.
快速安装
Claude Code
推荐npx skills add pjt222/agent-almanac -a claude-code/plugin add https://github.com/pjt222/agent-almanacgit clone https://github.com/pjt222/agent-almanac.git ~/.claude/skills/track-ml-experiments在 Claude Code 中复制并粘贴此命令以安装该技能
技能文档
追 ML 試
見 Extended Examples 為全配檔與模
立 MLflow 追服、行全試追含度、參、物。
用
- 始新 ML 案需試追→用
- 由手日轉至自追→用
- 系比多模訓行→用
- 與隊分試果→用
- 建可重現 ML 流含全系追→用
- 整試追於 CI/CD 流→用
入
- 必:含 ML 框(sklearn、pytorch、tensorflow、xgboost)之 Python 境
- 必:MLflow 裝(
pip install mlflow) - 可:遠存背(S3、Azure Blob、GCS)為物
- 可:庫背(PostgreSQL、MySQL)為元存
- 可:遠背認憑
行
一:初 MLflow 追服
立 MLflow 追服含宜背。
# Option 1: Local file-based tracking (development)
mkdir -p mlruns
export MLFLOW_TRACKING_URI="file:./mlruns"
# Option 2: SQLite backend with local artifacts
mlflow server \
--backend-store-uri sqlite:///mlflow.db \
--default-artifact-root ./mlartifacts \
# ... (see EXAMPLES.md for complete implementation)
建配檔為隊享:
# mlflow_config.py
import os
MLFLOW_TRACKING_URI = os.getenv(
"MLFLOW_TRACKING_URI",
"http://mlflow-server.company.com:5000"
)
# ... (see EXAMPLES.md for complete implementation)
得:MLflow UI 可訪於指 host:port、示空試列。服日確啟成無誤。
敗:察口可用以 netstat -tulpn | grep 5000、驗庫連串、確 S3 憑配(aws configure)、察防火牆規於遠訪。
二:配 ML 框自記
啟框自記以自捕度、參、模。
# training_script.py
import mlflow
from mlflow_config import MLFLOW_TRACKING_URI, MLFLOW_EXPERIMENT_NAME
# Set tracking URI
mlflow.set_tracking_uri(MLFLOW_TRACKING_URI)
mlflow.set_experiment(MLFLOW_EXPERIMENT_NAME)
# ... (see EXAMPLES.md for complete implementation)
PyTorch:
import mlflow.pytorch
mlflow.pytorch.autolog(
log_every_n_epoch=1,
log_every_n_step=None,
log_models=True,
disable=False,
exclusive=False,
# ... (see EXAMPLES.md for complete implementation)
得:行現於 MLflow UI 含諸超參、度(訓/驗失、準)、模物、入例自記。
敗:驗 MLflow 版於 ML 框合(mlflow.sklearn.autolog() 需 MLflow ≥1.20)、察自記支於模類否、閉自記用手記為退、用 mlflow.set_tracking_uri() 察日為連誤。
三:行全手記
加自度、參、物、標為全試文。
# comprehensive_tracking.py
import mlflow
import numpy as np
import matplotlib.pyplot as plt
from pathlib import Path
def train_and_log_model(params, X_train, y_train, X_test, y_test):
"""
# ... (see EXAMPLES.md for complete implementation)
得:MLflow UI 示富試訊含逐步度、視物、模簽、入例、為濾搜之全標。
敗:察物存權(aws s3 ls s3://bucket/path)、驗 matplotlib 背為圖記(plt.switch_backend('Agg'))、確 JSON 可序資類為 log_dict、察碟空為本物存。
四:比行而生報
用 MLflow 比工析多試。
# compare_runs.py
import mlflow
from mlflow.tracking import MlflowClient
client = MlflowClient()
def compare_experiments(experiment_name, metric_name="test_accuracy", top_n=5):
"""
# ... (see EXAMPLES.md for complete implementation)
命行比:
# Compare runs using MLflow CLI
mlflow runs compare --experiment-name customer-churn \
--order-by "metrics.test_accuracy DESC" \
--max-results 10
# Export run data to CSV
mlflow experiments csv --experiment-name customer-churn \
--output experiments.csv
得:終出示序行含要度、HTML 報生含格比表、CSV 檔含諸行資為深析。
敗:以 mlflow experiments list 驗試在、察度名精配(敏)、確行成(察行態)、驗檔書權於出檔。
五:配遠物存
立 S3/Azure/GCS 背為可長物管。
# artifact_storage_config.py
import mlflow
import os
def configure_s3_backend():
"""
Configure S3 for artifact storage.
"""
# ... (see EXAMPLES.md for complete implementation)
Docker Compose 為 MLflow 含 PostgreSQL 與 S3:
# docker-compose.yml
version: '3.8'
services:
postgres:
image: postgres:14
environment:
POSTGRES_DB: mlflow
# ... (see EXAMPLES.md for complete implementation)
得:物上載成於遠存、MLflow UI 示物鏈指 S3/Azure/GCS URI、由 UI 載物正行。
敗:以 aws s3 ls 或 az storage blob list 驗雲憑、察桶/容權(需書權)、確 MLflow 含雲附(pip install mlflow[extras])裝、測網於存端、察 CORS 為瀏訪。
六:行試生命管
立自清、藏、組策。
# lifecycle_management.py
import mlflow
from mlflow.tracking import MlflowClient
from datetime import datetime, timedelta
client = MlflowClient()
def archive_old_experiments(days_old=90):
# ... (see EXAMPLES.md for complete implementation)
得:舊試移至刪態、敗行自活列除、佳行標為易濾於 UI、存空復。
敗:察試權(必為主乃可刪)、驗行於 FAILED 態、確度於諸序行存、察庫連於批操、驗遠存物刪足權。
驗
- MLflow 追服可由 web UI 訪
- 試建而行記成
- 自記捕框特度自
- 自度、參、物正記
- 比查返期頂行
- 遠物存配而行
- 物可由 UI 與程載
- 行濾搜以標行
- HTML 比報生無誤
- 生命管腳本執成
忌
- 連超時:MLflow 服自訓腳本不可訪——驗
MLFLOW_TRACKING_URI環變、察防火、確服行 - 物上載敗:S3/Azure 憑未配或桶不在——先測雲 CLI 訪、驗桶權
- 缺度:自記閉或框版不支——察 MLflow 版合、退至手記
- 行雜:試行過多污 UI——早行標策、常用生命管腳本
- 大物:記全資致存脹——唯記樣或參、用外資版(DVC)
- 名不一:諸行間參異名——於配檔標名規
- 庫鎖:SQLite 不支並書——多用境用 PostgreSQL/MySQL
- 自記衝:多自記配相擾——用
exclusive=True或閉衝自記
參
register-ml-model- 登追之模於 MLflow 模登version-ml-data- 用 DVC 為可重現試版資集setup-automl-pipeline- 整試追於自 ML 流deploy-ml-model-serving- 部最佳追之模於產orchestrate-ml-pipeline- 合試追與流協
GitHub 仓库
相关推荐技能
content-collections
元Content Collections 是一个 TypeScript 优先的构建工具,可将本地 Markdown/MDX 文件转换为类型安全的数据集合。它专为构建博客、文档站和内容密集型 Vite+React 应用而设计,提供基于 Zod 的自动模式验证。该工具涵盖从 Vite 插件配置、MDX 编译到生产环境部署的完整工作流。
polymarket
元这个Claude Skill为开发者提供完整的Polymarket预测市场开发支持,涵盖API调用、交易执行和市场数据分析。关键特性包括实时WebSocket数据流,可监控实时交易、订单和市场动态。开发者可用它构建预测市场应用、实施交易策略并集成实时市场预测功能。
creating-opencode-plugins
元该Skill帮助开发者创建OpenCode插件,用于接入命令、文件、LSP等25+种事件。它提供了插件结构、事件API规范和JavaScript/TypeScript实现模式,适合需要拦截操作、扩展功能或自定义事件处理的场景。开发者可通过它快速构建响应式模块来增强OpenCode AI助手的能力。
sglang
元SGLang是一个专为LLM设计的高性能推理框架,特别适用于需要结构化输出的场景。它通过RadixAttention前缀缓存技术,在处理JSON、正则表达式、工具调用等具有重复前缀的复杂工作流时,能实现极速生成。如果你正在构建智能体或多轮对话系统,并追求远超vLLM的推理性能,SGLang是理想选择。
