AI AgentLLM测试自动化飞书

AI 测试官网实践:Hermes + 飞书 Bot 自动化

2024-12-207 min

一、Hermes 测试咱们官网

口述需要测试的内容:使用的是 Hermes + MiniMax 2.7 + HuggingFace 搭配腾讯云服务器,接入飞书 Bot

Hermes + MiniMax + HuggingFace + 飞书

飞书收到的结果:完整报告(含截图):COS 完整报告

飞书Bot测试结果

思考:Hermes 的五层架构导致 Hermes 会越用越聪明,能自我自动沉淀技能文档。实测 Hermes 会自我沉淀测试技能文档优化后续测试流程,AI 已经能调用很多 Lighthouse 等工具,做到测试网站核心性能指标、看火焰图等比人还快。并且可以 24 小时监控网站数据,后续能大幅取代运维测试工作。

Skill自动化沉淀

二、大厂都在开放核心能力给 AI

飞书开放很多核心能力,AI 一句话预约会议测试:

飞书AI预约会议飞书会议预约结果

PsySH 等技术公司,给 AI 写安装 Skill,而不是给人写安装文档,已成趋势。

Skill写给AI而非人

三、AI 开发提效:"技能"沉淀(Skill Creation)

利用 Hermes 可以自动沉淀技能,使用 Swagger 将后台接口文档转成 AI 可理解的代码,教会 AI 去实现接口等业务功能已成趋势。人大部分情况下只需要做代码审查。

参考:字节 Trae AI 参考文档


附:yuugeai.com 测试报告

测试概要

  • 测试时间: 2026-04-26
  • 测试账号: 15113151557
  • 测试人: 自动化测试(Hermes AI Agent)

2.1 登录测试

步骤:

  1. 点击首页 Login 按钮
  2. 在弹窗中点击"密码登录" tab
  3. 输入账号: 15113151557
  4. 输入密码: Yanghao123
  5. 点击登录按钮

结果:✅ 通过

验证:登录后显示 "Hi, 杨浩!" 欢迎信息


2.2 /hot-jobs 导航测试

结果:✅ 通过

真实路径:/hot-jobs(符合预期)

功能验证:

  • 页面正常加载
  • 职位列表显示完整
  • 筛选功能正常(城市、学历要求、招聘类型)
  • 搜索框可用
热门职位页面

2.3 AI Interview 导航测试

问题描述:

  • 测试要求写的是 /interview,但项目实际用的是 /store/dashboard/profile
  • 名字很奇怪,不是预期的 /interview

三、性能指标

问题:

  • /hot-jobs 首屏渲染时间偏长(FCP 1684ms)
  • 首页 DOMContentLoaded 后需额外渲染才能完全显示内容

建议优化:

  • 检查 /hot-jobs 页面是否有大数据量请求
  • 考虑增加骨架屏或懒加载
  • API 接口响应时间可进一步优化

结论

  1. 登录功能正常工作
  2. 热门职位页面(/hot-jobs)功能完整但性能需优化
  3. /interview 路由不存在,项目用的是 /store/dashboard/profile(名字奇怪)
  4. AI Interview 导航路径与文档描述不符

测试状态:⚠️ 部分通过(存在 1 个高优先级问题)

报告链接:COS 完整报告

AI 测试官网实践:Hermes + 飞书 Bot 自动化 | Andy Yang