Aquifers
← 所有项目

PERSONAL PROJECT / 个人项目

Kiite_kudasai

面向课堂的 attention proxy:把值得回来关注的新信息,整理成有上下文、可追溯的提醒。

作者
Aquifers
当前范围
桌面课堂工作台 · 带观察的试用阶段
技术
Python · JavaScript · Chrome MV3 · SQLite · ASR · WebView2

把注意力留给值得回来的时刻

课堂里值得关注的内容,不只有签到。作业的变化、考试安排、临时取消的一项要求,都可能让人希望及时回来听。Kiite_kudasai 是一个 attention proxy:处理用户主动选定的课堂声音,寻找新增信息,再把提醒与上下文放在一起。

目标不是用一份转写替代听课,而是减少持续盯着课堂的负担,同时保留回到原话核对的路径。当前形态是 Windows 桌面工作台与 Chrome 扩展,处于需要观察、核对的试用阶段。

从 capture 到可追溯的提醒

Chrome 扩展通过 tabCapture 捕获用户选择的标签页。声音进入本机 durable audio journal(持久音频记录),随后由本地 ASR 分块转写,交给 detector、EventTracker 与 AlertPolicy,最后通过 sink/outbox 投递提醒。

这条链路把不同的事实分开:声音被捕获、收到、持久化,不等于已经转写;stable transcript frontier(稳定转写前沿)也不等于提醒已经送达。ASR 失败时不推进处理前沿,capture 不等待下游处理;已提交的提醒留在 per-sink outbox,各投递渠道分别记录结果和有界重试。

原始 ASR 保持不变。便于阅读的派生文本另存版本和 raw hash,保真校验失败时回退,detector 仍使用原始输入。这样,界面中的一句话始终有可以核对的来源,而不只是一条模型判断。

一张能长期打开的工作台

当前 Production Console 采用三个连续阅读区域:Important Info 扫描新信息,Selected Information 展开事件、上下文和投递情况,Classroom Record 阅读连续课堂记录。正常状态安静呈现;采集缺口、处理积压或局部投递失败才提高视觉权重,完整诊断仍可到达。

课堂声音可以在「一起听」与「Kiite 代听」之间切换。界面只在扩展 ACK 后确认选中状态,切换不会新建课堂 session,也不停止 capture/ASR。投递接口的 accepted 同样只表示接口接受,不能普遍视为用户已经看见提醒。

查看合成数据下的当前工作台
Kiite 当前三窗工作台的合成展示:左侧重要信息,中间所选事件与课堂上下文,右侧连续课堂记录。
使用当前 Production Console 的 renderer 与项目自带合成场景重新制作。所有课堂文字与状态均为 synthetic,不是真实课堂截图,也不证明提醒质量;这是浏览器中的 UI 展示,不是本轮 Windows 桌面运行验收。
查看原尺寸工作台 →

Question Rescue:由人发起,由证据约束

「回答这个问题」是用户主动触发的 Question Rescue,默认读取锚点前约 120 秒的近期课堂转写;上下文不足时,可以主动向前扩展至约 300 秒。结果区分课堂证据和一般知识,保留原话与来源入口,证据不足时不展示有把握的参考回答。它不自动检测提问、开麦或代答。

所需转写的云端处理授权默认关闭、独立管理、可撤销。启用会向配置的 Provider 发送近期转写文本,原始音频不外发;撤销可以阻止尚未开始的外发,无法收回已经发出的请求。可选 MCP 入口也遵循 Kiite 自身的授权边界,Agent 不能代替用户开启它。

证据门禁能拒绝缺少引用、越界引用或上下文不足却给出确定回答等结果,但不能保证模型理解正确。真实课堂中的问题定位、回答质量和资源竞争,仍需单独验证。

已有观察与尚未解决的问题

本地自动测试、合成输入和局部联调已经覆盖多条处理与投递路径。历史真实输入观察包括约 190 秒的 capture → ASR → 本地提醒联调,以及一次约 2 小时 55 分钟的连续回放处理:最终 ASR backlog 为零,持久段顺序未见缺口或重叠。

这些结果说明特定运行中链路可以连续工作,不能替代 detector 质量评测。当前仍缺少足够独立的人工事件真值,无法给出一般课堂的漏报率、误报率或端到端延迟保证。规则 detector 的开放世界召回、短促或轻声讲话的识别、长时故障恢复和重复运行稳定性,都是未闭合的问题。合成 Question Rescue 测试也不等于真实课堂回答成功。

期待的形态

Kiite 希望成为一个可放心委托部分注意力、又随时能接回上下文的课堂工具:提醒不淹没用户,异常不隐藏,必要时能主动找回刚才的问题。

现有 capture、journal、前沿、事件与投递边界是这条路线的基础。后续重点是用更可靠的真实评测判断信息是否重要,并改善连续阅读与主动问答的体验,而不是让更多转写或更多模型请求本身成为目标。

本页只展示技术思路、合成界面与运行观察的汇总。真实课堂音频、转写、聊天、身份和私人记录不公开;源码与仓库链接暂未开放。