我们的 AI 研究与开发
三大活跃研究方向,每一项都建立在扎实的实践之上——而非原型或演示文稿。
GPU 加速研究
GPU 基础设施直接加速我们的研究管线。随着计算资源的扩展,我们有能力:
模型微调
针对神经多样友好交互模式、领域适配及推理增强研究,对 LLM 进行定制微调。
新型架构训练
训练与评估生物启发神经网络(蜂窝式变压器)、Mamba-2/Attention 混合模型及其他实验性设计。
开源模型评估
对开源 AI 项目进行系统性基准测试与贡献——包含缺陷报告、改进建议及参考实现的验证。
规模化推理
扩展多后端推理平台以支持更广泛模型、更高吞吐量,并为实际部署测试提供支撑。
我们构建的一切都设计为可在消费级硬件上运行。GPU 算力让我们能够训练,而不仅仅是推理。
研究亮点
已发表成果、开源贡献与新颖架构——更多内容正在开发中。
混合架构贡献
开源贡献向一个主流的开源 Mamba-2/Attention 混合架构报告了 7 个缺陷和 2 项改进建议——附带复现代码、根因分析与修复建议。
- ◆7 个缺陷与 2 项建议,均附复现代码
- ◆专业的 HuggingFace 讨论,附带详细分析
- ◆正确的 SSD 实现的数学证明
- ◆每种失败模式的根因分析
蜂窝式变压器架构
新型架构 — 开发中受生物启发的神经网络:微型变压器通过突触总线通信、通过 LoRA 实现专业化,并通过赫布塑性形成连接——一起激活的细胞连接在一起。
- ◆通过赫布学习实现涌现式专业化
- ◆长时程增强用于稳定记忆形成
- ◆突触修剪以提高效率
- ◆轻量投影模块用于高效探索
数据中心协同
已发表研究9 篇深度文章、100+ 条核验来源,以及一套免费开放的框架,旨在解决 1,620 亿美元以上的受阻数据中心项目——来自一家相信基础设施应惠及所有人的 AI 公司。
- ◆已发表 9 篇深度文章
- ◆100+ 条核验来源
- ◆免费开放的社区数据中心标准框架
- ◆面向社区协调发展的五支柱框架
我们的独特之处
自托管优先
整个基础设施运行在消费级硬件上。GPU 算力使我们能够训练——我们早已掌握高效部署的方法。我们用事实证明了有意义的 AI 并不需要数据中心资源。
默认开放
缺陷报告、工具与发现均公开分享。我们相信推动领域进步惠及所有人——我们对开源 AI 项目的贡献本身即是明证。
神经多样性优先的用户体验
每个系统从零开始即为神经多样性群体设计——而非事后补充。专用模块保护专注状态、防止遗漏跟进、过滤干扰信息,使用户保持心流。
伦理即架构
Hippocratic 许可证、基于同意的交互、加密日志——我们的伦理内嵌于代码,而非政策文档。