30日，南方+记者从高效能 AI Token 生产服务商趋境科技获悉，该公司正式发布全新一代 AI 推理平台——趋境 ATaaS 高效能 AI Token 生产服务平台美股市场信息网，破解大额硬件投入难以转化为优质 Token 产能、资源浪费与成本空耗突出的行业困境。
硬件高投入并不等同于高效Token产出，如行业面临硬件负载分化，过度依赖GPU，CPU、内存等资源闲置空耗；软硬件迭代失衡，芯片硬件快速更新，配套软件生态适配滞后；算力配置失准，脱离业务SLO精细化调度，粗放盲配引发资源冗余损耗；架构演进失衡，开源模块丰富，但拼接式集成难以支撑规模化生产等。
趋境 ATaaS平台依托四大自研核心技术模块，构建覆盖异构整合、智能调度、弹性扩容的全链路能力，并将算力与能源封装为分层、面向具体应用场景定制的高效能Token服务，为国产算力提质增效、破解异构算力孤岛、实现规模化降本增效。
趋境科技重构算力、电力与 Token 产量之间的效能曲线。如，深度融合 CPU+GPU、国产与非国产算力异构PD分离等技术，重构模型计算逻辑，并基于算子与任务特征进行智能分流：CPU承载低计算密度任务，国产算力卡处理高密度Prefill，大显存显卡承载高访存 Decode。万卡级智算集群整体运营成本压降20%以上。
通过架构重构，将原本依赖昂贵显存承载的KV Cache存储空间扩展百倍至千倍，形成近乎无限的缓存池资源，缓存命中率最高可达90%，直接削减90% GPU算力开销。
基于算子级精细仿真，推演大模型Token生成全链路的吞吐、时延与访存表现，实现算力资源的智能预规划与动态调优；围绕业务SLO分级需求，精准切分异构算力配额并隔离资源优先级，可将万卡级智算集群硬件综合资源利用率最高提升数倍。
依托系统化工程能力，实现万亿参数大模型7秒快速拉起与动态配置变更、数百节点超大规模EP弹性调度，以及智能容灾重构和负载均衡，形成平台原生支持万卡级高性能横向扩展的关键能力。在落地初期，便推动某在线公司的AI业务实现千卡集群吞吐实现翻倍提升。
南方+记者 郜小平
配资新闻网提示：本文来自互联网，不代表本网站观点。
