使用 LLM 扩展闭环功能通道配置

arXiv:2607.20516v1 公告类型：新 摘要：基于闭环大语言模型的通道配置搜索的初步结果表明，可以通过可执行代码生成和准确性反馈直接优化神经网络宽度。然而，这些结果是从一组相对稀疏的有效评估中获得的，观察到的优化行为是否会转移到更密集的采样机制，以及在评估更多生成的网络时是否会出现额外的架构规律，这些都是未知数。为了测试这一点，将相同的搜索设置扩展到每个微调周期 250 个候选网络。该分析涵盖了 8 个完整周期中生成的 2000 个候选者，在任务和元数据过滤后产生了 462 个经过验证的 CIFAR-100 评估。每周期平均准确度呈现正线性趋势，斜率为 9.87e-4 (p=0.043)，而高性能前沿的改善更为强劲：最佳观测准确度从 0.3144 增加到 0.3676，并且 top-5 和 top-10 周期级别均值都呈现出正趋势。缩放运行还揭示了参数效率的提高。最佳模型达到 0.3676，参数为 11.8M，而早期高性能模型为 0.3144，参数为 166.5M。除了准确性之外，更大的样本还揭示了很难通过稀疏观察来评估的架构规律。 41.8% 的已验证候选通道宽度出现非二次方通道宽度，最强的模型共享结构化通道分配模式，其特征是中等早期宽度和扩展的中间或后期块。这些发现表明，在最初的研究中观察到的频道搜索信号转移