星空（中国）官方网站-官方授权体育平台

　　LightGen在实验中实现了多种先进生成式AI任务，包括无需图像分块的512×512分辨率

　　上海交通大学集成电路学院（信息与电子工程学院）陈一彤助理教授为这篇论文的第一作者及通讯作者。她长期致力于光计算领域的研究，其团队曾提出全模拟光电芯片ACCEL，国际首次实测验证了复杂智能任务中光计算的系统级算力优越性。2023年，她提出的PED光计算架构，被Science子刊称为“首个全光生成网络”。

　　陈一彤2019年本科毕业于清华大学钱学森班，2024年获清华大学自动化系博士学位。

　　学界认为，光子计算是重塑传统计算范式最有潜力的方向之一。然而，目前大多数端到端的光子计算成果仍局限于判决类任务，例如图像分类和元音识别等等，未能扩展到生成式AI模型领域。

　　是什么限制了光子计算在生成式AI中的应用？LightGen团队总结了三大原因：

　　首先，先进的生成式AI模型通常需要数百万个神经元，以学习并嵌入足够的信息用于高维生成。而现有集成光子计算芯片通常仅能集成数千甚至数十个神经元。

　　如果通过数字电路对光子芯片进行互连和复用，则会引入显著的延迟和能耗，功耗甚至可能提升数个数量级，从而削弱光计算的优势。

　　另一个关键挑战是模拟光学信号的维度变化。生成模型需要合适的维度变化才能学到有用特征，但在纯光学系统中信息是以连续光斑的形式存在的，不像电子信号那样有明确的维度。

　　即使改变光子神经元的尺寸，也只是改了调制方式，光斑本身仍然是连续的、理论上无限维的信号，因此在全光学系统里很难精确定义或改变维度。

　　第三个挑战是训练算法。现有的分类型光子芯片通常依赖人工定义的输出作为真实标签进行优化。然而，生成式AI的目标通常是输出此前并不存在的数据，因此光子生成芯片亟需一种不依赖预定义真实标签的新型训练算法。

　　为解决上述问题，陈一彤领衔的研究团队提出了LightGen。LightGen由光子编码器、光学潜空间和光子生成器组成。

　　LightGen的整体思路其实和电子生成模型很像，但成功把“编码—潜空间—生成”这套流程完全搬到了光学域里。

　　光子编码器由一系列集成衍射超表面构成，面积小于35mm²，用于从高维图像域中提取低维特征。

　　编码后的光场通过耦合进入单模光纤阵列进行特征子采样，通过同时利用光的幅度和相位进行编码，使得光纤阵列中的光学潜空间含有丰富的信息。

　　由于单模光纤只允许基模传播，除基模外的其他模式无法耦合进入光学潜空间，因此，光学潜空间在全光学条件下完成了模拟光斑维度的转换，而不是像传统光子系统那样只是在无限维光场上做调制却无法控制维度。

　　LightGen利用光斑所携带的复数信息来表征高维潜变量。光纤阵列中每一个单模光纤对应一个光斑，形成具有不同幅度和相位的高斯光斑阵列。

　　由此，LightGen在图像域与光学潜域之间建立了桥梁。下图展示了在以狗脸数据训练的光学潜空间中均匀采样得到的输出结果。相近的光学潜空间值生成语义相似的图像，而相距较远的光学潜空间值生成语义差异明显的对象，表明光学潜空间满足连续性和自洽性，这是数学意义上潜空间进行合理生成所必需的特性。

　　光子编码器将原始图像嵌入到100维光学潜空间中，并通过t-SNE进行降维可视化，其分布如下图所示。不同毛色的狗被成功聚类，说明光学潜空间能有效嵌入图像中的细粒度特征。除前景外，背景特征（如草地与白色背景）也能被嵌入并区分。实验结果表明，光学潜空间的功能与电子变分自编码器（VAE）及β-VAE相当。

　　在训练方面，LightGen团队提出了一种基于贝叶斯思想的无监督训练方法（BOGT），通过引入对语义数据概率分布的建模来提升生成质量，告别了对标签的依赖。

　　论文称，LightGen能在高分辨率彩色图像上执行语义生成、去噪和风格迁移等多种任务。

　　下图展示了针对动物类别的实验生成结果。LightGen可生成512×512分辨率的动物图像，涵盖不同类别、颜色、表情和背景。放大区域显示了丰富细节，如毛发纹理和眼睛反射光。

　　研究团队还对生成图像的特征进行了定量分析，结果显示其分类准确率与真实测试数据相当，表明LightGen生成的数据在整体和细节特征上均接近自然数据。

　　LightGen在语义去噪方面同样表现突出。自由空间模式与单模光纤基模之间的信息容量差异，使得LightGen在坏匹配像素比例（PBMP）较高的前提下，仍能有效去噪。

　　LightGen的另一大优势是无需将高分辨率图像切分为小块进行处理。通过三维封装，LightGen集成了超过210万个光子神经元，可直接处理≥512×512分辨率的图像。

　　在风格迁移任务中，LightGen成功实现了印象派（梵高风格）、金属风格（马列维奇风格）和马赛克风格等多种转换，其定性与定量性能均可与VGG-19、StyleGAN和StyleID等相媲美。

　　与基于分块的方法相比，LightGen在处理全局结构和连续曲线方面具有显著优势，避免了块间不连续和结构破坏的问题。

　　LightGen还可从二维扩展至三维生成与语义操控，用于生成高分辨率图像和视频。

　　在室内场景中，LightGen可生成包含多种家具的256×256分辨率图像。通过二维投影训练，LightGen无监督地学习了物体的三维结构及其在光学潜空间中的表示，性能可与NeRF相当。通过操控光学潜空间，LightGen可生成不同风格和视角的三维家具，在定性和PSNR指标上均与NeRF相当。

　　此外，光学潜空间中的潜变量直接对应生成对象的物理特征，使得语义操控具有良好的可解释性。实验表明，LightGen能在不干扰其他部分的情况下，精确操控目标特征。

　　研究团队将LightGen与最先进的电子和光子芯片在生成任务中的性能进行了对比。在保守估计下，LightGen在实验中实现了3.57×10⁴ TOPS的计算速度、6.64×10² TOPS/W的能效和2.62×10² TOPS/mm²的计算密度，均比NVIDIA A100高出两个数量级以上。若采用更高速的空间光调制器，其理论计算速度可达5.69×10⁹ TOPS。

　　LightGen同时突破了光子生成芯片的三个关键瓶颈：集成规模、全光学维度变换和训练算法。三维封装方案解决了集成规模问题，光学潜空间实现了全光学维度变换，而BOGT解决了对标签的依赖。

　　研究团队认为，通过直接增加超表面的像素数和层数、提高光学潜空间的维度或星空体育登录入口 星空体育在线官网以分块生成的方式，LightGen可以进一步扩展到更高的处理分辨率。增加超表面规模通常会提升系统整体计算速度，因为总操作数增加，但这也需要更多的入射能量来维持足够的计算精度。

　　特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

　　网传以色列F-15斩首哈梅内伊细节曝光：导弹先出大气层，以5倍音速垂直打击

　　美国增派轰炸机、战斗机！特朗普将召集军工巨头，讨论加快军火生产；美防长：不再遵守交战规则！拉里贾尼：已有超500名美军丧生

　　追问daily 怀孕永久改变大脑；不同类型的同伴如何决定青少年的行为？大模型“遗忘”自己或能提升回复质量

　　RTX 5060将被迫“换心”！RTX 5060 Ti 8GB搞太多了