旷视研究院获 NTIRE 2023 图像复原和增强赛事Efficient Super-Resolution赛道冠军

日前，旷视科技发布了一项新的开源 AI 人像视频生成框架——MegActor。基于该框架，用户只需输入一张静态的肖像图片，以及一段视频（演讲、表情包、rap）文件，即可生成一段表情丰富、动作一致的 AI 人像视频。MegActor 所生成的视频长度，取决于给定的驱动视频的长度。与当前国内外最新涌现的 AI 视频模型不同，旷视 MegActor 将采用开源的方式，提供给开发者社区使用。MegActo...

算法研究员 - 北京职位描述：工作职责包含其中之一：1、从事基于计算机视觉和深度学习的端上生物识别业务，包括人脸识别、掌纹识别和指纹识别等，构建灵活多样、快速、安全的生物验证体验；2、推进VR/AR应用中多个3D视觉算法的落地，包括微手势、裸手手势交互、眼球追踪、Slam、表情重建等多项3D视觉算法；3、推进基于生成式模型在生物识别和人机交互的落地。职位要求：1、过硬的科研背景：深度学习/机器学习...

业务模型训练中 Data 部分可能是瓶颈所在在训练业务模型过程中，如果我们发现模型的训练速度不符合预期，往往会下意识地认为网络本身出了问题。但实际上，大多数时候问题发生在模型的数据供给逻辑中。区分一个训练过程的瓶颈到底是在准备数据，还是在网络的计算阶段其实是很简单的。比如对于下面这段代码：data_begin = time.perf_counter()images, labels = next(...

XLA（Accelerated Linear Algebra）是 Google 提出的一个神经网络编译器，可以用于加速 AI 模型的训练和推理。MegEngine 1.13.1 中也已经支持了 XLA，在训练模型时可以选择开启此项功能，不同的模型可以获得 10%~80% 不等的速度提升。主要的目标场景MegEngine 现在是动态执行的，即 python 中每一个 mge.functional 的...

点击“阅读原文”，一键投递简历！

本文为大家介绍一篇入选ICCV 2023的论文，《Occ2Net: Robust Image Matching Based on 3D Occupancy Estimation for Occluded Regions》，一种基于3D 占据估计的有效且稳健的带有遮挡区域的图像匹配方法。论文链接：https://arxiv.org/abs/2308.16160开源代码：https://github...

近日，国际计算机视觉大会 ICCV（International Conference on Computer Vision）公布了 2023 年论文录用结果，本届会议共有 8068 篇投稿，接收率为26.8%。ICCV 是全球计算机领域顶级的学术会议，每两年召开一次，ICCV 2023 将于今年10月在法国巴黎举行。今年，旷视研究院 14 篇论文入选，涵盖纯视觉 3D 目标检测、多模态 3D 检测...

近日，为期三个月的CVPR2023自动驾驶国际挑战赛比赛结果揭晓。旷视研究院在OpenLane Topology 赛道中击败 30 余支国内外队伍，夺得冠军。自动驾驶技术已经渗透到人们的日常生活中，但是传统的感知方法仍不能满足大家对 L5 级自动驾驶的追逐。CVPR 2023 自动驾驶国际挑战赛将自动驾驶技术分为对背景场景的理解、对前景物体的感知和对未来运动的规划三方面，并举办了四个不同赛道...

前言roofline 分析是一种简单评估当前计算任务对当前平台计算/访存能力的利用情况的方法，可以帮助分析算子的优化方向和优化潜力。mperf 实现了安卓 mali/adreno 两种 gpu 平台的 roofline 分析能力，下面以 mali 平台为例，简单介绍一下操作步骤。编译和集成下载 repo 代码git clone https://github.com/MegEngine/mperf....

“开源软件供应链点亮计划-暑期2023”是一项面向高校学生的暑期活动，为高校学生提供了绝佳的、友好开放的交流平台。使学生可以真正投身于开源软件的开发维护，得到资深开源软件开发者指导的机会，获得丰硕的活动奖金，并帮助学生获取优秀企业的关注。活动流程同学们在6月4日之前在开源之夏官网（https://summer-ospp.ac.cn）挑选项目，与导师沟通并准备项目申请材料、提交申请。MegEngin...

从 LLM 火爆以来，社区已经出现了非常多优秀的模型，当然他们最大的特点就是体积大。最近为了让大模型可以在更低端的设备上运行，社区做了非常多的工作， gptq 实现了将模型进行低比特量化，因此降低了运行大模型对 CPU 内存、GPU 显存的要求，llama.cpp 实现了在本地 CPU/GPU 上就可以运行大模型，并且步骤非常简单，replit-code-v1-3b 用更小的模型实现了更智能的 c...

在当今人工智能领域，深度学习算法已经广泛应用于图像处理、自然语言处理、语音识别等各种领域。然而，实现一个高效的深度学习算法需要运用大量的技术和工具，并要面临许多挑战，如训练计算资源消耗大，模型转换难，高效快捷的推理部署等。MegEngine 作为一个训推一体的深度学习框架，其生态工具集合了图像对比、模型转换、硬件性能优化、pipeline 搭建等多种功能，能够满足用户在多种场景下的需求，为算法的实...

技术信仰 价值务实在使用自动驾驶 3D 目标检测算法时，你是否困扰于“既想也想”的问题？既想用单模态检测器以节省传感器成本，并且加快检测速度，也想获得其它模态的知识以得到更高的检测精度。为此，旷视研究院 AI 计算组提出了统一的跨模态知识蒸馏框架——UniDistill，它克服了传统知识蒸馏框架的缺陷，不仅支持多种模态组合的蒸馏路径，还能让单模态检测模型的性能大幅提升。下面带领大家感受一下这种全...

近日，CVPR 2023 论文接收结果出炉。近年来，CVPR 的投稿数量持续增加，今年收到有效投稿 9155 篇，和 CVPR 2022 相比增加 12%，创历史新高。最终，大会收录论文 2360 篇，接收率为 25.78 %。本次，旷视研究院有 13 篇论文入选，涵盖3D 目标检测、多目标跟踪、模型压缩、知识蒸馏等多个领域。以下为入选论文简介 ：????01VoxelNeXt:Fully Sparse...

旷视研究院旷视研究院是旷视设立的公司级研究机构，是驱动整个公司技术创新的引擎。旷视研究院通过基础创新突破AI技术边界，以工程创新实现技术到产品的快速转化。经过多年发展，旷视研究院已成为全球规模领先的计算机视觉和人工智能研究院。目前，旷视研究院的科研成果包括AI生产力平台Brain++、开源深度学习框架旷视天元MegEngine、AI算法生产平台AI Service、移动端高效卷积神经网络Shuff...

在使用MegEngine进行模型训练时，首先要进行的是数据加载和预处理。在此过程中，MegEngine中的megengine.data（https://www.megengine.org.cn/doc/stable/zh/reference/data.html#module-megengine.data）模块，提供了数据分批功能，其内部实现流程如下图：通过使用Dataloader，我们可以方便地对...