如果你用过 Google Lens 应用的实时翻译功能,一定知道 Google Lens 会在原始图像上覆盖一层条形图,以显示翻译后的文本。软餐获悉,谷歌在近日年度 Search On 上表示,将通过推出新的 Google Lens AR Translate 体验改进这一点——未来原始图像将不会再盖上任何难看的条形图,谷歌将在实景上直接显示翻译后的文本。谷歌将在今年晚些时候推出这种新的翻译体验。
如何做到的?谷歌在幕后利用机器学习来擦除原始文本,使用 AI 生成的背景重建下方的像素,然后将翻译后的文本覆盖在图像顶部。这样生成的图像看起来更加无缝和自然,提供更加无缝的实时翻译体验。同时谷歌保证 Google Lens 的实时翻译速度不会受到影响,因为其机器学习模型可保证在 100 毫秒内完成擦除原始文本、重新创建背景并覆盖翻译文本。Google 使用生成对抗网络(AKA GAN 模型)来实现这一点,这与 Pixel 设备上的 Magic Eraser 功能所用的技术相同。