Android Studio集成Gemini新增多模态功能，开发者可上传图像获取UI代码

在2024年的I/O大会上，这项创新的多模态功能首次惊艳亮相，Gemini已具备理解并处理基础线框图的能力，甚至能够将其转化为可执行的Jetpack Compose代码，在Android Studio Narwal的Canary版本中，Ask Gemini字段新增了“上传图像文件”的选项（支持JPEG或PNG格式），为了达到最佳效果，谷歌建议开发者使用对比度高、细节清晰的图像。

开发者可以上传各种类型的屏幕截图和UI设计，并指定预期的功能，在进行计算器界面设计时，您可能要求“实现预期的计算功能和交互”。

以下是一些常见的提示示例：
“基于此图片编写Android Jetpack Compose代码，构建与其相似的用户界面屏幕，请确保包含必要的Material3组件引用及完整代码记录。”
“利用所提供的图片设计UI代码，尽量与原图像相符，进行适当的颜色调整以增强视觉体验，并确保功能实现如预期，别忘了包括Material3的引用和代码总结。”

对于结果反馈，Gemini被视为一个提供“初步设计架构”的工具，生成的代码通常需要进一步加工才能适用于实际项目中，常见的优化操作包括准确对应导入的可绘制对象与图标，谷歌建议将由此生成的代码视为一个高效起点，从而加速UI开发流程。

更进一步地，Gemini的视觉分析功能赋予了开发者识别和纠正错误的新能力，开发者可上传出现问题的UI屏幕截图，而Gemini将根据照片提供潜在的解决方案，此工具还支持代码片段关联，以提供更为精准的辅助功能。

除了上述特性外，Android Studio内集成的Gemini工具还支持上传架构图并获取解释或文档，这一功能与之前在I/O大会上演示的Gemini Astra眼镜用例相当。