背景
随着业务的快速发展,Release构建速度问题不断凸显,从2020年底构建50min到如今接近1h30min的构建时长,其中Proguard阶段耗时占用了接近40%, 时刻影响着工作效率。在整个Release构建耗时链路上,业界优化方案众多,并起到了一定的优化效果。然而我们另辟蹊径,自研一套Inc-Proguard方案,解决了无法增量Proguard问题,实现将耗时降低到分钟级别。
问题出在哪?
目前Android微信采用模块化的Gradle构建方式,也是业界普遍采用的一种方式。大致构建流程如下:
图1
上图可以看出每个Plugin都有可能并发Compile,执行到Boot Plugin时则需要串行Compile,最终经过Proguard、Dex等构建流程输出Apk, 而每个任务都会有相应的Gradle Task负责执行。
通过对Task进行耗时排序, 了解到Full Proguard(3 optimizationpasses) 平均需要40分钟【图2】,在有Apply Mapping情况下也要20分钟左右【图3】
图2 Full Proguard
图3 Apply Mapping Proguard
图4 Proguard部分流程
具体原因主要有几点:
- Proguard过程深度复杂【图4】,每个阶段都存在一定的耗时,比如Initialize、Shrink、Optimize、Obfuscated 阶段很难进行单点优化;
- 并发执行只存在Optimize阶段,对整体优化效果不明显【proguard.classfile.visitor.ParallelAllClassVisitor】;
- 代码膨胀;
- optimizationpasses次数;
- Proguard优化项选取;
考虑的优化方案:
- 一个最简单的优化方案就是通过减少Proguard Optimize 次数来改善耗时,但是会对Apk性能有比较大的影响,比如Dex数,包体积,启动性能等指标;
- 利用Gradle 增量策略将Incremental Input Jars 输入给Proguard进行增量混淆,亲测如果一旦Input Jars的Reference不完备,就很容易出现Warning导致Proguard失效,即便Proguard成功,也未必跟上次构建结果保持一致;
- 采用R8,但R8 的耗时优化也达不到我们预期目标,它不允许您停用或启用离散优化,也不允许您修改优化的行为,比如-optimizations 和 -optimizationpasses,这种黑盒的行为往往一旦出现了问题,高昂的维护成本也不容忽视;第三章节我们将进一步解释采用Proguard的原因;
- 从工程架构考虑,业务Feature层次明确,顺其自然的对Feature部分进行混淆即可,但这种方案也是需要工程架构进一步改造,约束规则,并没有解决根本问题;
综上,我们考虑到在日常开发构建过程中,往往提交的代码并不多,一次提交全量构建,属实恶劣,那能否针对增量修改的代码部分进行增量Proguard呢?答案是可行的!
为什么要采用Proguard?
图5 Proguard + D8
图6 R8
在R8出现之前,Proguard基本上配合Dx/D8使用,生成更小更快的Java字节码,然后交给Dx/D8生成Dalvik字节码【图5】,其中D8 比 dx 输出质量指令更少,寄存器分配更好的字节码。而 R8 【图6】是 D8 的衍生产品,旨在集成 ProGuard 和 D8 的功能,目前仍在优化中,逐渐成熟,具体查看QuardSquare官网[1]了解更多。对于微信,我们仍然使用Proguard,主要原因如下:
- Proguard优化项跟R8相似,R8在这方面没有明显的优势;
- Build Time R8 不比 Proguard快多少,在图1基础上采用R8方案则会快10分钟左右,由于两者优化目的不同,R8也包括的Dalvik字节码方面的内容,后续有可能增加耗时,其他原因上述也提到;
- Android微信针对dex的部分有自己的优化工作,主要目的是减少dex数量,对Tinker Patch大小也有一定帮助,有了自己的Dex优化,在将来的一段时间内我们仍然使用Proguard,这是主要原因;
下面重点介绍增量混淆核心工作:
增量混淆
先来看一下Proguard的大致输入输出流程:
图7
Proguard输出两个产出文件 usage.txt 和 mapping.txt【图7】,usage.txt 是将无用Class、Field和Method进行删除,mapping.txt保留Class、Field和Method的original-obfucate class mapping、inline mapping【图8】,其中inline最为常见,也是Proguard难以增量的主要原因之一。
图8 inline
图9
那我们所做的工作就是用当前构建的New Inputs再结合上次构建的产出Outputs【图9】进行增量Proguard,具体实现思路如下:
图10 实现思路
根据上述流程图,总结出大致的实现步骤:
- 利用ASM将上次构建的OutInput Jars、构建的NewInputs Jars 构建HashClassNodes Tree,以便序列化Snapshot;
- NewInputs Jars 构建Class Nodes Reference Graph, 目的是获取Class Nodes之间的引用关系;
- HashClassNodes Tree 构建 Diff Class Nodes, 获取当前构建的代码变更;
- Diff Class Nodes 和 Class Nodes Reference Graph 构建 Spread Diff Class Nodes,获取扩散影响的代码变更;
- Spread/ Diff Class Nodes 结合上次构建的产出Old Inputs Jars、usage.txt、mapping.txt 进行字节码矫正(Correct Bytecodes)
- 将校正后的字节码重新ReMapping(Process Mapping)
- 更新usage.txt 、mapping.txt 和 output jars
Diff
首先来看我们如何将输入Jars进行Hash,首先大家很容易想到利用ASM工具解析Class,分析出Fields/Methods等字节码内容,并利用哈希函数计算hashcode值,例图11:
图11 hash snapshot
哈希函数我们采用hash = hash ∗iConstant+value, hash=17, iconstant=37,选取质数因子主要是尽可能避免hash冲突,分布均匀。至此我们很容易计算出相邻构建的代码差异即可【图12】
图12 Diff
目前我们支持以下几种类型的变更,基本覆盖所有的代码增量情况的更改:
图13 变更类型
Class Nodes
有了具体的代码变更之后,为了方便后续进行字节码操作,还需要对当前的Class构建Class Node结构化数据,同样我们借鉴ASM-Tree库进行分析和扩展,构建出了功能更为强大的MM-ClassNode-Tree, 结构大致如下【图14】:
图14 ClassNode Tree
其中每个Node都保存着对Class的直接引用和inline关系,引用关系【15】我们可以通过Constants Pool获得,Inline信息可以从Mapping中获取【图16】,同样我们的Mapping、Usage信息都将会被结构化组织。
private fun findReferencedClasses(referencingClass: Clazz, member: Member?, descriptor: String, owner: String, name: String, node: String): ArrayList? { val enumeration = DescriptorClassEnumeration(descriptor) val classCount = enumeration.classCount() var referencedClasses :ArrayList? = null if (classCount > 0) { referencedClasses = ArrayList() for (index in 0 until classCount) { val fluff = enumeration.nextFluff() val name = enumeration.nextClassName() val referencedClass: Clazz? = findClass(referencingClass, member, name, node) if (referencedClass != null) { referencedClasses.add(referencedClass) } } } val referencedClass: Clazz? = findClass(referencingClass, member, owner, node) if (referencedClass != null) { if (referencedClasses == null) { referencedClasses = ArrayList() } referencedClasses.add(referencedClass) } return referencedClasses }
例15 find reference
public static class MethodInfo { private int obfuscatedFirstLineNumber; private int obfuscatedLastLineNumber; private final String originalClassName; private int originalFirstLineNumber; private int originalLastLineNumber; private final String originalType; private final String originalName; private final String originalArguments;
private final String obfuscatedName; private final String obfuscatedArguments; public MethodInfo inlineToInfo; public MethodInfo inlineByInfo; //mapping文件中是否为:xxx:xxx[false], :xxx[true] private boolean sameLineNumber;
private boolean markRemoved;}
例16 mapping info(部分)
接下来,我们有必要继续计算当前的变更的Spread Change,有了上面的引用和内联关系,就很容易计算出影响的其他Class Diff:
def spreadDiffClassMarker = new SpreadDiffClassVisitor(spreadDiffWriter, logWriter, configuration.classLoader, programClassPool) programClassPool.classAccept( new ClassProcessingInfoFilter(Status.NodeStatusFlag.ADD.value | Status.NodeStatusFlag.CHANGE.value | Status.NodeStatusFlag.REPLACE.value, 0, 0, new MultiClassVisitor( spreadDiffClassMarker,
new MMAllMemberVisitor( new MMemberProcessingInfoFilter(Status.NodeStatusFlag.ADD.value | Status.NodeStatusFlag.CHANGE.value, 0, 0, spreadDiffClassMarker)))))}
例17 spread diff
图18
Corrector
上述章节主要讲述如何获取Diff Class Nodes, 整个流程最为关键的部分则是字节码校正,下面通过举例说明针对不同的变更类型,其处理方式也不尽相同:
图19
在上次构建中,class A被映射为class a,B.funb() 被shrink掉保存在usage.txt中,A$2为匿名内部类remapping为A$1, 方法funB中将class C的func方法inline,并保存在mapping.txt中,考虑针对当前修改情况进行分别校正处理:
图20 ADD
图21 CHANGE
图22 REPLACE
- ADD: func()为新添加方法,由于mapping文件并不存在func的映射关系,所以直接添加到class a中即可,code部分也相应copy输出【图20】,如果新增的方法中存在shrink/inline的code部分,同样也一并ADD处理;
usageMarker.isAdded(programMethod) || usageMarker.isSpreadAdded(programMethod) -> { val exceptionsArray: Array? = if (programMethod.exceptions == null) null else programMethod.exceptions.toTypedArray() val correctMethodVisitor = outputClass.visitMethod( programMethod.access, programMethod.name, programMethod.desc, programMethod.signature, exceptionsArray ) as MMethodNode
processingFlagMarker.markCorrectAdd(correctMethodVisitor)
programMethod.accept(InnerProcessingMethodVisitor( programClass = inputProgramClass, inputMethodNode = programMethod, methodVisitor = correctMethodVisitor )) }
- CHANGE: 如果在方法funB中新增一个D.fund方法,则class A的funB处于CHANGE状态,此时inline的C.func和新添加的D.fund方法copy到class a中,inline的Class D部分则需要设置ADD状态,补齐func code部分【图21】;
usageMarker.isChanged(inputMethodNode) || usageMarker.isSpreadChanged(inputMethodNode) -> {
val index = outputProgramClass.methods.indexOf(outputProgramMethod) val exceptionsArray: Array? = if (outputProgramMethod.exceptions == null) null else outputProgramMethod.exceptions.toTypedArray() val newProgramMethod = MMProgramMethodNode(outputProgramMethod.access, outputProgramMethod.name, outputProgramMethod.desc, outputProgramMethod.signature, exceptionsArray) inputMethodNode.accept( InnerProcessingMethodVisitor( programClass = inputProgramClass, inputMethodNode = inputMethodNode, methodVisitor = newProgramMethod ) ) outputProgramClass.methods[index] = newProgramMethod
processingFlagMarker.markCorrectChange(newProgramMethod) }
- REMOVE: 此过程比较简单,删除class A中某个方法,可以简单将class a中对应的方法进行删除即可;
- LINE NUMBER CHANGE: 如果修改class A中的任何代码,都会引起下面的code 行号信息发生变更,同样也会影响解栈操作,这里我们在hash过程中也要保留一份line code信息,针对当前的行号变更并结合offset偏移从而计算当前的line number,最后更新到outputs即可;
indexLineNumberOffsets = inputMethodNode.getLineNumberOffset(inputProgramClass)
val filterInputLineNumberNodes = inputMethodNode.filterLineNumberNodes() val filterOutputLineNumberNodes = outputProgramMethod.filterLineNumberNodes() if (filterInputLineNumberNodes.size == indexLineNumberOffsets?.size && filterOutputLineNumberNodes.size == indexLineNumberOffsets?.size ) { oldLineNumberArray = inputMethodNode.filterLineNumberNodes().mapIndexed { _index ,lineNumberNode -> lineNumberNode.line - indexLineNumberOffsets!![_index] } outputProgramMethod.insnsAccept(outputProgramClass, this, null) } else { logPrinter?.println("$TAG >>>>>>>>>>>>>> ERROR, lineNumberNodes is not same size!") }
- SPREAD CHANGE/REMOVE/ADD… 处理逻辑同上
考虑以下几种特殊情况:
- 匿名内部类mapping:
Proguard针对匿名内部类,可能会做remapping处理,比如图23中SearchView$10会被重新mapping为SearchView$2,因此,因此无法利用上次构建的mapping信息来还原当前的class,这里我们采取REPLACE的方式进行处理,见图22,当class A中的funA方法体有修改,则标记为CHANGE状态,此时A$2将必须copy到class a中,同时A$2需要remapping为A$2, 而不是A$1;
图23 匿名类
其他情况:
- arguments 优化
method的方法参数也有可能被Shrink优化【proguard.optimize.MethodDescriptorShrinker#visitProgramMethod】,导致无法通过mapping进行找回,这里我们修改Proguard源码,保留Shrink前后的mapping信息即可。
- return value 优化
同样method的 return value也会存在优化的情况,考虑到在微信此优化数量并不明显,这里通过配置!method/propagation/returnvalue简单处理
Update
corrector环节处理之后,最后则需要对outputs进行remapping,并更新产出文件,大致原理如下:
- Remapping outputs
校正后的字节码还必须进行重新混淆才能输出生产环境Apk,阅读retrace解析流程,我们顺利地将上次构建的mapping.txt进行结构化解析,再对已经标记待处理的output classes/fields/methods/annotation/code insn部分进行混淆remapping【图24,25,26】;
// Process mapping def mappingProcessor = new ProcessingMappingVisitor(mappingRemapper, logPrinter, outputProgramPool) outputProgramPool.classAccept(new MultiClassVisitor( // Update class mapping new ClassProcessingFlagFilter(ProcessingFlag.CORRECTED_CHANGE.value | ProcessingFlag.CORRECTED_ADD.value | ProcessingFlag.CORRECTED_REPLACED.value, 0,0, mappingProcessor),
new MMAllMemberVisitor( // Update methods/fields mapping new MMemberProcessingFlagFilter(ProcessingFlag.CORRECTED_CHANGE.value | ProcessingFlag.CORRECTED_ADD.value| ProcessingFlag.CORRECTED_REPLACED.value, 0, 0, mappingProcessor)), ))
图24 remapping
if (typeInsnNode.opcode == Opcodes.NEW || typeInsnNode.opcode == Opcodes.ANEWARRAY || typeInsnNode.opcode == Opcodes.CHECKCAST || typeInsnNode.opcode == Opcodes.INSTANCEOF) { typeInsnNode.desc = obfuscatedDescriptor(typeInsnNode.desc, mapper, logPrinter) logPrinter?.println("$TAG, >>>>>>>> process typeInsn desc: ${typeInsnNode.desc}" + " -> obfuscate desc: ${typeInsnNode.desc}")}
图25 obfuscate insn(部分)
fun obfuscatedDescriptor(originalInternalDescriptor: String, mappingRemapper: FrameRemapper?, logPrinter: PrintWriter?, fixClassInfo: ProgramClassFixInfo? = null): String { val startIndex = originalInternalDescriptor.indexOf(TypeConstants.CLASS_START) val endIndex = originalInternalDescriptor.lastIndexOf(TypeConstants.CLASS_END) if (startIndex < 0 || endIndex <= 0) { return obfuscatedInternalClass(ClassUtil.externalClassName(originalInternalDescriptor), mappingRemapper, fixClassInfo) } try { val newDescriptorBuffer = StringBuffer(originalInternalDescriptor.length) val enumeration = DescriptorClassEnumeration(originalInternalDescriptor) if (enumeration.classCount() < 2) { return obfuscatedInnerDescriptor(originalInternalDescriptor, startIndex, endIndex, mappingRemapper, logPrinter, fixClassInfo) } newDescriptorBuffer.append(enumeration.nextFluff()) while (enumeration.hasMoreClassNames()) { val internalClassName = enumeration.nextClassName() val obfuscatedClassName = obfuscatedInternalClass(ClassUtil.externalClassName(internalClassName), mappingRemapper, fixClassInfo) newDescriptorBuffer.append(obfuscatedClassName) newDescriptorBuffer.append(enumeration.nextFluff()) } return newDescriptorBuffer.toString() } catch (ex: Exception) { logPrinter?.println("process obfuscatedDescriptor error, originalDescriptor: $originalInternalDescriptor") ex.printStackTrace() } return obfuscatedInnerDescriptor(originalInternalDescriptor, startIndex, endIndex, mappingRemapper, logPrinter, fixClassInfo)}
图26 obfuscate description
- Update usage/mapping.txt
进一步的,通过corrector后的字节码状态信息,也需要同步更新usase/mapping的结构化数据,并Print到当前的usage和mapping产出文件中【图27】;
...if (!methodInfo.isInlineInfo()) { if (methodInfo.originalFirstLineNumber > 0) { // Print out the line number range of the method, // ignoring line numbers of any inlined methods. pw.println(" " + methodInfo.originalFirstLineNumber + ":" + methodInfo.originalLastLineNumber + ":" + methodInfo.originalType + " " + methodInfo.originalName + JavaTypeConstants.METHOD_ARGUMENTS_OPEN + methodInfo.originalArguments + JavaTypeConstants.METHOD_ARGUMENTS_CLOSE + " -> " + obfuscatedMethodName); } else { // Print out the method mapping without line numbers. pw.println(" " + methodInfo.originalType + " " + methodInfo.originalName + JavaTypeConstants.METHOD_ARGUMENTS_OPEN + methodInfo.originalArguments + JavaTypeConstants.METHOD_ARGUMENTS_CLOSE + " -> " + obfuscatedMethodName); } } else { ... }
图27 print mapping
- Update outputs:
最后,基于corrector后的字节码状态信息,利用ASM更新上次构建的Output Jars产物【图28】,从而实现增量混淆效果;
...ExtensionUtil.isDir(outputFile.absolutePath) -> { classNameSets?.forEach { name -> val programClass = outputProgramPool.getClass(name) as MMClassNode IncrementalDirProcessor( logPrinter, classLoader, ignoreCheckClass, outputProgramPool, programClass, processFlagsMarker, outputFile.toPath(), outputFile.toPath() ).proceed() } } ...
图28 update outputs
效果
图29
图30
从图29,30可以看出,优化效果十分明显,整个inc-proguard过程平均控制在8分钟左右即可增量混淆完成,pass越多优化越明显,达到了预期效果。除此之外,为了保证增量准确率,还做了很多细节上的处理,比如call super/interface class的method 其mapping如何处理、特定的字节码指令如何mapping、ClassReader出现ClassNotFoundException如何解决等等。
最后
最后,编译优化并不是一件容易的事情,有些策略的选择都是结合整个团队的实际情况来综合考虑,总体上增量混淆方案基本上保持了耗时相对稳定、代码侵入小、优化程度完全可控等优势,编译问题我们仍在优化,欢迎大家留言交流。
参考资料
[1]
https://www.guardsquare.com/blog/proguard-and-r8
1、本站所有资源均从互联网上收集整理而来,仅供学习交流之用,因此不包含技术服务请大家谅解!
2、本站不提供任何实质性的付费和支付资源,所有需要积分下载的资源均为网站运营赞助费用或者线下劳务费用!
3、本站所有资源仅用于学习及研究使用,您必须在下载后的24小时内删除所下载资源,切勿用于商业用途,否则由此引发的法律纠纷及连带责任本站和发布者概不承担!
4、本站站内提供的所有可下载资源,本站保证未做任何负面改动(不包含修复bug和完善功能等正面优化或二次开发),但本站不保证资源的准确性、安全性和完整性,用户下载后自行斟酌,我们以交流学习为目的,并不是所有的源码都100%无错或无bug!如有链接无法下载、失效或广告,请联系客服处理!
5、本站资源除标明原创外均来自网络整理,版权归原作者或本站特约原创作者所有,如侵犯到您的合法权益,请立即告知本站,本站将及时予与删除并致以最深的歉意!
6、如果您也有好的资源或教程,您可以投稿发布,成功分享后有站币奖励和额外收入!
7、如果您喜欢该资源,请支持官方正版资源,以得到更好的正版服务!
8、请您认真阅读上述内容,注册本站用户或下载本站资源即您同意上述内容!
原文链接:https://www.dandroid.cn/archives/16131,转载请注明出处。
评论0