程序-Java-编写可扩展-应对不断变化的需求 (程序java已包含在下列软件包)
引言
编写可扩展的程序对于面向未来需求至关重要。可扩展性使程序能够轻松应对变化和增长,而无需重构或重写大量代码。本文将介绍一些最佳实践和设计原则,以帮助编写可扩展的 Java 程序,从而构建灵活、可维护且具有良好扩展性的应用程序。最佳实践
1. 模块化设计
模块化设计是构建可扩展 Java 程序的基础。将程序划分为独立的模块或组件可以降低耦合度,提高可维护性和可测试性。模块化设计还有助于识别和隔离变化的部分,从而减少对整个系统的影响。 Java 9 引入了模块化系统(JavaPlatformModuleSystem,JPMS),使开发者可以使用模块化的方式组织和管理应用程序。通过定义模块之间的依赖关系和访问权限,可以更好地控制代码的可见性和接口暴露。合理划分模块并定义清晰的接口,有助于解决复杂性问题,并促进代码的重用和扩展。2. 依赖注入(Dependency Injection)
依赖注入是一种设计模式,它通过将对象的依赖关系从代码中解耦,减少了紧耦合的依赖关系。通过将依赖对象的创建和管理交给外部容器,我们可以更轻松地替换、扩展或定制组件。依赖注入还提高了代码的可测试性,因为我们可以使用模拟对象来替代真实的依赖对象进行单元测试。 在 Java 中,可以使用依赖注入框架(如 Spring Framework、Guice)来实现依赖注入。这些框架提供了一种机制,通过注解或配置文件来标识对象之间的依赖关系,并自动创建和注入依赖对象。使用依赖注入框架可以简化组件间的耦合关系,提高代码的灵活性和可维护性。3. 接口和抽象
面向接口编程是实现程序扩展性的重要策略之一。通过使用接口和抽象类定义对象之间的协议,可以将具体实现与接口解耦,从而允许在不修改现有代码的情况下扩展程序功能。当需要添加新功能时,只需实现相应的接口,并在程序中使用新的实现即可。 使用接口和抽象类还可以实现多态性,使得代码更加灵活。通过声明对象的类型为接口或抽象类,可以将具体实现的选择推迟到运行时。这样可以在不改变现有代码的情况下,通过替换具体实现来添加新功能。4. 面向配置
将程序中的配置与代码分离是构建可扩展 Java 应用程序的有效策略之一。将配置参数提取到配置文件、数据库或外部服务中,可以根据需求进行动态调整,而无需重新编译和部署代码。 在 Java 中,可以使用属性文件(Properties)、XML 配置文件、JSON 配置文件等来存储和管理配置信息。开发者可以使用 Java 的配置读取库(如 java.util.Properties、Commons Configuration、Jackson 等)来加载和解析配置文件,并将配置参数应用于代码中。通过合理使用配置文件,我们可以更容易地修改和扩展程序的行为,而不需要修改源代码。5. 规范化文档和注释
良好的文档和注释是构建可扩展 Java 程序的关键。通过为代码添加详细的注释和文档,可以帮助后续开发者快速理解代码的意图和功能。文档和注释可以描述代码结构、API 用法、设计决策以及模块间的依赖关系,从而提供清晰的指导和参考。 除了代码注释,还可以使用 UML 图表、文档工具(如 Javadoc)等来辅助文档编写。应该养成良好的注释和文档编写习惯,并定期更新和维护文档。6. 单元测试和集成测试
编写可扩展的 Java 程序需要充分的测试保障。单元测试和集成测试是验证程序功能和扩展性的重要手段。单元测试是对独立代码单元(如方法、类)进行测试的过程,通过模拟输入和对比输出java怎么扩展
什么是Java Java是Sun公司推出的一种编程语言。 它是一种通过解释方式来执行的语言,语法规则和C++类似。 同时,Java也是一种跨平台的程序设计语言。 用Java语言编写的程序叫做“Applet”(小应用程序),用编译器将它编译成类文件后,将它存在WWW页面中,并在HTML档上作好相应标记,用户端只要装上Java的客户软件就可以在网上直接运行“Applet”。 Java非常适合于企业网络和Internet环境,现在已成为Internet中最受欢迎、最有影响的编程语言之一。 Java有许多值得称道的优点,如简单、面向对象、分布式、解释性、可靠、安全、结构 中立性、可移植性、高性能、多线程、动态性等。 Java摈弃了C++中各种弊大于利的功能和许多很少用到的功能。 Jave可以运行与任何微处理器,用Java开发的程序可以在网络上传输,并运行于任何客户机上。 ================= java扩展就是可以支持的java程序扩展,比较多用于手机。 Java程式包括:应用程序、游戏、电子书等等! 不支持就说没有这些功能咯sbh99
使用Java构造高可扩展应用
当CPU 进入多核时代之后 软件的性能调优就不再是一件简单的事情 没有并行化的程序在新的硬件上可能会运行得比从前更慢 当 CPU 数目增加的时候 芯片制造商为了取得最佳的性能/功耗比 降低 CPU 的运行频率是一件非常明智的事情 相比 C/C++ 程序员而言 利用 Java 编写多线程应用已经简单了很多 然而 多线程程序想要达到高性能仍然不是一件容易的事情 对于软件开发人员而言 如果在测试时发现并行程序并不比串行程序快 那不是一件值得惊讶的事情 毕竟 在多核时代之前 受到广泛认可的并行软件开发准则通常过于简单和武断
在本文中 我们将介绍使提高Java 多线程应用性能的一般步骤 通过运用本文提供的一些简单规则 我们就能获得具有高性能的可扩展的应用程序
为什么性能没有增长?
多核能带来性能的大幅增长 这很容易通过简单的一些测试来观察到 如果我们写一个多线程程序 并在每个线程中对一个本地变量进行累加 我们可以很容易的看到多核和并行带来的成倍的性能提升 这非常容易做到 不是吗?在 参考资源 里我们给出了一个例子 然而 与我们的测试相反 我们很少在实际软件应用中看到这样完美的可扩展性 阻碍我们获得完美的可扩展性有两方面的因素存在 首先 我们面临着理论上的限制 其次软件开发过程中也经常出现实现上的问题 让我们看看 图 中的三条性能曲线
图 性能曲线
作为追求完美的软件工程师 我们希望看到随着线程数目的增长程序的性能获得线性的增长 也就是图 中的蓝色直线 而我们最不希望看到的是绿色的曲线 不管投入多少新的 CPU 性能也没有丝毫增长 (随着 CPU 增长而性能下降的曲线在实际项目中也存在) 而图中的红色线条则说明通常的 法则并不适用于可扩展性方面 假设程序中有 % 的计算只能串行进行 那么其扩展性曲线如红线所示 由图可见 当 % 的代码可以完美的并行时 在 个 CPU 存在的情况下 我们也只能获得大约 倍的性能 如果任务中具有无法并行的部分 那么在现实世界 我们的性能曲线大致上会位于图 中的灰 *** 域
在这篇文章中 我们不会试图挑战理论极限 我们希望能解释一个 Java 程序员如何能够尽可能的接近极限 这已经不是一个容易的任务
是什么造成了糟糕的可扩展性?
可扩展性糟糕的原因有很多 其中最为显著的是锁的滥用 这没有办法 我们就是这样被教育的 想要多线程安全吗?那就加一个锁吧 想想 Python 中臭名昭著的 Global Intepreter Lock 还有 Java 中的 Collections synchronizedXXXX() 系列方法 跟随巨人的做法有什么不好吗?是的 用锁来保护关键区域非常方便 也较容易保证正确性 然而锁也意味着只有一个进程能进入关键区域 而其他的进程都在等待!如果观察到 CPU 空闲而软件执行缓慢 那么检察一下锁的使用是一个明智的做法
对于 Java 程序而言 Performance Inspector 中的 Java Lock Monitor 是一个不错的开源工具
[NextPage]
对一个多线程应用进行调优
下面 我们将提供一个例子程序并展示如何在多核平台上获得更好的可扩展性 这个例子程序展示了一个假想的日志服务器 它接收来自多个源的日志信息并将其统一保存到文件系统中 为了简单起见 我们的例子代码中不包含任何的网络相关代码 Main() 函数将启动多个线程来发送日志信息到日志服务器中 对于性急的读者 让我们先看看调优的结果
图 日至服务器调优结果
在上图中 蓝色的曲线是一个基于 Lock 的老式日志服务器 而绿色的曲线是我们进行了性能调优之后的日志服务器 可以看到 LogServerBad 的性能随线程数目的增加变化很小 而 LogServerGood 的性能则随着线程数目的增加而线性增长 如果不介意使用第三方的库的话 那么来自 Project KunMing 的 LockFreeQueue 可以进一步提供更好的可扩展性
图 使用 Lock free 的数据结构
在上图中 第三条曲线表示用 LockFreeQueue 替换标准库中的 ConcurrentLinkedQueue 之后的性能曲线 可以看到 如果线程数目较少时 两条曲线差别不大 但是单线程数目增大到一定程度之后 Lock Free 的数据结构具有明显的优势
在下文中 将介绍在上述例子中使用的可以帮助我们创建高可扩展 Java 应用的工具和技巧
[NextPage]
使用 JLM 分析应用程序
JLM 提供了 Java 应用和 JVM 中锁持有时间和冲突统计 具体提供以下功能
对冲突的锁进行计数
成功获得锁的次数
递归锁的次数
申请锁的线程被阻塞等待的次数
锁被持有的累计时间 对于支持 Tier Spin Locking 的平台 还可以获得以下信息 :
请求线程在内层(spin loop)请求锁的次数
请求线程在外层(thread yield loop)请求锁的次数
使用 rtdriver 工具收集更详细的信息
jlmlitestart 仅收集计数器
jlmstart 仅收集计数器和持有时间统计
jlmstop 停止数据收集
jlmdump 打印数据收集并继续收集过程
从锁持有时间中去除废品收集(Garbage Collection GC)的时间
GC 时间从 GC 周期中所有被持有的锁的持有时间中去除
使用 AtomicInteger 进行计数
通常 在我们实现多线程使用的计数器或随机数生成器时 会使用锁来保护共享变量 这样做的弊端是如果锁竞争的太厉害 会损害吞吐量 因为竞争的同步非常昂贵
volatile 变量虽然可以使用比同步更低的成本存储共享变量 但它只可以保证其他线程能够立即看到对 volatile 变量的写入 无法保证读 修改 写的原子性 因此 volatile 变量无法用来实现正确的计数器和随机数生成器
从 JDK 开始 ncurrent atomic 包中引入了原子变量 包括 AtomicInteger AtomicLong AtomicBoolean 以及数组 AtomicIntergerArray AtomicLongArray 原子变量保证了 ++ —— += = 等操作的原子性 利用这些数据结构 您可以实现更高效的计数器和随机数生成器
加入轻量级的线程池—— Executor
大多数并发应用程序是以执行任务(task)为基本单位进行管理的 通常情况下 我们会为每个任务单独创建一个线程来执行 这样会带来两个问题 一 大量的线程(> )会消耗系统资源 使线程调度的开销变大 引起性能下降 二 对于生命周期短暂的任务 频繁地创建和消亡线程并不是明智的选择 因为创建和消亡线程的开销可能会大于使用多线程带来的性能好处
一种更加合理的使用多线程的方法是使用线程池(Thread Pool) ncurrent 提供了一个灵活的线程池实现 Executor 框架 这个框架可以用于异步任务执行 而且支持很多不同类型的任务执行策略 它还为任务提交和任务执行之间的解耦提供了标准的方法 为使用 Runnable 描述任务提供了通用的方式 Executor 的实现还提供了对生命周期的支持和 hook 函数 可以添加如统计收集 应用程序管理机制和监视器等扩展
在线程池中执行任务线程 可以重用已存在的线程 免除创建新的线程 这样可以在处理多个任务时减少线程创建 消亡的开销 同时 在任务到达时 工作线程通常已经存在 用于创建线程的等待时间不会延迟任务的执行 因此提高了响应性 通过适当的调整线程池的大小 在得到足够多的线程以保持处理器忙碌的同时 还可以防止过多的线程相互竞争资源 导致应用程序在线程管理上耗费过多的资源
Executor 默认提供了一些有用的预设线程池 可以通过调用 Executors 的静态工厂方法来创建
newFixedThreadPool 提供一个具有最大线程个数限制的线程池 newCachedThreadPool 提供一个没有最大线程个数限制的线程池 newSingleThreadExecutor 提供一个单线程的线程池 保证任务按照任务队列说规定的顺序(FIFO LIFO 优先级)执行 newScheduledThreadPool 提供一个具有最大线程个数限制线程池 并支持定时以及周期性的任务执行使用并发数据结构
Collection 框架曾为 Java 程序员带来了很多方便 但在多核时代 Collection 框架变得有些不大适应 多线程之间的共享数据总是存放在数据结构之中 如 Map Stack Queue List Set 等 Collection 框架中的这些数据结构在默认情况下并不是多线程安全的 也就是说这些数据结构并不能安全地被多个线程同时访问 JDK 通过提供 SynchronizedCollection 为这些类提供一层线程安全的接口 它是用 synchronized 关键字实现的 相当于为整个数据结构加上一把全局锁保证线程安全
ncurrent 中提供了更加高效 collection 如 ConcurrentHashMap/Set ConcurrentLinkedQueue ConcurrentSkipListMap/Set CopyOnWriteArrayList/Set 这些数据结构是为多线程并发访问而设计的 使用了细粒度的锁和新的 Lock free 算法 除了在多线程条件下具有更高的性能 还提供了如 put if absent 这样适合并发应用的原子函数
[NextPage]
其他一些需要考虑的因素
不要给内存系统太大的压力
如果线程执行过程中需要分配内存 这在 Java 中通常不会造成问题 现代的 JVM 是高度优化的 它通常为每个线程保留一块 Buffer 这样在分配内存时 只要 buffer 没有用光 那么就不需要和全局的堆打交道 而本地 buffer 分配完毕之后 JVM 将不得不到全局堆中分配内存 这样通常会带来严重的可扩展性的降低 另外 给 GC 带来的压力也会进一步降低程序的可扩展性 尽管我们有并行的 GC 但其可扩展性通常并不理想 如果一个循环执行的程序在每次执行中都需要分配临时对象 那么我们可以考虑利用 ThreadLocal 和 SoftReference 这样的技术来减少内存的分配
使用 ThreadLocal
ThreadLocal 类能够被用来保存线程私有的状态信息 对于某些应用非常方便 通常来讲 它对可扩展性有正面的影响 它能为各个线程提供一个线程私有的变量 因而多个线程之间无须同步 需要注意的是在 JDK 之前 ThreadLocal 有着相当低效的实现 如果需要在 JDK 或更老的版本上使用 ThreadLocal 需要慎重评估其对性能的影响 类似的 目前 JDK 中的 ReentrantReadWriteLock 的实现也相当低效 如果想利用读锁之间不互斥的特性来提高可扩展性 同样需要进行 profile 来确认其适用程度
锁的粒度很重要
粗粒度的全局锁在保证线程安全的同时 也会损害应用的性能 仔细考虑锁的粒度在构建高可扩展 Java 应用时非常重要 当 CPU 个数和线程数较少时 全局锁并不会引起激烈的竞争 因此获得一个锁的代价很小(JVM 对这种情况进行了优化) 随着 CPU 个数和线程数增多 对全局锁的竞争越来越激烈 除了一个获得锁的 CPU 可以继续工作外 其他试图获得该锁的 CPU 都只能闲置等待 导致整个系统的 CPU 利用率过低 系统性能不能得到充分利用 当我们遇到一个竞争激烈的全局锁时 可以尝试将锁划分为多个细粒度锁 每一个细粒度锁保护一部分共享资源 通过减小锁的粒度 可以降低该锁的竞争程度 ncurrent ConcurrentHashMap 就通过使用细粒度锁 提高 HashMap 在多线程应用中的性能 在 ConcurrentHashMap 中 默认构造函数使用 个锁保护整个 Hash Map 用户可以通过参数设定使用上千个锁 这样相当于将整个 Hash Map 划分为上千个碎片 每个碎片使用一个锁进行保护
结论
通过选择一种合适的 profile 工具 检查 profile 结果中的热点区域 使用适合多线程访问的数据结构 线程池 细粒度锁减小热点区域 并重复此过程不断提高应用的可扩展性
lishixinzhi/Article/program/Java/gj//免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。