Instagram-深入了解其关键组件和演变-早期的技术架构 (instagram下载)
Instagram 是全球最受欢迎的社交媒体平台之一,拥有数十亿活跃用户。它诞生于 2010 年,上线一周就坐拥 10 万注册用户,一年之内就拥有了 1400 万用户,可见扩张趋势突飞猛进。
Instagram 诞生的时候只有 3 个工程师,他们是如何设计后端架构,使用什么技术来支持这么多用户呢?今天我们就来了解一下。
关键原则
Instagram 工程师透露,他们通过遵循以下 3 个关键原则来实现扩展:
- 无状态服务器:服务器不存储任何用户会话信息,因此可以轻松扩展。
- 分布式数据:将数据存储在分布式数据库中,以提高可扩展性和容错能力。
- 水平扩展:通过添加更多服务器来轻松扩展系统。
技术栈
Instagram 早期的基础设施运行在 AWS 上,使用 EC2 和 Ubuntu。
应用程序服务器
Instagram 的应用程序服务器使用了 Django 框架,由 Python 编写,Gunicorn 作为其 WSGI 服务器。
负载均衡
Instagram 使用 Amazon 的弹性负载均衡器(ELB),并在 3 个实例之间进行健康检查,以保证服务高可用。
数据库
Instagram 使用 PostgreSQL 来存储数据,应用程序服务器从 PostgreSQL 中提取数据。
数据分片
Instagram 对用户的数据进行了分片,将几千个逻辑碎片映射到几个物理碎片,以处理大量的数据。
Instagram 使用 Amazon S3 来存储用户的照片。
团队协作和部署
Instagram 使用 Fabric 在多个实例上并行运行命令,在几秒钟内部署代码。
这些实例在 25 台以上 Amazon High-CPU Extra-Large 机器上运行。由于服务器本身是无状态的,因此可以轻松添加更多机器来处理更多请求。
自 2010 年以来的演变
自 2010 年以来,Instagram 的架构已经发生了显著的变化,以应对不断增长的用户群和新的功能。
例如,Instagram 现在使用自有数据中心和云服务提供商的组合来托管其基础设施。它还采用了微服务架构,其中应用程序的不同组件作为独立的服务运行。
结论
Instagram 的架构的演变是一个精彩的案例研究,说明如何通过遵循健壮的原则和采用新技术来扩展一个大型分布式系统。
随着 Instagram 继续增长,我们期待看到其架构的进一步发展,以满足未来需求。
参考:
- Sharding IDs at Instagram
- Amazon Elastic Load Balancing
- Django Documentation
- Amazon S3 Developer Guide
Java的有几种技术架构
Java架构:软件架构作为一个概念,体现在技术和业务两个方面。 从技术角度来说:软件架构随着技术的革新不断地更新其内容,软件架构建立于当前技术和一些基本原则的基础之上。 先说一些基本原则:分层原则:分层是为了降低软件深度复杂性而使用的关键思想,就像社会有了阶级一样,软件有了层次结构。 模块化原则:模块化是化解软件广度复杂的必然手段,模块化的目的就是让软件分工。 接口实现分离原则随着软件模块化的不断深入改进,面向接口编程而不是面向实现编程可以让复杂度日趋增高的软件降低模块之间的耦合度,从而让各模块更轻松改进。 从这个原则出发,软件也从微观进行了细致的规范化。 还有两个比较小但很重要的原则:细节隐藏原则很显然把复杂问题简化,把难看的细节隐去,能让软件结构更清晰。 其实这个原则使用很普遍,java/c++语言中的封装原则以及设计模式中的Facade(外观)模式就很能体现这个原则的精神。 依赖倒置原则随着软件结构的进一步发展,层与层之间、模块与模块之间的依赖逐渐加深,而层、模块的动态可插拔要求不端增大。 依赖倒置原则可看视为接口实现分离原则的深化,根据此原则的精神,软件进入了工具时代。 这个原则有点类似于知名的好莱坞法则:Dont call us, well call you。 以上这些原则奠定了我们的软件架构的价值指标。 但软件架构毕竟是建立在当前技术之上的。 而每一代技术都有架构模式。 过去的不再说了,让我们现在就来看一下当前流行的技术,以及当前我们能采用的架构。 因为面向对象是当前最流行开发技术,且设计模式的大量使用使面向对象的走向成熟,而数据库是当前最有效的存储结构、web界面是当前最流行的用户接口,所以当前最典型的三层次架构就架构在以上几项技术的基础之上,用数据库作存储层、用面向对象来实现业务层、用web来作为用户接口层。 我们从三层次架构谈起:因为面向对象技术和数据库技术不适配,所以在标准三层次架构的基础上,我们增加了数据持久层,来管理O-R双向映射,但目前一直没有最理想的实现技术。 cmp和entity bean技术因为其实现复杂,功能前景有限,已接近被淘汰的边缘。 JDO及hibernate作为o-r映射的后期之秀,尤其是hibernate,功能相当完备。 推荐作为持久层的首选在业务层,因为当前业务日趋负载,且变动频繁,所以我们必须有足够敏捷的技术来保证我们的适应变化的能力,在标准j2ee系统中session bean负责业务处理,且有不错的性能表现,但采用ejb系统对业务架构模式改变太大,且其复杂而昂贵,业务代码移植性差。 而spring 作为一个bean配置的轻量级架构,漂亮的IOC模式实现,对业务架构影响小,所以推荐作为中间层业务框架。 在用户结构层,虽然servlet/jsp/jstl/javaBean 能够实现MVC架构,但终究过于粗糙。 struts对MVC架构的实现就比较完美,Taperstry也极好地实现MVC架构,且采用基于事件的方式,非常诱人,惜其不够成熟,我们仍旧推荐struts作为用户接口层基础架构。 因为业务层是三层次架构中最有决定意义的,所以让我们回到业务层细致地分析一下,在复杂的业务我们常常需要以下基础服务的一种或几种:事务一致性服务acid(tool:jta/jts)、并发加锁服务concurrent&&lock、池化管理服务cache、访问控制服务(tool:jaas)、流程控制服务workflow、动态实现服务IOC,串行化消息服务(tool:jms)、负载平衡服务blance等。 如果我们不采用重量级应用服务器(如weblogic,websphere,jboss等)及重量级组件(EJB),我们必须自己实现其中一些服务。 虽然我们大多情况下,不需要所有这些服务,但实现起来却非易事。 幸运的是我们有大量的开源实现代码,但采用开源代码却常常是件不轻松的事。 随着xml作为结构化信息传输和存储地位日渐重要,一些xml文档操作工具(DOM,Digester,SAX等)的使用愈发重要,而随着xml schema的java binding工具(jaxb,xmlbean等)工具的成熟,采用xml schema来设计xml文档格式,然后采用java binding来生成java bean 会成为主要编程模式,而这又进一步使数据中心向xml转移,使在中小数据量上,愈发倾向于以xquery为查询语言的xml数据库。 最近还有一个趋势,microsoft,ibm等纷纷大量开发中间软件如(microsoft office之infopath),可以直接从xml schema 生成 录入页面等非常实用的功能。 还有web service 的广泛应用,都将对软件的架构有非常重大的影响。 至于面向服务架构(SOA)前景如何,三层次架构什么时候走入历史,现在还很难定论。 aop的发展也会对软件架构有很深的影响,但在面向对象架构里,无论aspectJ还是jboss-aop抑是aspectWerks、nanning都有其自身的严重问题:维护性很差,所以说它将很难走远。 也许作为一个很好的思想,它将在web service里大展身手。 rdf,owl作为w3c语义模型的标志性的语言,也很难想象能在当前业务架构发挥太大影响。 但如果真如它所声称那样,广泛地改变着信息的结构。 那么对软件架构也会有深远影响。 有关架构设计的一些忠告:尽量建立完整的持久对象层.可获得高回报尽量将各功能分层,分块,每一模块均依赖假定的其它模块的外观不能依赖静态数据来实现IOC模式,应该依赖数据特征接口,静态数据仅是数据特征接口实现方式之一架构设计时xml是支持而不是依赖.但可以提供单一的xml版本的实现从业务角度说:软件架构应是深刻体现业务内部规则的业务架构,但因为业务变化频纴,所以软件架构很难保持恒定不变,但业务的频繁变化不应是软件架构大规模频繁变化的原因,软件架构应是基于变化的架构。 一种业务有其在一段时间内稳定存在的理由(暂且不谈),业务内部有许多用例,每一种用例都有固定的规则,每一规则都有一些可供判定的项,每一项从某一维度来观察都是可测量的,我们的架构首先必须保证完美适应每一项每一种测量方式,很多失败的架构都是因为很多项的测量方式都发生变更这种微观变化中。 每个用例都有规则,我们在作业务用例分析,常常假定一些规则是先验的,持久稳定的,然而后来的业务改变常常又证明这种看法是错误的,然而常常我们的架构已经为之付出了不可挽回的代价。 大量事实证明:规则的变化常常用例变化的根本原因。 所以我们的架构要尽可能适应规则的变化,尽可能建立规则模版。 每个用例都关系着不同的角色。 每一个用例的产生都必然是因为角色的变更(注意:不是替换,而是增强或减弱),所以注意角色的各种可能情况,对架构的设计有举足轻重的意义。 在我们当前的三层架构里,角色完美地对应接口概念。 在一个系统里很多用例都相互关联,考虑到每个用例均有可能有不同的特例,所以在架构设计中,尽量采用依赖倒置原则。 如架构许可可采用消息通信模式(JMS)。 这样可降低耦合度。 现在我们谈一下业务稳定存在理由对业务的影响。 存在即是合理,在这里当然是正确的。 业务因人而存在,所以问业务存在的理由即是问不同角色的需要这项业务的理由以及喜欢不喜欢当前业务用例的理由,所有这样的角色都应该在系统里预留。 《待续》在架构设计中有几个原则可以考虑:用例尽量细分用例尽量抽象角色尽量独立项测量独立原则追求简单性这里未提供相关的例子,例子会在以后的更新时提供。 业务和模式之间的关系业务中的一些用例之间的关系常常和一些常规的模式很相似。 但随着时间的演化,慢慢地和先前的模式有了分歧。 这是个正常的现象。 但这对系统架构却要求非常高,要求系统架构能适应一些模式的更替。 在这里我们尽可能早地注意到用例之间的相互角色变化,为架构更新做好准备.
前端常用的框架有哪些?
一、 Web前端框架之Angular 2+Angular 2+优点解析:Angular 2+ 的最大优势在于它的流行程度。 也有人认为它和 Google 密切相关的名字,会影响团队使用它。 Angular 1 的迅速流行是因为那些来自其他交互式应用程序开发环境的人会发现对于开发单页面 Web 应用程序具有相似的模型-视图模式。 通过对 Angular 1 进行现代化演变和重新构建框架的某些部分,Angular 2+ 已经真正的爆发了,大量的正式的和非正式培训机构数量都让人印象深刻,开发者有很强的市场竞争力。 对于用户来说它有一套用于构建用户界面的丰富组件,这也是本系列中少有的几个框架能够做到这点。 缺点解析:我们觉得 Angular 框架着重于在单个页面应用程序中创建用户界面并没有处理构建完整的 Web 应用这个更大的关注点,如果不及早确定下来,这将会导致整个项目难以维护,在实际项目中,运行时提供不属于核心框架的技术往往让人觉得不可思议,这大大降低了 TypeScript 对最终开发者的价值。 发展方向:Angular 5 刚刚发布,这看来是 Angular 已经成功的印证了快速发布版本的承诺,在 Google 的持续支持下,Angular 会越来越成熟。 像许多的大型组织一样,Google 具有多重(分裂)的人格,从外表上看,Angular 团队和那些专注于浏览器标准的团队之间显得很和谐。 但我们的观点是,和谐只是一层薄薄的窗户纸。 Angular 团队对于 Web 组件和渐进式 Web 应用没有一个真正解决方案。 我们认为,业界普遍认可的标准将会在 Angular 框架中会逐步实现,这将会影响到如何更好的构建 Angular 应用将成为一个中/长期的风险。 使用环境:如果你需要在一个大型的框架内获取技术资源,框架内的技术通常很容易移植;或者你需要在框架中训练开发人员,并且还要有一定的信心,他们会在短期内获得一定的开发能力,这样的话你可以考虑 Angular 2+ 。 需要注意的是 Angular1()与 Angular2+ 是截然不同的,其中的应用、技术和经验不能直接移植到 Angular2+ 的开发中去。 如果你的 Web 应用能够很好的转化为标准的模型-视图模式,那么你也可以忽略其他直接考虑使用 Angular2+ 。 如果你对 Google Material UX 设计模式满意,那么 Material Angular 是遵循该模式的一种快速、简单且可靠的方式。 二、Web前端框架之React + ReduxReact + Redux优势解析:React 和 Redux 的最大优势在于它们相对简单和专注。 做一件事情并把它做好是非常困难的,但这两个库都很有效地完成了它们的目标。 虽然对于某些状态容器方法可能是外部的,但大多数开发人员还是可以轻松掌握概念,并了解单向数据体系结构的好处,简化大量的用户界面应用程序。 缺点解析:React 和 Redux 最大的弱点不是它们是什么,而是它们不是什么。 要构建一个功能丰富的 Web 应用程序,你需要许多功能,一旦脱离 React 和 Redux 和其他一些库的核心,你将发现一个非常分散的社区,拥有无数的解决方案和模式,不容易整合在一起。 因此,虽然 React 和 Redux 都是非常专注的库,但缺乏经验的团队还是会很容易地生成不可维护的解决方案,而不是意识到他们所做的选择会导致性能不佳或错误。 即使有经验的开发人员也可能意识到,一个松散的架构或惯例可能会在未来困扰他们。 假省钱是一种对自己的欺骗,组织范围内采用 React 和 Redux 将轻松降低无效率问题。 没有其他库和模式的广泛约定和标准化,标准化 React + Redux 比较于我们正在采用的 JavaScript 来编写我们的应用程序效率要高。 发展方向:Facebook 和 React 最近从繁琐的附加专利纠纷中抽离,他们认识到,就像其他项目一样,更广泛的社区能够提高自己的声音。 我觉得这有助于 Facebook 意识到他们还不能更好地了解我们,相信我们来引导项目。 希望这将继续贯穿项目的特点和技术方向。 很难预测 React 和 Redux 的未来。 但是,将库集中在一起,确实会显着提高适应性,大多数React + Redux 模式都会促进一个分离的体系结构,从而可以轻松地进行重构和迭代。 两年前,大家喜欢的还是React + Flux,但整个社区很快就拥抱了Redux。 思维或模式的其他重大转变可能很容易被采纳。 这种关键能力可能会持续到未来。 使用环境:如果你很少需要手把手指导,并且正在寻找更好的库而不是全面的框架,那么 React + Redux 可能是正确的。 在这一过程中,你不仅需要对你的团队和组织的能力保持诚实,还要在你的初始开发过程中,以及在整个应用程序的长期维护过程中保持诚实。 三、Web前端框架之优势介绍:渐进式构建能力是最大的优势,vue 有一个简洁而且合理的架构,使得它易于理解和构建。 vue 有一个强大的充满激情人群的社区,这为增加了巨大的价值,使得为一个空白项目创建一个综合的解决方案变得十分容易。 缺点介绍:在模型-视图应用程序和状态容器类型的应用程序之间的互相转换可能会令人感到困惑,即使没有完美包含一个模式到另一个模式的完美转换,但让人感觉希望能维持两个模式的相关性。 对于那些期待完美解决方案,并可能导致难以维护不一致的应用程序的人来说,这至少是令人困惑的。 一个更大的挑战是依赖于一个单独的人,很明显,其他的项目基本是由一个组织提供支持,但这让人感觉更加有意义,虽然它有一个强大文件的社区和许多有创新的新增项目,但是 vue 核心的开发基本落在一个人身上。 我们很高兴看到 vue 更加容易接受新兴的标准方法,但是它的类似于 Web 组件的模式,而不是真正的 Web 组件,这可能是 vue 所得不偿失的地方。 发展前景:虽然有相当广泛的应用,但也很难预测在中期发展中这个势头能持续多久,它不是由一个商业组织直接支持并维护,因此,这很大程度上依赖于维护者的生存能力和继续维护下去的愿望来决定。 它也表现出了一定程度的语言适应能力,并且随着某些模式的落伍和失宠而继续保持自身语言的现代化和时代性,目前没有迹象表明架构将来无法适应进一步发展。 使用场景:如果你有一个传统的Web应用程序,并需要一个强壮稳健的应用程序层,那么 可能是一个很好的选择,它有清晰的模式,即使没有经验的团队也能正确或者错误的使用它。 尽管vue UX框架没有开箱即用的功能,但在上也能大量持续性构建应用,这将有利于你的项目。
免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。