选用正确的工具来满足异步处置需求的技术指南

作为后端开发人员，有一天你须要回答这个疑问：

步骤1：明白您要处置的疑问以及技术/工详细系结构如何与您的指标和思索坚持分歧

在选用信息代理或事情代理时，有很多事情要思索：高可用性、容错性、多租户、多云区域支持、能够支持高吞吐量和低提前等等，罗列举不胜举。

大少数状况下，当浏览无关事情代理或信息代理的关键个性时，咱们都是以大少数公司或产品从未齐全经常使用或须要的最复杂用例为例的。

作为工程师，生存中有一句罕用的话语：

在选用事情代理与信息代理两个范式之间，"魔鬼"暗藏在更多的低层技术思索要素中，比如：信息的消耗或生成确认方法、去重、信息的优先级、消费者线程模型、信息的消耗方法、信息的散发/分散支持、毒药药处置等等。

概念之间的不同：橙子与苹果

步骤2：了解两种范式之间的差异

(1)事情代理

存储一系列事情。理论，事情会按抵达事情代理的顺序附加到日志（队列或主题）上。主题或队列中的事情是无法变的，其顺序不能更改。

当事情颁布到队列或主题时，代理识别主题或队列的订阅者，并使事情可供多种类型的订阅者经常使用。

消费者和消费者不须要彼此相熟。

事情潜在地可以存储数天或数周，由于它们一旦被成功消耗，就不会从队列/主题中删除。

(2)信息代理

用于服务或组件之间的通讯。它经过异步方式在运行程序之间传输由消费者接纳的信息。

它理论支持队列的概念，其中信息理论存储一段期间。队列中信息的目的是在消费者可用于处置信息并在成功消耗后删除信息。

不能保障队列中信息处置的顺序，并且可以更改。

信息代理与事情代理

理论，在处置长命令或面向义务的处置时，咱们会偏向于经常使用信息代理。

例如，假定你在一家电子商务公司上班，想要将新产品减少到公司的网站。这或者象征着多个服务须要知道并以异步方式处置此恳求。

上图显示了RabbitMQ扇出信息散发的经常使用，其中每个服务都有自己的队列衔接到扇出替换机。

产品服务发送蕴含新产品信息的信息到替换机，替换机将信息发送到一切衔接的队列。

在从队列成功消耗信息后，它将被删除，由于触及的服务不须要保管或从新处置信息。

在处置应前或历史事情时，理论触及少量数据，须要以单个或批量方式处置这些数据，咱们会偏向于经常使用事情代理。

例如，假定你在一个文娱评级网站上班，你想为用户减少一个新性能，用来显示电影的编剧和导演。这些信息只管历史存储，但不对担任提供这些数据的服务可用。

上图显示了经常使用Kafka作为事情代理，它能够从数据仓库中提取数亿部电影，认为每个服务存储的电影信息附加所需的信息。

Kafka可以在相对短的期间内接受少量的数据，而消费者可以有一个独立的消费者组来独自处置电影主题流。

须要留意的关键方面

正如我之前提到的，选用适合的范式时有很多事情要思索。

我想探讨一些关键的差异，这些差异理论或者成就或破坏您对技术的决策。

在这一局部，我将比拟迄今为止最盛行的两种技术：Kafka（事情代理）和RabbitMQ（信息代理），它们区分代表了这两个范式，我对它们都有实践阅历。

我剧烈激励您在技术选用环节中思索以下几点。

1.轮询与推送

Kafka消费者的上班方式是经过轮询一个主题中按顺序分区划分的信息的块，每个消费者担任从一个或多个分区中消费信息，其中分区用作消费者的并行机制（隐式线程模型）。

这象征着理论担任治理主题的消费者会隐式知道可以订阅主题的消费者实例的最大数量。

消费者担任处置信息处置的成功和失败状况。由于信息是从分区中批量轮询的，所以信息处置顺序在分区级别是有保障的。

RabbitMQ消费者从队列中接纳信息的方式是经过代理将信息推送给它们。

每条信息都以一种独立的方式启动处置，消费者可以驳回显式线程模型，而不须要消费者知道消费者实例的数量。

成功的信息处置是消费者的责任，而处置失败关键由信息代理成功。

信息散发由代理启动治理。

如提前信息和信息优先级等性能是开箱即用的，由于信息处置顺序在队列中理论是不保障的。

2.失误处置

Kafka处置信息处置失误的方式是将处置失误的责任委托给消费者。

假设某条信息被处置了几次但失败（毒药药），消费者运行程序须要跟踪处置尝试的数量，而后生成一条信息到一个独自的DLQ（死信队列）主题，以便以后审核/从新运转。

就失误处置而言，消费者是承当一切责任的一方。

这象征着假设您宿愿具备重试/DLQ性能，您须要提供重试机制，并在发送信息到DLQ主题时充任消费者，这在某些极其状况下或者造成信息失落。

RabbitMQ处置信息处置失误的方式是跟踪处置信息失败。一旦一条信息被视为毒药药，它将被路由到一个DLQ替换机。

这准许从新排队信息或将其路由到公用DLQ以启动审核。

经过这种方式，RabbitMQ提供了保障未成功处置的信息不会失落。

3.消费者确认和传递保障

Kafka处置消费者确认的方式是由消费者提交从主题分区中轮询的信息的偏移量。

开箱即用，Kafka客户端会智能提交偏移量，无论信息能否成功处置，这或者造成信息失落，如下图所示。

经过消费者代码担任手动提交失掉的信息的偏移量，包括处置信息消费失败的状况，可以更改此行为。

RabbitMQ处置消费者确认的方式是消费者以每条信息的方式启动确认或否定，准许由信息代理处置重试战略/DLQ，假设须要，可以由信息代理启动治理。

开箱即用，RabbitMQ客户端智能启动确认，无论信息能否成功处置，可以经过消费者端的性能手动控制确认，准许信息在失败/超时时从新推送给消费者。

RabbitMQ和Kafka在大少数状况下都提供至少一次性信息/事情处置的保障，这象征着消费者应该是幂等的，以处置同一信息/事情的屡次处置。

咱们的流程

步骤3：依据您的用例选用技术，而不是反上来

对咱们来说，最关键的局部是编制咱们处置打算的技术规范清单，并为咱们作为团队和产品不能缺少的要求调配无法接受。

回到基础精气，我经常使用了一个个别的表格来编制和比拟不同的规范，并提到了一些须要留意的中央。记住，细节藏在细节之中。

这真的协助咱们组织并集中精神关注对咱们至关关键的内容以及咱们无法缺少的内容。

例如，咱们的无法接受要求之一是，假设在处置环节中出现失误，咱们不能接受失落信息。

正如您或者从下面的局部中记得的，当经常使用须要DLQ的Kafka时，消费者也是DLQ的消费者。这象征着在消费者出现缺点的某些状况下，信息将不会被发送到DLQ主题，或者造成信息失落。

在这一点上，正如您或者曾经猜到的那样，咱们选择选用信息代理。

咱们的性能包括面向命令/义务的处置用例，信息代理满足了咱们的产品/数据容量要求，也满足了咱们团队的需求。

最后的思索

信息和事情流生态系统包括许多处置打算，每个处置打算都有许多不同的方面须要思索和相熟。

关键的是咱们要睁大眼睛进入每个生态系统，并对这些不同的范式有明晰的了解。它们将对咱们工程师的日常生存（有时是夜间生存）发生严重影响。

ip代理是什么意思？有什么作用与好处？

也可以用独享的代理IP，随着大数据的应用越来越广泛，应用的行业也越来越多，我们每日都可以看到大数据的一些新颖的应用，从而帮助人们从中获取到真正有用的价值，随着很多工作的开展，我们需要大量的IP操作，这时为了避免IP被封，使用代理IP是个很好的选择。 而独享IP代理更受人们的喜爱，其原因是什么，我总结了四点。 一是高效性。 我们在使用共享IP的时候，经常被目标网站拒绝访问，或者提示该IP已经用过了。 这让你无限恼火又无能为力，毕竟是共享IP，你能用来访问这个网站，其他人自然也能用来访问相同的网站，结果你会发现，业务成功率比较低，效率比较低，而使用独享IP池则可以完全避免这种情况，因为这些IP只有你一个人使用，不会和别人发生冲突。 二是稳定性。 我们在使用共享IP的时候，经常用着用着就失效了，或者说提取出来还没来得及使用就已经失效了。 相信很多朋友有碰到过这种情况，当你填完一份问卷调查要提交时，IP突然失效了，当你……很多时候，IP突然失效往往事倍功半，而使用独享IP池则不会出现这种情况，我们能决定这些IP的生存时间，让你有足够的时间完成任务。 三是可控性。 我们在使用共享IP的时候往往会抱怨这些：绑定白名单太少了，提取时间间隔太长了，IP有效时间太短了，流量被限制了用了不爽，并发被控制了用了不爽等等。 当你使用独享IP池后，你会发现，这些都不是问题，你想怎么用就怎么用，你可以高并发大流量使用，你可以决定IP有效时间，你可以添加很多白名单，也可以采取用户名密码授权而不用白名单，总之，这些IP是你一个人独享的，你怎么使用也不会影响到别人，别人也影响不到你。 四是高速性。 我们往往会埋怨这些代理IP怎么用着没以前好用了，速度变慢了不少，这是因为用的人多了，速度就会下降，就像一条公路，一辆车行驶和几百辆几千辆车行驶的差别，而使用独享IP池，就是一个人的天下，没人跟你抢道，速度快是必然的了。

代理IP有什么用途？

代理服务器英文全称是Proxy Server，其功能就是代理网络用户去取得网络信息。 形象的说：它是网络信息的中转站。 在一般情况下，我们使用网络浏览器直接去连接其他Internet站点取得网络信息时，是直接联系到目的站点服务器，然后由目的站点服务器把信息传送回来。 代理服务器是介于浏览器和Web服务器之间的另一台服务器，有了它之后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。 大部分代理服务器都具有缓冲的功能，就好象一个大的Cache，它有很大的存储空间，它不断将新取得数据储存到它本机的存储器上，如果浏览器所请求的数据在它本机的存储器上已经存在而且是最新的，那么它就不重新从Web服务器取数据，而直接将存储器上的数据传送给用户的浏览器，这样就能显著提高浏览速度和效率。 更重要的是：代理服务器是 Internet链路级网关所提供的一种重要的安全功能，它的工作主要在开放系统互联 (OSI) 模型的对话层，从而起到防火墙的作用。 鉴于上述原因，代理服务器大多被用来连接INTERNET（局域网）和INTRANET（国际互联网）。 在国内，所谓中国多媒体公众信息网和教育网都是独立的大型国家级局域网，是与国际互联网隔绝的。 出于各种需要，某些集团或个人在两网之间开设了代理服务器，如果我们知道这些代理服务器的地址，就可以利用它到达网外网，例如从169到达163。 代理服务器就象是连接两岸的桥梁，但是169与163之间的代理服务器一般的都被设置了访问密码，或者要收代理费用，阿Z搜索并提供的是完全免费的代理服务器地址，完全没有任何限制，不需缴交任何额外费用！ ■ 为何要开设代理服务器？ 1、连接Internet与Intranet 充当firewall（防火墙）：因为所有内部网的用户通过代理服务器访问外界时，只映射为一个IP地址，所以外界不能直接访问到内部网；同时可以设置IP地址过滤，限制内部网对外部的访问权限；另外，两个没有互联的内部网，也可以通过第三方的代理服务器进行互联来交换信息。 2、节省IP开销：如前面所讲，所有用户对外只占用一个IP，所以不必租用过多的IP地址，降低网络的维护成本。 这样，局域局内没有与外网相连的众多机器就可以通过内网的一台代理服务器连接到外网，大大减少费用。 当然也有它不利的一面，如许多网络黑客通过这种方法隐藏自己的真实IP地址，而逃过监视。 3、提高访问速度：本身带宽较小，通过带宽较大的proxy与目标主机连接。 而且通常代理服务器都设置一个较大的硬盘缓冲区（可能高达几个GB或更大），当有外界的信息通过时，同时也将其保存到缓冲区中，当其他用户再访问相同的信息时，则直接由缓冲区中取出信息，传给用户，从而达到提高访问速度的目的。 使用代理服务器有那些好处？ 在我国，上网分为163和169两种。 169用户又分为三类（全国各地分类口径可能不同），一类用户拥有网外权，可以直接享受国际互联网的所有服务；另一类为注册用户，使用注册的帐号上网，第三类称为GUEST用户，使用公用的账号上网，采取主叫记费制。 无网外权用户的收费低廉，但只能与中国多媒体信息网中的（IP地址以10开头）的网站连接。 所谓畅游网络世界只不过是句空话！您是否也经历过这样的痛苦：由于钞票所限，每天只能徘徊在169上，仰头望着163中一堆堆的国际互联网信息、资源和免费大餐，口水直流……哎！ 现在好了，有了代理服务器，我们大家就可以任意出国，用169的低廉代价得到163中的服务了！正如前面讲到的，如果我们知道这些代理服务器的地址，就可以利用它到达网外网，从169到达163。 阿Z搜索并提供的是完全免费的代理服务器地址，完全没有任何限制，不需缴交任何额外费用！INTERNET上的免费电子信箱、主页空间、ICQ、FTP、各种信息资源……统统敞着来吧！你仍然只需支付169的低廉上网费用！另外，由于目的服务器只能查出你所使用的代理服务器的IP，所以还有一些不言而喻的好处，例如在聊天室不容易轻易被人踢出去了！ 使用代理的上网速度怎样？ 代理服务器实际上是一个网络上的高速缓存，它接受终端申请后先对网络服务器提出要求并接受传送来的文件，然后再发送到终端。 当信息第一次经过这样一个中转站时，速度可能或多或少的打了点折扣。 但是代理服务器本身相当于一个高速缓存，如果您要浏览的网页不久前有人浏览过，而且代理服务器上保存的时最新的纪录的话，代理服务器就不用再到主机上申请数据，而是直接把网页发送给您，这样的话速度又会比较直接联上目的服务器快很多！特别是代理服务器本身有高速出口、而服务器档次又很高的话，对速度的影响几乎可以忽略不记！经过测试，好的代理从发出申请到接收到文件的时间不到10毫秒，一般的也只有0.5－1秒，而且速率可以达到5－6K。 从实际操作中，几乎区别不出使用代理和直接用163的差别，某些地区还会出现169+代理服务器要快于163的现象！ 当然，如果代理服务器不行的话，可能等上几分钟一个页面还不能完全显示出来，您不得不关掉浏览器的多媒体和其他功能，面对一个枯燥的网络世界！本站的目的就是尽可能的为您提供更快更好的代理服务器，经常来看看，保证您大有收获！ ■ 使用代理服务器合法吗？ 代理服务器除了网络服务商为了各种目的而开设外，大部分是新建网络服务器设置的疏漏！虽然法律尚无具体规定，但没有经过允许而使用他人的服务器当然还是不太好！虽然目的主机一般只能得到您使用的代理服务器IP，似乎有效的遮掩了你的行程，但是值得一提的是：网络服务商开通的专业级代理服务器一般都有路由和流程记录，因此可以轻易的通过调用历史纪录来查清使用代理服务器地址的来路。 当然，利用多层代理会增加被捕获的难度，但也不是不可能的。 去年报上就有报道有人使用代理服务器进攻天府热线，进行非法活动而被抓的消息。 因此，建议菜鸟级的黑客们不要利用代理服务器来进行特别行动！只要你不使用代理进行非法活动，一般是没有关系的。 ■ 搜索代理服务器 代理服务器的存在一般是不公开的，特别是中国公众多媒体信息网（169）上的更是在地下活动！要得到代理服务器一般有如下的途径：代理服务器的管理员公开或秘密传播；网友在聊天室或BBS热情提供；自己搜索；从专门提供代理服务器地址的站点获得。 搜索代理服务器域要专门的软件，比如：NewProxy、ProxyVer等。 搜索的原理很简单：向IP地址发送请求信息，如果服务器能够传回正确的反馈，则证明该服务器是可用的。 当然，搜索代理服务器并不简单。 您有可能在花费了数个小时的搜索后，仍然得不到一个可用的代理服务器！白白花费了时间和金钱。 本站就是为了解决您的这个烦恼，从此您不必再白白浪费精力、时间和金钱，只要经常到本站一游，保证您总有新的收获！ ■ 使用代理服务器要交费吗？ 代理服务器一般有收费和免费两种。 收费的大部分是ISP开设的，我们就不管他了。 阿Z提供的都是免费代理服务器，这意味着您除了正常的169使用费之外，不必付出任何其它费用，这正是169代理服务器的魅力之所在！提醒各位的是：您必须非常清楚您所在地的网络服务和收费情况。 中国电信各地169提供的服务各不相同，使用代理服务器能够节省费用的前提是您所在地电信提供的169服务收费要比163低。 否则，您就没有必要使用代理服务器上网了！ ■ 挑挑拣拣选个好代理 对大家来说，选择一个好的代理，可以提高上网速度、访问一些原本访问不了或是访问速度极慢的网站。 不过，有的网友使用诸如ProxyHunter、PortScanner之类的代理搜索软件，经常是损人不利己：它们不但会加重你的ISP的负担，而且影响其他用户的上网速度。 下面，将自己选择代理服务器的经验介绍给大家，以期达到交流经验的目的。 这也是我看别人的，现抄下来给你看希望对你有用。