关于PowerJob

PowerJob（原OhMyScheduler）是全新一代散布式义务调度与计算框架，其重要性能特性如下：

实用场景

同类产品对比

基本概念

分组概念

外围概念

裁减概念

定时义务类型

备注：固定提早和固定频率义务统称秒级义务，这两种义务不可被中止，只要义务被封锁或删除时才干真正中止义务。

搭建PowerJob环境

本地启动

初始化名目

gitclone

导入IDE，源码结构如下，咱们须要启动调度主机（powerjob-server），同时在samples工程中编写自己的处置器代码

启动调度主机

powerjob-server日常环境性能文件：application-daily.properties

oms.env=DAILYlogging.cnotallow=classpath:logback-dev.xml#######外部数据库性能（须要用户更改为自己的数据库性能）#######spring.datasource.core.driver-class-name=com.mysql.cj.jdbc.Driverspring.datasource.core.jdbc-url=jdbc:mysql://localhost:3306/powerjob-daily?useUnicode=true&characterEncoding=UTF-8&serverTimeznotallow=Asia/Shanghaispring.datasource.core.username=rootspring.datasource.core.password=No1Bug2Please3!spring.datasource.core.hikari.maximum-pool-size=20spring.datasource.core.hikari.minimum-idle=5#######mongoDB性能，非外围依赖，经过性能oms.mongodb.enable=false来封锁#######oms.mongodb.enable=truespring.data.mongodb.uri=mongodb://localhost:27017/powerjob-daily#######邮件性能（不须要邮件报警可以删除以下性能来防止报错）#######spring.mail.host=smtp.163.comspring.mail.username=zqq@163.comspring.mail.password=GOFZPNARMVKCGONVspring.mail.properties.mail.smtp.auth=truespring.mail.properties.mail.smtp.starttls.enable=truespring.mail.properties.mail.smtp.starttls.required=true#######资源清算性能#######oms.instanceinfo.retentinotallow=1oms.container.retention.local=1oms.container.retention.remote=-1#######缓存性能#######oms.instance.metadata.cache.size=1024

图片

-compose启动

环境要求

本地须要装置docker和docker-compose

下载代码

gitclone--depth=1

 运转

cdPowerJobdocker-composeupdocker-composeup-d

 刚开局启动时，powerjob-worker-samples会启动失败，等powerjob-server启动成功后，powerjob-worker-samples才会启动成功。这大略须要几分钟。

运转成功后，阅读器访问运行称号：powerjob-worker-samples明码：powerjob123

 中止

docker-composedownStoppingpowerjob-worker-samples...doneStoppingpowerjob-server...doneStoppingpowerjob-mysql...doneRemovingpowerjob-worker-samples...doneRemovingpowerjob-server...doneRemovingpowerjob-mysql...donecdPowerJobrm-rfpowerjob-data

 SpringBoot集成PowerJob


 参与相关maven依赖

<dependency><groupId>tech.powerjob</groupId><artifactId>powerjob-worker-spring-boot-starter</artifactId><version>${latest.powerjob.version}</version></dependency>

 性能文件性能

powerjob:worker:#akka上班端口，可选，自动27777akka-port:27777#接入运行称号，用于分组隔离，介绍填写本Java名目称号app-name:${spring.application.name}#调度主机地址，IP:Port或域名，多值逗号分隔server-address:81.70.117.188:7700#耐久化方式，可选，自动diskstore-strategy:disk#义务前往结果信息的最大长度，超越这个长度的信息会被截断，自动值8192max-result-length:8192#单个义务追加的上班流高低文最大长度，超越这个长度的会被间接摈弃，自动值8192max-appended-wf-context-length:8192

 处置器（Processor）开发


 处置器概述


 基本概念


 PowerJob支持Python、Shell、HTTP、SQL等泛滥通用义务的处置，开发者只须要引入依赖，在控制台性能好相关参数即可，关于这局部详见官网处置器，此处不再赘述。本章将重点论述Java处置器开发方法与经常使用技巧。


 单机处置器（BasicProcessor）对应了单机义务，即某个义务的某次运转只会有某一台机器的某一个线程介入运算。


 广播处置器（BroadcastProcessor）对应了广播义务，即某个义务的某次运转会调动集群内所无机器介入运算。


 Map处置器（MapProcessor）对应了Map义务，即某个义务在运转环节中，准许发生子义务并散发到其余机器启动运算。


 MapReduce处置器（MapReduceProcessor）对应了MapReduce义务，在Map义务的基础上，参与了一切义务完结后的汇总统计。


 入参TaskContext


 TaskContext蕴含了本次义务的高低文信息，详细信息如下


 
  
  
 
 

  

   

    

     属性列表（白色标注的为罕用属性）
    
   
  
  

   

    

     属性称号
    
   
   

    

     意义/用法
    
   
  
  

   

    

     义务ID，开发者普通无需关心此参数
    
   
  
  

   

    

     instanceId
    
   
   

    

     义务虚例ID，全局惟一，开发者普通无需关心此参数
    
   
  
  

   

    

     subInstanceId
    
   
   

    

     子义务虚例ID，秒级义务经常使用，开发者普通无需关心此参数
    
   
  
  

   

    

     驳回链式命名法的ID，在某个义务虚例内惟一，开发者普通无需关心此参数
    
   
  
  

   

    

     task称号，Map/MapReduce义务的子义务的值为开发者指定，否则为系统自动值，开发者普通无需关心此参数
    
   
  
  

   

    

     义务参数
    
    

     关于非上班流中的义务其值同等于控制台录入的义务参数；假设该义务为上班流中的义务且有性能节点参数信息，那么接纳到的是节点性能的参数信息
    
   
  
  

   

    

     instanceParams
    
   
   

    

     义务虚例参数
    
    

     关于非上班流中的义务其值同等于OpenAPI传递的实例参数，非OpenAPI触发的义务则必定为空。假设该义务为上班流中的义务那么这里实践接纳到的是上班流高低文信息，倡导经常使用getWorkflowContext方法失掉高低文信息
    
   
  
  

   

    

     maxRetryTimes
    
   
   

    

     Task的最大重试次数
    
   
  
  

   

    

     currentRetryTimes
    
   
   

    

     Task的以后重试次数，和maxRetryTimes联结起来可以判别以后能否为该Task的最后一次性运转时机
    
   
  
  

   

    

     子Task，Map/MapReduce处置器专属，开发者调用map方法时传递的子义务列表中的某一个
    
   
  
  

   

    

     在线日志，用法同Slf4J，记载的日志可以间接经过控制台检查，十分方便和弱小！不过经常使用环节中须要留意频率，滥用在线日志会对Server形成渺小的压力
    
   
  
  

   

    

     userContext
    
   
   

    

     用户在PowerJobWorkerConfig中设置的自定义高低文
    
   
  
  

   

    

     workflowContext
    
   
   

    

     上班流高低文，更多信息见下方说明
    
   
  
 


 上班流高低文（WorkflowContext）


 该属性是v4.0.0版本的严重变卦之一，移除了原来的参数传递机制，提供了API让开发者可以愈加灵敏方便地在上班流中成功信息的传递。


 
  
  
 
 

  

   

    

     属性列表
    
   
  
  

   

    

     属性称号
    
   
   

    

     意义/用法
    
   
  
  

   

    

     wfInstanceId
    
   
   

    

     上班流实例ID
    
   
  
  

   

    

     上班流高低文数据，键值对
    
   
  
  

   

    

     appendedContextData
    
   
   

    

     以后义务向上班流高低文中追加的数据。在义务执行成功后ProcessorTracker会将其上报给TaskTracker，TaskTracker在以后义务执行成功后会将这个信息上报给server，追加到以后的上班流高低文中，供下游义务消费
    
   
  
 


 抢先义务经过WorkflowContext#appendData2WfContext(Stringkey,Objectvalue)方法向上班流高低文中追加数据，下游义务便可以经过WorkflowContext#fetchWorkflowContext()方法失掉到相应的数据启动消费。留意，当追加的高低文信息的key曾经存在于以后的高低文中时，新的value会笼罩之前的值。另外，每次义务虚例追加的高低文数据大小也会遭到worker的性能项powerjob.worker.max-appended-wf-context-length的限度，超越这个长度的会被间接摈弃。


 前往值ProcessResult


 方法的前往值为ProcessResult，代表了本次Task执行的结果，蕴含success和msg两个属性，区分用于传递Task能否执行成功和Task须要前往的信息。


 处置器开发示例


 单机处置器：BasicProcessor


 单机执行的战略下，server会在一切可用worker当选取肥壮度最佳的机器启动执行。单机执行义务须要成功接口BasicProcessor，代码示例如下：

/***@Authoriron.guo*@Date2023/1/7*@Description*/@Component@Slf4jpublicclassStandaloneProcessorimplementsBasicProcessor{@OverridepublicProcessResultprocess(TaskContextcontext)throwsException{OmsLoggeromsLogger=context.getOmsLogger();omsLogger.info("处置器启动成功，context是{}.",context);log.info("单机处置器正在处置");log.info(context.getJobParams());omsLogger.info("处置器执行完结");booleansuccess=true;returnnewProcessResult(success,context+":"+success);}}

 执行结果


 广播处置器：BroadcastProcessor


 广播执行的战略下，所无机器都会被调度执行该义务。为了便于资源的预备和监禁，广播处置器在BasicProcessor的基础上额外参与了preProcess和postProcess方法，区分在整个集群开局之前/完结之后选一台机器执行相关方法。代码示例如下：

@Slf4j@ComponentpublicclassBroadcastProcessorDemoimplementsBroadcastProcessor{@OverridepublicProcessResultpreProcess(TaskContextcontext)throwsException{OmsLoggeromsLogger=context.getOmsLogger();omsLogger.info("预执行，会在一切worker执行process方法前调用");log.info("预执行，会在一切worker执行process方法前调用");//预执行，会在一切worker执行process方法前调用returnnewProcessResult(true,"initsuccess");}@OverridepublicProcessResultprocess(TaskContextcontext)throwsException{OmsLoggeromsLogger=context.getOmsLogger();//撰写整个worker集群都会执行的代码逻辑omsLogger.info("撰写整个worker集群都会执行的代码逻辑");log.info("撰写整个worker集群都会执行的代码逻辑");returnnewProcessResult(true,"releaseresourcesuccess");}@OverridepublicProcessResultpostProcess(TaskContextcontext,List<TaskResult>taskResults)throwsException{//taskResults存储了一切worker执行的结果（包括preProcess）//收尾，会在一切worker执行终了process方法后调用，该结果将作为最终的执行结果OmsLoggeromsLogger=context.getOmsLogger();omsLogger.info("收尾，会在一切worker执行终了process方法后调用，该结果将作为最终的执行结果");log.info("收尾，会在一切worker执行终了process方法后调用，该结果将作为最终的执行结果");returnnewProcessResult(true,"processsuccess");}}

 执行结果


 并行处置器：MapReduceProcessor


 MapReduce是最复杂也是最弱小的一种执行器，它准许开发者成功义务的拆分，将子义务派发到集群中其余Worker执行，是执行大量量处置义务的不二之选！成功MapReduce处置器须要承袭MapReduceProcessor类，详细用法如下示例代码所示：

@Slf4j@ComponentpublicclassMapReduceProcessorDemoimplementsMapReduceProcessor{@OverridepublicProcessResultprocess(TaskContextcontext)throwsException{finalOmsLoggeromsLogger=context.getOmsLogger();//判别能否为根义务if(isRootTask()){//结构子义务List<SubTask>subTaskList=Lists.newLinkedList();SubTasksubTask=newSubTask();subTask.setSiteId(1L);subTask.setName("iron.guo");subTaskList.add(subTask);/**子义务的结构由开发者自己定义*eg.如今须要从文件中读取100W个ID，并处置数据库中这些ID对应的数据，那么步骤如下：*1.根义务（RootTask）读取文件，流式拉取100W个ID，并按1000个一批的大小组装成子义务启动派发*2.非根义务失掉子义务，成功业务逻辑的处置*///调用map方法，派发子义务（map或许会失败并抛出意外，做好业务操作）map(subTaskList,"DATA_PROCESS_TASK");omsLogger.info("执行根义务-派发子义务");returnnewProcessResult(true,"ROOT_PROCESS_SUCCESS");}//非子义务，可依据subTask的类型或TaskName来判别分支if(context.getSubTask()instanceofSubTask){omsLogger.info("执行子义务开局");omsLogger.info("GetfromSubTask:nameis{}andidis{}",((SubTask)context.getSubTask()).getName(),((SubTask)context.getSubTask()).getSiteId());//执行子义务，注：子义务人可以map发生新的子义务，可以构建恣意级的MapReduce处置器returnnewProcessResult(true,"PROCESS_SUB_TASK_SUCCESS");}returnnewProcessResult(false,"UNKNOWN_BUG");}@OverridepublicProcessResultreduce(TaskContexttaskContext,List<TaskResult>taskResults){//一切Task执行完结后，reduce将会被执行//taskResults保留了一切子义务的执行结果//用法举例，统计执行结果AtomicLongsuccessCnt=newAtomicLong(0);taskResults.forEach(tr->{if(tr.isSuccess()){successCnt.incrementAndGet();}});//该结果将作为义务最终的执行结果returnnewProcessResult(true,"successtasknum:"+successCnt.get());}//自定义的子义务@Getter@Setter@NoArgsConstructor@AllArgsConstructorprivatestaticclassSubTask{privateLongsiteId;privateStringname;}}

 执行结果


 注：Map处置器相当于MapReduce处置器的阉割版本（阉割了reduce方法），此处不再独自举例。


 上班流


 点击右上角按钮新建上班流，即可录入新的上班流，详细界面和说明如下所示。


 CRON->填写CRON表白式（在线生成网站）


 API->不须要填写任何参数，标明该义务由OpenAPI触发


 DAG操作指南


 编辑依赖相关


 v4.0.0以后支持节点的自在拖延拽，不用再点点点了，哈哈哈~


 导入义务节点


 义务为之前创立的义务，可用上班流方式串联起来执行。


 编辑节点信息


 点击须要编辑的节点，在右侧会弹出一个编辑框，如下图所示


 不凡节点说明


 判别节点


 判别节点不准许失败跳过以及禁用，节点参数中存储的是Groovy代码（执行Groovy代码时会将以后上班流高低文作为context变量注入到代码执行的高低文中），其执行结果仅能前往"true"或许"false"，同时判别节点仅有且必定有两条输入门路。会依据该代码的执行结果选择下游须要执行的节点。这里处置的准则是，仅cancel那些只能经过被disable掉的边可达的节点


 举个两个栗子，灰色代表相应的边或许节点被disable或cancel，菱形代表判别节点，假设执行结果为true


 case3以及case4中的节点3都会被cancel，由于它只能经过节点1->节点3的边可达（该边的属性为false），但关于节点5而言，在case4中由于判别节点2的执行结果为true，那么其可以经过节点2->节点5的边可达，所以不会被disable。


 备注：假设须要依据抢先节点的执行结果选择下游节点，可以将抢先节点的执行结果注入高低文中，再在判别节点中做相应的判别。


 上班流嵌套节点


 该节点代表对某个上班流的援用，节点的jobId属性存储的是上班流id，其余属性和普通的义务节点分歧。不准许发生循环援用以及多级嵌套的状况，即嵌套节点中指向的上班流必定是一个不含嵌套节点的上班流。


 执行到该节点时，假设该节点处于启用形态，那么将启动该节点所援用上班流的一个新实例，待该实例执行成功后再同步更新该节点的形态。


 留意，创立子上班流时，会透传以后的高低文作为上班流的实例参数，在子上班流执行成功时集兼并子上班流的高低文至父上班流的高低文中。


 重试子上班流不会联动重试父上班流，但失败的子上班流会随着父上班流的重试而原地重试（不会生成新的实例）



 衣服尺码S/ M/ L/ XL/ XXL/ XXXXXXXX代表什么？


 S——SMALL，小号的意思。对应的身高是男165cm，女160cm。


 M——MIDDLE，中号的意思。对应的身高是男170cm，女165cm。


 L——LAGER，大号的意思。对应的身高是男175cm，女170cm。


 XL——EXTRA LARGE，特大号的意思。对应的身高是男180cm，女175cm。


 XXL——EXTRA EXTRA LARGE，超特大号的意思。对应的身高是男185cm，女180cm。


 扩展资料：


 从2009年8月1日起，中国开始全国实施统一的《GB/T 1335.1－2008 服装号型男子》、《GB/T 1335.2－2008 服装号型女子》国家标准。


 从2010年1月1日起，实施《GB/T 1335.3－2008 服装号型儿童》国家标准，它是由中华人民共和国国家质量监督检验检疫总局、中国国家标准化管理委员会发布的，为此，原来的GB1335－1997服装标准即行废止。


 新标准全套共有男子、女子、儿童3项独立标准，3项皆为推荐性标准。新标准是以身高、净体胸围、净体腰围以及腰落差作为号型命名的依据，对每一个号型列出了制作服装所必须的10个关键控制部位尺寸。


 xxl是多大尺码


 XXL的标准尺寸是185cm女的 S=155=小号，M=160=中号，L=165大号，XL=170=加大以此类推男的 S=165=小号，M=170=中号， L=175=大号，XL=180=加大号，XXL=185=加加大常用“尺码”S Small 小；S 282尺1=70CM，165cm M 292尺2=74CM，170cm L 302尺3=78CM，175cm XL 312尺4=82CM，180cm XXL322尺5=83CM， 185cm XXXL 332尺6=87CM，190cm 尺寸裤长测量方法1腰围两边；裤子XXL是指2尺5 ，即腰围83cn，臀围107cm每个人都会和标准测量有差距，具体根据实际腰围臀围购买S 282尺1=70CM，165cm M 292尺2=74CM，170cm L 302尺3=78CM，175cm XL 312尺4=82CM，180。
  
  XXL码对应A尺码，肩宽48CM，衣长74CM，体重在65kg80之间适合穿着1185是代表身高在180cm185cm左右的人穿着2104代表净胸围104CM左右的人适合穿3A字母是代表衣服的型号，而a代表的是标准；2M即为MIDDLE，中文是中间的意思3L就是LARGE，中文是大的意思另外尺码还有S即SMALL，中文是小的意思，XXL就是EXTRA EXTRA LARGE中文是超特大号的意思尺码对应的身高如下男士S对应165米，M对应170米，L；女装XXL码适合身高CM，体重6065公斤区间内的体型着装按照正常的身高与体重的对照来说，XL和XXL对于180的身高来说，都适合着装，具体要说哪个尺码更加合适些，就要参考体重体重在6575公斤区间内，建议穿。
  
  1 实际上，xxl是185码，指的是身高185厘米，胸围在126到130这一范围之内可以穿的码数2 一般指的是服装当中的大大码，xxl是英文extra extra large的缩写，表示的是特大号的意思3 常见的服装型号标法主要有s；XXL表示的是号型M表示中码，L表示大码，XL表示加大码，XXL表示加加大码，以次类推每个号型会有个一个相对应的尺寸例如XXL码来表现男上装时，和它相对应的尺寸是96A185，96A表示的是胸围，185表示的是身高服；XXL裤子是什么尺码 XXL裤子是什么尺码，大家买衣服都是要对照尺码表来买到适合自己的衣服的，那么下面大家就跟随我一起来看看XXL裤子是什么尺码的相关内容吧，欢迎大家借鉴和参考，希望对大家能有所帮助XXL裤子是什么尺码1。
  
  衣服尺码中，L，XL，XXL是国际尺码的表示方式L相当于中国码A，胸围9093厘米，腰围8084厘米，肩宽46厘米，适合身高厘米穿着XL相当于中国码A，胸围9497厘米，腰围8488厘米，肩宽48厘米，适合身高；1女装1XXL，尺码46，上装A，A2XL，尺码44，上装A，下装A3M，尺码40，上装A，下装A4L，尺码42，上装A，下装A2男装1XXL；1衣服尺寸字母SML等均表示的是号型2S表示的是小码，M表示中码，L表示大码，XL表示加大码，XXL表示加加大码，以次类推每个号型会有个一个相对应的尺寸具体可参考下图；衣服尺码xxl是180cm的个子根据我国衣服尺码标准，07码表示代码为“XXL”，07代表18米，XXL表示特大号所以xxl一般都是个子高的人穿的上装尺码中的01码表示代码为“XXS”，02码表示代码为“XS”，03码表示；80左右的人可以穿XL号身高在左右的人可以穿XXL号身高在的人可以穿XXXL号男装和女装一样不同品牌的衣服是有误差存在的，运动服装会比休闲服装尺码偏大，一切也要以肩宽胸围腰围为准。
  
  女的 M=160=中号，L=165大号，XL=170=加大，XXL=175=加加大男的M=170=中号， L=175=大号，XL=180=加大号，XXL=185=加加大常见服装有两种型号标法一是S小M中L大XL加大二是身高；XL号 180 适合身高180cm左右， 体重左右XXL号 185 适合身高185cm左右， 体重160以上。
  
  男装XXL是185的参考对应尺寸表如下这是衣服常见的标识方法之一，衣服尺寸从小到大排列是XSSMLXLXXL以此类推，X是衣服尺码的特殊代码，例如XLXXLXS等，代表extra特别的，XLextra large特大号；XXL对应的尺码是185XXL是指身高185cm，胸围在126到130能穿的码数，是服装码数中的大大码我们买衣服时经常会在衣领处或者标签上看到尺码分类，如S，M，L，而XXL是extraextralarge的缩写，是特大号的意思全国服装的。