一、因果推断与大模型

近年来，因果推断成为钻研的热点，在泛滥场景都有运行。其在数据剖析等畛域具有十分强的长处，强调因果性而非将相关性作为基本登程点，更有助于识别伪相关信息。

在建设模型时，以因果角度为登程点，模型具有更好的泛化和迁徙才干，适用泛滥业务场景。比如活动券营销优化用户转化，或许启动企业微观目的的因果探求剖析，观测不同目的之间的因果相关，为企业提供运营手腕方向的决策协助。因果效应预计和反理想推断为决策提供了有力允许。

因果推断的通常目前关键包括五方面：因果发现、因果量的识别、因果效应预计、反理想推断和战略学习。其中，因果发现和因果效应预计是以后比拟干流且容易落地的运行场景，包括Uplift模型也归属于因果效应预计的畛域。而反理想推断是业界的难点，在缺乏反理想数据的状况下，对算法的研发和场景落地的准确性都具有应战。

从去年底开局到往年终，在智能才干方面取得了质的飞跃，关于情感分类和文本摘要等义务体现出了冷艳的效果。那么，能否能将最新的大模型与因果推断相联合呢？

从才干过去剖析，随着参数量和规模的增大，大言语模型涌现出了突出的才干。上图中罗列了局部大模型涌现才干，可以助力大模型与因果推断相联合。例如，高低文才干，大模型领有在十分长的高低文context的兼容才干，有助于成功多轮对话和构建更多的大型模型才干；角色表演才干，大模型可以表演数据剖析师的角色，协助用户成功因果推断等义务，甚至可以让它表演SQL衔接终端或共享终端，用户在外面输入一些命令，即可失掉十分实在的反应。大模型带来了很多构想空间和可行性空间。

此外，大模型一个十分关键的才干是工具运行才干，包括了解API、调用API以及调用搜查引擎或许生成SQL等等，目前这些才干曾经成为普遍公认的大模型涌现才干。基于这些才干，可以将大模型的涌现才干与因果推断相衔接。

在实践名目和产品研发中，启动了探求并总结出了三条线。图中最下层包括因果发现、因果效应预计和反理想推断，可以了解成理想中因果推断的经常出现义务。最左下角是大言语模型，经过三条线，可以把两者相连。

最左边一条线是经过因果图的方式，用大模型对因果图启动增强识别。应用因果发现算法与大模型相联合，以失掉更精准的因果图。

第二条线则聚焦于Agent，应用大模型的智能基础及其工具经常使用才干，配合外部工具，综合构建一个智能代理，协助用户成功一些因果推断义务。

第三条线是ABM（agentbasemodeling）基于代理的建模，经过多个智能体之间的相互交互构成理想生存中的场景，即构成一个仿真生态，进而辅佐战略的钻研和探求。

二、大模型助力因果发现

首先来看第一种衔接方式，大模型助力因果发现。

因果发现的外围在于经过拟合的方法和实测数据找出数据特色之间的因果相关。因果发现关于某些业务场景十分适用，比如客户散失剖析，可以经过定性的方式确定客户散失的要素及外围要素。因果发现算法在实践运行当中，经常面临一些应战。比如无法观测变量的数据集，这些变量或许会影响对因果相关的探求，通常中都是在有限特色的数据下尽或许地学习实在的因果相关，以此成功因果相关的定性剖析。

上图右侧给出了一个实践案例。在一个银行ABM系统失掉的数据，构成了银行企业微观月度目的数据。经过融合多种因果发现算法协助找到数据特色之间的因果相关。

再举一个例子，假定在一次性营销活动中，业务上宿愿了解哪些特色会影响客户的购物行为，例如活动券等。经过因果发现算法，可以找到特色之间的因果相关，并发现客户能否购置。但是，在通常中依然面临一些疑问和应战：

如何将大模型与因果发现的方法相融合呢？目前正在通常中的方法如上图所示。从基础的数据中，经过多种因果发现方法，失掉初步的因果图。基于此，可以依赖于大模型的涌现才干和外部工具，对因果图启动识别、鉴别、解释和介绍，从而失掉愈加准确的因果图。

经过名目的通常和探求，总结了四个重点：因果相关的识别、因果方向的识别、因果相关的解释和因果相关的介绍，并围绕大模型的这四点才干构建了因果发现相关增强流程。在这个流程下，大模型被用来驱动各种因果推断义务，协助用户取得更精准的因果图。

对因果图中的因果相关启动鉴别与分类，应用大模型的因果辨别才干，辨别出失误的因果相关、方向同样的因果相关、不确定的相关等，而后经常使用这些分类结果来启动因果图的针对性修正。

因果方向的识别，可以应用大模型对二元因果相关的方向启动确认，这种方法可以协助用户防止找出反向的因果相关。

因果相关解读和介绍适用于那些面对生疏畛域，人工识别因果相关十分艰巨和具有应战的状况。在这种状况下，可以驳回畛域大模型来协助发现业务的正当性。

因果解读，在通常中启动建模时，假设有一个目的特色作为果特色，可以将此特色与一级或二级的因果相关提取进去，而后让大模型给出相应的因果解读，关于一些刚入行、数据了解水平有限和科研水平阅历无余的同窗来说，具有十分好的协助作用。因果相关的介绍，大模型可以基于既有阅历给出影响目的变量的关键因果相关介绍倡导，可以从因果的视角找到更外围的关键要素，进一步强化因果发现算法的准确性。

三、基于大模型代理的因果推断

接上去引见基于大模型的代理。

大模型具有很多才干，可以依据其智能才干和工具运行才干，联合外部工具，构建一个智能体代理，来协助业务用户处置疑问，或许经过指令指点智能体代理去成功所要做的很多复杂的上班。

将因果推断与智能体联合，构建了一个因果推断的智能代理，可以口头因果推断方向和畛域探求的义务。其具有的才干包括：

举一个详细例子，在营销畛域中，往往器重剖析投入产出比例，即ROI。可以经过智能代理征询数据的状况以及它具有的特色含意，并取得相应的倡导。其次，可以将ROI的计算交给智能代理，经过人造言语的方式启动外部数据输入，并启动ROI计算。九章云极开发和验证了智能代理反理想推断的才干，驳回Uplift模型对未来事情启动预测和统计剖析。假设是尝试面向决策，例如想举行一次性营销活动并估算必定的金额，可以恳求智能代理介绍相应的名单，并计算ROI。未来，智能推断的代理将成功各种畛域的义务。

智能体代理嵌入因果推断才干具有十分大的长处。相比以往企业级的建模流程，须要阅历场景需求、业务部门、建模团队和数据团队之间的沟通和加工，智能体代理以更友好的人造言语交换方式辅佐业务人员启动实时的因果推断剖析和决策，具有更好的实时性和业务友好性。因此，智能体代理的操作愈加繁难、智能，有助于提高上班效率。

四、LLM-PoweredABM助力因果推断

"LLM-PoweredABM"意为经过大言语模型模拟代理(或智能体代理),是一种具有相似人类行为的可信任的虚构实体,能够模拟人类的行为和决策,以便在虚构环境中与用户或其余代理启动交互。这种智能体代理通常被用于模拟虚构环球、仿真钻研、智能化决策和其余运行中，关于优化用户体验、社会观察钻研等有十分大的协助。

LLM-PoweredABM旨在经过以大模型为基础的ABM去助力因果推断，ABM的外围是基于智能体或代理的仿真环境建模。在过去的建模中，ABM的建模方式关键依赖于规定和专家业务阅历，但是，如今有了大模型，可以将其作为智能代理的外围，模拟人类的行为和决策，并构建一个仿真运转的生态。ABM有三个十分关键的长处：

选用LLM-PoweredABM的登程点在于它能够为因果钻研和决策钻研提供很多协助。如上图，基于大模型代理的ABM系统中包括许多不同的智能体。在智能体系统中，每个代理角色在不同的时期点会出现不共事情，系统会以人造言语方式产出多角色对话或故事。经过大模型可以对整个仿真环境发生的段落启动数据的提取。

数据特性方面，ABM环境下具有以下3个特点：

基于大模型的ABM在仿真性方面有很大的长处，每个代理可以作为一个智能体代理来做共性化的运营决策。同时，可干预性也是十分关键的长处，这象征着可以尽或许地失掉完整的数据，包括因果数据。

在名目中启动了通常和尝试，不只能够取得决策建设的因武断策因子，还可以对决策因子启动排序。最后，可以取得反理想数据和时序反理想数据，相关于现有的相关钻研，ABM的数据范围和视角有很大的长处。

相比传统的数据失掉方法，经常使用基于大模型的ABM时，数据失掉有得天独厚的长处。比如遭到老本和其余要素的限度，通常只能失掉到实在环球全量数据Global/>

举个例子，关于因果效应预计运行和启动算法钻研与评价，须要思索几个方面，首先是确定用哪些数据来启动训练，其次应用什么样的数据来评价算法的准确性，最后须要选用评价目的，以保障算法的牢靠性。

如今可以失掉更多的特色，包括以前无法失掉的客户喜好特色和家庭常识特色，都可以将它们归入模型中，因此可以经常使用全量特色启动算法钻研。在完整特色下启动评价时，可以从中提取更完整的因果相关。在评价阶段，咱们更器重失掉反理想结果并经常使用不同的评价方法。除了因果罕用的一些序目的(如AuuC和Gini)和针对回归义务的RLoss，在ABM中失掉的数据下，还可以经常使用更经常出现的Rmse等目的。在ABM下，可以将更多特色归入模型，并在取得因果相关以及相关优先级信息后，经常使用这个视角去评价得出的因果预计算法的准确性。

基于大模型ABM失掉的数据具有宽泛的运行和钻研价值，不只适用于因果推断畛域，也可以在统计剖析、机器学习、贝叶斯网络、深度学习等畛域中为咱们带来助力。

五、YLearn&CausalLab

最后，分享两个九章云极/>

YLearn因果学习软件可以协助用户成功因果推断的五个关键义务，包括因果发现、因果量的识别、因果效应预计、反理想推断和战略学习，其中也允许Uplift建模，用户可以一站式成功因果推断场景的一切义务。同时YLearn提供了十分繁复的API，大家可以随便上手通常并落地。

YLearn因果学习软件地址：。

CausalLab，交互式因果剖析框架。这个框架以YLearn作为基础，可以协助用户成功因果推断的全流程义务，包括因果发现，贝叶斯网络学习以及因果效应预计。其中十分有用的是，提供了可视化工具，可以协助用户启动因果发现的交互形式。框架融合了多种算法，并允许灵活的学习环节，从而找到更精准的业务相关，以便于构建更精准的贝叶斯网络。用户还可以对因果相关启动相应的调整和修正。最后，该框架还提供了基于校验预计的探求。

CausalLabGitHub地址：。

---

思维模型-软件吞噬世界+ 1

软件定义世界+

根据硅谷王川网文整理

1、数据是软件的燃料

软件正在吞噬世界。目前市值最大的几家公司，google, apple, amazon, facebook, 本质上都是软件公司。问题的关键是提前看清楚，未来哪一家公司的软件，吞噬的世界多一些。如果说数据是软件的燃料的话， 那么分析的一个角度也许是，哪家软件公司在关键重要的数据的采集方面占有决定性优势?

2、肉体与意识是分离的

软件吞噬世界的一个例子: 越来越多的软件，其代码和底层的硬件独立无关。当年集装箱的出现，使工业化国家的贸易额二十年内增加七倍。当程序代码在virtual machine 上运营，独立于硬件架构时，其经济影响远远大于集装箱。现在甚至许多底层的传统由硬件操作的通讯功能，都在虚拟化，转换为软件控制。

软件连接的世界，不在乎底层硬件的变化。就好像一个人的生物躯体里面的原子分子每几年都全部换过一次，但是个体人的自我意识和身份都是始终一致的。

3、员工数量角度看价值

全球最大的硬件公司，市值超千亿美元的只有三家。Intel， 十万雇员，160 billion usd. 三星， 三十二万雇员，150 billion usd. 网络器材公司 思科，usd 137 billion usd. 七万雇员。

做硬件的惠普今年市值已经缩水近四分之三，只有 22 billion usd， 三十一万雇员。做存储硬件的emc, 股价五年内没动，只有 50 billion usd， 七万雇员。 而谷歌一家软件公司，市值超过 intel + 三星 + cisco 总和， 但只有六万雇员，相当于这三者的八分之一不到。

4、虚拟世界吞噬物理世界

1. 软件吞噬硬件。2. 高级(可重复使用，应用层的)软件吞噬低级 (不可重复使用，底层的)软件。3. 虚拟世界吞噬物理世界。

5、软件吞噬世界

软件正在吞噬世界。 Software is eating the world.

这句话最初来自于风险投资家，原网景创始人Marc Andreessen, 2011年八月在华尔街日报上发表的文章. 产业被吞噬，意味着被边缘化,利润微薄,生存艰难.

让我们先看看2015年 科技 界那些软件和硬件公司.

2015 年最后一天，美国股市市值前六名的公司依次是：苹果，谷歌，微软，巴菲特的Berkshire Hathaway, 埃克森美孚石油公司和亚马逊. 它们的市值在三千亿美元到六千亿美元之间.

这里面的苹果，谷歌，微软和亚马逊，本质上都是软件公司。有的人会说苹果是卖硬件的，但苹果的iTunes，iCloud，AppStore的软件生态系统才是其掌控用户的核心所在。

曾被讥讽为一个书店晚上业余做IT, 亚马逊现在成了一个IT公司顺便也卖书.

和软件公司的独占鳌头相比，上市公司中市值超过千亿美元的硬件公司只有三家:

英特尔，市值一千六百亿美元，员工十万.

思科，市值一千三百亿美元，员工七万.

三星，市值一千六百亿美元，员工三十二万.

而作为软件公司的谷歌，市值五千多亿美元，超过上面三家硬件公司的总和，但其六万员工数，还不到上面三家公司员工数的八分之一.

成立于二战前的惠普，靠硬件起家，主营业务是电脑和打印机等硬件，营收一度是硅谷的龙头老大，有近三十万员工。但市值只有两百亿美元左右，不到一年前的三分之一.

电脑硬盘行业，九十年代的十年内，单位面积存储量增加了1000倍，但是价格却下降70%.九十年代末期，三大硬盘公司投入六十五亿美元用于研发，但大家累计亏损八亿美元。硬盘公司Western Digital 老总 Roger Johnson 称 硬盘领域是“为时最长的工业界的慈善事业”.

为什么会有这种巨大的差别？软件公司为什么在世界经济格局中独占鳌头？

极具讽刺意义的是，软件公司的兴起，正是来自于硬件成本的大幅度下降和硬件技术的标准化，模块化.

如果硬件公司不能通过硬件来推广自己的软件标准，自己就成了自己的掘墓人.

硬件成本下降的最根本动力，来自于芯片业的摩尔定律: 单位成本的芯片，其运算速度每两年翻一番。摩尔定律自1965年以来，五十年发展趋势从未被中断。

类似的技术进步速度，也体现在内存容量，互联网带宽的发展上。

2000年,Andreessen 在运营第一个云服务公司 Loudcloud 的时候，企业客户运营一个基本的互联网应用的成本是十五万美元一个月. 到2011年，同样的应用在亚马逊的云服务上一个月只需1500美元。有分析师统计，亚马逊云服务的价格过去六年下调了四十多次，以每单位Giga RAM 成本计价，每年价格下调平均超过15%.

本世纪初，通过宽带接触互联网的人口全球只有大约五千万， 2014年这个数字估计超过二十三亿，到2020年预计全球通过智能手机上网的人数将突破五十亿.

当初创公司的运营成本大幅下降，几个人开发的产品可能迅速通过移动互联网接触到几十亿潜在客户时，原先制约经济发展的硬件瓶颈已经不是主要矛盾，创造核心价值的来自于全新的软件应用.

Andreessen在他的文章中举例，美国的实体书店Borders 2001年把它的网上业务转卖给亚马逊，当时的主要逻辑是网上卖书的收入太少，不重要。十年之后, Borders 宣布破产，两百多个实体书店被迫关门。而亚马逊早已成为世界上最大的书店，大部分书籍可以通过它的 Kindle 软件瞬间传播到读者的手机上。

在美国最大的录像实体店曾经是Blockbuster，但它已经于2010年宣布破产。今天美国最大的录像店 Netflix （奈飞），本质上是个软件公司。

谷歌，作为软件公司，本质上是世界上最大的广告公司。它的崛起，加速了传统纸媒的衰落。

Uber作为一个软件公司，极大打击了传统出租车业。

Airbnb作为一个软件公司，已经对传统旅馆业务形成强劲威胁

这就是软件吞噬世界的序幕，但好戏其实刚刚开始。

硬件工程师的一个典型诘问是： 没有硬件，你的软件怎么运行？ 皮之不存，毛将焉附？

我的回答是：没有张屠户，不吃混毛猪。 硬件技术外置接口的标准化，模块化，使得其替代选择增多 。再加上摩尔定律因素的影响，其价格不断下降。

皮虽重要，但是如果毛有很多皮可以选择替代，皮的价值就没有那么高了。

虽然做硬件的很辛苦，技术含量甚至有时比应用软件高，但是并不等价于其在价值链上的地位高。 在新产品开发初期，硬件往往是技术的瓶颈，价值最高，但随着技术的进步，软件移到价值链的顶端，是必然的事情。

软件吞噬世界三段论是：

第一， 软件吞噬硬件 。

第二， 应用层的软件，吞噬模块化，标准化的底层软件 。

第三，也是最精彩的， 跨越物理边界的虚拟世界，将吞噬物理世界，创造前所未有的新价值，这里面的无限可能，将远远超越简单的软件和硬件之争。

没有深刻意识到这个趋势的发展，还死守着”实物就是财富”的价值观的人们，下面几十年可能面临巨大的文化震惊。

6、脑机接口

脑机接口的可能方案之一 (来自 neuralink 的 DJ seo) ：神经灰尘 (neural dust ), 把几千个大小为十到一百微米的硅基感知器直接撒到大脑皮质层里，皮质层外安装有三毫米大小的超声波收发器作为中继站，头骨再外置一个收发器。

应当是软件吞噬世界，物理世界很多东西变成是可以被软件抽象化后调用的一个 function call 而已。//@乐观程序员:这个技术发展下去，程序员就可以控制所有人和整个世界了……

Seth Godin:“工业 社会 是个零和 游戏 。每一个产出生成一个奖励，奖励不是管理方就是工人获得。稀缺的资源必须要分配，双方的冲突是内在结构性的。在一个连接经济里，连接产生富余。选择很多的时候，过去稀缺的东西突然变得富足。挑战来自于，要重新适应一个富足的世界。具体的说，就是思考先如何对网络做出贡献 （增加新的连接），再去想如何索取。如果你贡献的足够多，你得到的也就自然更多。”

“力量中心，正在迅速转移。从那些制造（不再稀缺的）东西的人转移到那些创造艺术建立新连接的人。工业经济不会消失，但是话语权将来自那些建立连接而不是制造零件的人。” 这可以看成软件吞噬世界的另一种说法。软件程序本质上也是建立连接。低估虚拟经济的连接威力的人，最终会被经济规律抛弃。

8、旧船票上不了新客船

1/ 人们有一个巨大的习惯倾向，就是用自己大脑固化后的抽象思维模型，判断标准，理解所有新生事物。2/ 数字相机刚出来的时候，很多人会说，数字照片质量不如胶卷冲洗出来的照片清晰漂亮，存到 PC 上很麻烦不如放到相册里收藏， 因此不看好，等等。3/ 说过这些可笑的话的人，要么已经不在了，要么自己忘了，要么不好意思承认。4/ 真正的重大转折点，来自于 iphone 的出现，把相片的管理变成一个软件应用，可以瞬时和多人分享，可以有千万种玩法。5/ 这可以看成是软件吞噬摄影业。这是不看好数字相机的人没有想到的。6/ 或者说，他们理解的软件还是低维度的单个 PC 上的 photoshop 之类的软件，而不是那种可以瞬时大规模共享的全新的软件应用。虽然都叫软件，但不是一回事。7/ 大规模共享，就增加了很多全新的维度，可以把拍摄的照片瞬时让别人的手机上的别的软件调用，这样就催生了最初发明者完全不可能想到的应用。8/ 软件吞噬世界的一个本质是，市场涌现出某种标准化的应用编程接口 API,当这个接口承载的参与者数目超过一个临界点后，这个软件系统内的效率和复杂度将会迅速超过老的系统，而且这个优势将迅速越滚越大。把自己的相册里的几十张照片与几位好友面对面分享，和几百张照片在社交媒体上和上亿人共享传播，两种体验完全不可同日而语。9/ 大规模共享的软件应用化，是一个时间很短的过程。老系统的人按照老的抽象模型，长期拘泥于“数字相机像素低，照片质量不高”这个观察维度里固步自封，以至于新的维度出现时，完全视而不见。在他们的世界里，周边环境出现了巨大不连续的跃迁。等到自己的饭碗被砸掉时，已经来不及反应了。

10/ 当很多人还在纠结电车/ 汽车 的争论时，他们没有意识到，这个 游戏 早就大局一定，下面是软件吞噬自动车的时代了。11/ 按照这个思路，软件吞噬自动车的一个发展可能性，是大量自动车，一方面彼此间可以联网实时共享路况等各种数据，一方面可以和大量车载移动商家直接联网， 然后通过自驾技术让买卖双方的车的物理距离在最短时间内降到接近于零，从而实现交易。12/ 这里面会自然涌现出一个事实上的市场份额最大的标准 API，由某家车商控制。别的车商，为了能分一杯羹，会把自己的车辆软件接口努力和这个 API 全面兼容。 然后这个 API 上会涌现出第三方开发者创造出来的各种复杂的软件应用，可以高效率地实现各种资源共享， 并形成一种新的我们无法想象的复杂而丰富的生态。13/ 这个发展过程中，出现的各种车祸，或者失败的尝试，都会被来自老的抽象模型中的反对者作为不看好的证据。14/ 类似逻辑可以想象，软件吞噬全球金融业。在这里，我们常会听到很多人说 “Visa/Master 等系统每秒钟支持的交易数目远远超过某个区块链系统”15/ 类似逻辑也可以想象，多个人脑/电脑服务器 高带宽地联网协作，形成某种新的高效生命体， 等等。

16/ 而如果以史为鉴，大部分人无法理解这种引入新维度之后的演变，只会盯着新事物在单个维度的不足，来支持自己错误的结论。等到攻守易势，大局已定时，已经没有时间和能力避开灭顶之灾了

当一个新生事物被媒体报道死过几十次，但过几个月后发现它还活着，那么背后一定有你还未理解的细节

这个“物壮则老”的壮， 应当算是一种 premature optimization

9、旧思维模型理解不了新范式

1/ 大部分基金经理 （97%以上） 长期表现 （5-10 年以上，扣除管理费用后） 落后于指数基金 （这里指标准普尔指数）的原因是这样的：2/ 如果过去他们的某个策略的表现超越指数基金，他们对于这个策略背后的逻辑的信心就加强。3/ 他们对于自己过去的成功， 有一个简化的思维模型，但是实际的逻辑远比这个更复杂。实际的逻辑，背后有各种很难观察到的假设和边界条件， 而这些假设和边界条件都可能改变。4/ 短期的策略成功，注定会吸引模仿者。模仿者涌入的初期，会给成功的策略更多正反馈，表现更好，于是强化了投资者的信念。5/ 太多模仿者的涌入，导致策略效果变差，需要增加杠杆才能维持原来的回报。6/ 过了某个临界点，支持原来逻辑的假设和边界条件改变了，原来的策略完全失效，甚至因为大量投机者迅速平仓，导致原来的策略造成巨大损失。7/ 面临这个临界点，最初信念极强的成功者往往反应会迟钝。因为其大脑形成充分强化的逻辑，有巨大的确认偏见，对于任何与其逻辑相矛盾的证据，会长时间抵触忽略。这就是基金经理落后于被动指数基金的第一个关键点。8/ 随着 社会 发展，会不断涌现出全新的大公司/投资策略， 吸引资本涌入。新公司的崛起往往会让老人困惑，因为他们的商业模式/商业逻辑不太一样。涌现出来的新的成功公司，往往有一些重要特征，不在老人的思维模型之内，因此即使直挺挺放在他面前，也完全被忽略。9/ 八十年代市场低估可口可乐，是因为没有意识到他在国际市场上扩张的潜力。同样大家对于二十年钱的Walmart 和星巴克缺乏想象力。同样对于过去五年亚马逊超越 IBM 和 Walmart 的逻辑缺乏理解力。同样，他们也会对未来超越亚马逊的新公司新组织缺乏理解力。10/ 没有搭上新范式里新公司的快车， 这是一个问题；但是如果狂妄到要以有限视角的信息和逻辑去做空新的大的成长公司，则可能致命。这就是基金经理大大落后于被动指数基金的第二个关键点。11/ 意愿不等于结果。没有任何个体对外界的理解是全面的和完全正确的.复杂系统的演变，无法用机械简单的因果逻辑来诠释。市场的 历史 经验表明，个体的意愿和结果的错位则是必然的。如果缺乏某种简单粗暴的结构性优势，普通投资经理想要长期跑赢市场指数，基本上就是白忙一场。

12/ 被动基金的最大优势在于，纠错机制是客观的/自动化的/不受任何情绪影响的。

13/ 主动投资要想长期超越诸如 SP500 指数基金，需要的是：1/扩大投资选择的空间，不仅仅是美股 2/ 引入更加客观/更接近商业本质的纠错机制 3/ 增加其它的外部的结构性优势 （比如利用自身商誉可以拿到普通人无法拿到的交易）

这很复杂。不能假设你掌握所有的信息。 过度优化是万恶之源 :)//@潜伏在欧洲:为什么要买被动基金？软件吞噬世界的时候，买美股市值最大的前五个或者前10个公司收益岂不是赚的更多？何况被动基金占比越来越多。

世间很多盲动属于巴菲特所说的 self-eutralizing :) Buffett: A number of smart people are involved in running hedge funds. But to a great extent their efforts are self-neutralizing, and their IQ will not overcome the costs they impose on investors

10、生命涌现三要素

1/ 生命涌现的三个基本要素：第一要有很强的能量来源 ； 第二要有固体形态可以存储保留信息 ； 第三要有高流动性，可以实现信息的交流/组合/计算。 2/ 这些是必要而非充分条件。3/ 太阳系里除地球外，其它行星要么是气态无法存储信息，要么是硬梆梆的一块不存在流通。只有木星，土星和天王星的的一两个卫星勉强满足这三个条件。4/ 对比到个人的发展来看：第一要多人多经济发达的地方去发展。 第二，自己的工作要能够可以记录存储下来，供以后利用。给被人打工，做一些事务性的东西，很难有记录存储的功效。钱可以看成是一种记录存贮的形式，但是如果很快就花光了，也就无法存储下来。写作，艺术创造，打造产品品牌，都可以看成是记忆存储的工作。5/ 有了存储，还必须流通，寻求和其它资源组合/创造新价值的机会。所以不断各个渠道网络去努力传播，也非常重要。6/ 能够在 “能量/存储/流通” 这三点都做到的人/公司/组织，和没有刻意做到这三点的人/公司/组织，其差别类似 有机物/无机物的差别。

7/ 可以看到，世界的发展史，就是一部： 能量摄取效率更高，存储效率更高容量更大，信息流通更快更多，生命形态更复杂的发展 历史 。

9/ 所有的专业人士都应当思考创造一些属于自己的，可以长期保存，反复引用，广泛流通的产品作品，这样才能真正实现个人的有机成长。否则不断要出售自己的时间，来换取金钱谋生，是一种痛苦的/低层级的存在。金钱有时并不是最好的信息存储方式，如果被忽悠去举债而无力偿还那就更糟糕。

流通和计算似乎本质上是一件事。东西一流通，就会自然地发生各种排列组合。所谓计算，本质就是把不同的东西（输入）用不同的方法排列组合。算法的研究，无法就是提高流通的效率而已。所谓软件吞噬世界，就是说“最高效的计算能力，将会主导世界”而已。

因果推断推荐系统工具箱 - MACR（一）

Model-Agnostic Counterfactual Reasoning for Eliminating Popularity Bias in Recommender System

为消除流行度偏差在训练模型时的影响，并且解决IPS方法很难调试、方差较大的问题。作者利用因果图，把流行度偏差归结为物品对用户反馈（评分）的直接因果影响（Natural Direct Effect)，而把用户对物品的偏好归结为用户对物品反馈（评分）的间接因果影响（Total Indirect Effect），这两部分共同组成了观测到的全部因果效应（Total Effect），在预估阶段应该利用后者对物品进行排序、推荐。然而，TIE（Total Indirect Effect）是潜在的因果效应，需要利用反事实的方法解析出来。因此，作者利用多任务学习的方法，同时估计TE、NDE，最终得到TIE。

通常推荐模型的目标是学习打分函数来预估用户对物品的偏好，并利用这个估计值排序物品，推荐相关性较高的。当前推荐模型学习的思路通常是拟合观测数据，受到流行度偏差的影响，模型会造成马太效应的加剧。IPS方法可以解决偏差问题，但是准确的估计propensity score是非常困难的。为了解决这个问题，作者从数据生成的机制的角度出发，构建如下图所示的因果图，其中分别表示，用户embedding，物品embedding，用户和物品的交互embedding以及用户-物品反馈（打分）矩阵。

作者认为用户对某个物品的评分取决于3方面，1）用户-物品元组的匹配程度；2）用户的从众程度（或者说受外界影响的程度，可能被流行度影响）；3）物品本身的流行程度（如果是评分概率，模型都是用最大似然来进行估计，那么流行度高的物品，收集到反馈的频次更多，更容易被估计为有正反馈），其因果图如上图c所示。 然而，当前很多推荐模型在建模时，只考虑了1）用户-物品元组的匹配程度，如上图a所示，导致用户-物品元组的正反馈可能性被夸大（包含了2）、3）的因素在里边）。有点同学可能会不太理解这条因果边，认为上图b足以反应物品的流行度影响。其实我也这么理解的，但是作者认为，不同用户对流行度的敏感度也是不一样的，有些用户愿意跟随潮流或者更容易受到外界的影响，因此作者加入了这条边来反应用户的流行敏感度偏差造成的估计偏差。

然而，想要在 训练 的时候兼顾上述3种影响，在 预测 时，只考虑用户-物品元组的匹配程度，需要从因果推断的角度触发，回答一系列反事实问题，最终得到“用户-物品元组的匹配程度”对“反馈（评分）”的因果效应，以此作为推荐（排序）的依据。

作者利用TE、NDE、TIE三者之间的关系，来消除流行度偏差对推荐模型预估的影响。首先，解释一下TE、NDE和TIE。观察如下因果图（为了简单先只看的影响），其中对有直接影响。同时，经过中介对有间接影响。因此，的观察值，有两种影响的诱因共同决定，即，其中是一个评分函数（可以用神经网络之类的建模）。而表示，此时的是由决定（或者说受其影响）。带入之后，是对的总影响，也就是TE。而通常我们只需要对的影响，即用户-物品元组的偏好，对反馈（评分）的影响TIE。我们很难通过有偏数据直接估计这个值，那么可以估计对的直接影响NDE，再从TE中减去这部分，得到TIE。

下面从因果的角度具体描述一下TE、NDE和TIE。TE如下图所示，可以理解为对的全部影响，可以用两个假设结果的差表示，即如果物品是或者是其他物品。值得注意的是，如上所述，会影响，间接影响，所以也会变为。这里的，通常用一个虚拟的物品表示（模型里直接就不输入物品特征，或者输入全0，又或者是均值），如Figure4的b所示。

NDE表示的是对的直接影响，可以表示为如下图所示的式子。即NDE是指，如果的取值从变为其他物品时，其对的影响有多大。并且只影响。而始终是只受的影响（始终从一个和没关系的物品计算出来的值）。听起来有点拗口，其实是假象和没关系，这种情况下随怎么变。

最终TIE可以利用两者的差来表示。

这一节先讲到这里，下一节继续讲解如何利用TIE进行建模。

个人认为这条边的建模是文章的一大亮点，以往的方法都只建模了物品本身流行度对的影响，即。然而，值得讨论的是，如作者所说，用户是受到外界影响或者说更愿意探索流行度较高的物品（俗话说就是喜欢跟风？<邪恶一笑>），才会更倾向于给流行度较高的物品高分。那么，是否应该变为？因为，本质还是物品流行度影响了用户的决策，进而影响了我们观测到的反馈（也就是我们的训练数据）？

文章中仍然利用采样的方式，得到所有物品的曝光数据是平均分布的测试数据集。在这个数据集上校验模型的性能。 这种方法是目前能够采用的比较好的离线验证方式（能够做随机试验除外）。然而，同样受到采样方法的影响，采样策略的好坏，严重影响了对模型评估的准确程度。