此前，谷歌发布的语言模型Gemini似乎在与OpenAI的GPT模型的竞争中处于劣势。最近来自斯坦福大学和Meta的研究人员发表的一篇本文对Gemini进行了重新评估，认为其常识推理能力实际上并不逊色于GPT-4。

Gemini的弱点

此前，谷歌的GeminiPro在常识推理任务中被发现落后于OpenAI的GPT模型。CMU发表的本文和实验也证明了GeminiPro的许多能力略微落后于GPT-3.5Turbo。

新的评估

斯坦福大学和Meta的研究人员认为，基于有限数据集（HellaSWAG）的评估无法完全捕捉到Gemini的真正常识推理潜力。因此，他们设计了需要跨模态整合常识知识的任务，以对Gemini在复杂推理任务中的表现进行更彻底的评估。

研究人员对12个常识推理数据集进行了全面分析，涵盖一般任务和特定领域任务。他们发现，在4个大语言模型（LLM）实验和2个多模态语言模型（MLLM）实验中，Gemini表现出了相当强的常识推理能力。

与其他模型的比较

研究人员评估了当前流行的四个大模型：Llama2-70b、GeminiPro、GPT-3.5Turbo和GPT-4Turbo。他们发现，GeminiPro的性能与GPT-3.5Turbo相当，但准确性落后于GPT-4Turbo。

数据集和方法

实验中使用了12个与不同类型常识推理相关的数据集，包括11个基于语言的数据集和一个多模态数据集。基于语言的数据集包括一般推理、专业推理、社会和道德推理等问题类型。

研究人员对所有数据集采用准确性作为性能指标。他们从每个验证集中随机选择了示例，并在模型响应生成期间采用贪婪解码。

结论

斯坦福大学和Meta的研究人员的重新评估表明，Gemini的常识推理能力可能被低估了。基于更复杂的任务和更全面的数据集，Gemini的表现与GPT-4相当，表明其在复杂推理任务中的潜力。

研究人员也指出，模型的性能可能因具体任务和提示设置而异，因此需要进一步的研究来全面了解模型的优势和劣势。

垂直搜索与比较搜索有什么区别吗？

你问的这个网站：应该算是比较搜索，不过他将各个搜索结果分类了，也有点类似与垂直搜索！至于垂直搜索与比较搜索的区别：垂直搜索：针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。 比较搜索：针对某一关键词有比较性的向用户呈现搜索结果！就像货比三家一样，比较搜索的结果会更让人明了！回答这么认真应该把分子给俺吧！参考资料：

搜索引擎是数据库吗

1.全文索引全文搜索引擎是名副其实的搜索引擎，国外代表有Google，国内则有著名的网络搜索。 它们从互联网提取各个网站的信息(以网页文字为主)，建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。 根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的检索程序(Indexer)，俗称“蜘蛛”(Spider)程序或“机器人”(Robot)程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和网络就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。 2.目录索引目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。 用户完全可以按照分类目录找到所需要的信息，不依靠关键词(Keywords)进行查询。 目录索引中最具代表性的莫过于大名鼎鼎的Yahoo！、新浪分类目录搜索。 3.元搜索引擎元搜索引擎(META Search Engine)接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。 著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。 在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo