6个机器学习可解释性框架

1、SHAP

SHapley Additive explanation (SHAP)是一种解释任何机器学习模型输出的博弈论方法。它利用博弈论中的经典Shapley值及其相关扩展将最优信贷分配与局部解释联系起来.

举例:基于随机森林模型的心脏病患者预测分类

数据集中每个特征对模型预测的贡献由Shapley值解释。Lundberg和Lee的SHAP算法最初发表于2017年,这个算法在许多不同的领域广泛采用。
在这里插入图片描述

2、LIME

可解释性领域,LIME是最早出名的方法之一。它能帮助解释机器学习模型正在学习什么以及为什么他们以某种方式预测。Lime目前支持对表格的数据,文本分类器和图像分类器的解释。

知道为什么模型会以这种方式进行预测对于调整算法是至关重要的。借助LIME的解释,能够理解为什么模型以这种方式运行。如果模型没有按照计划运行,那么很可能在数据准备阶段就犯了错误。

3、Shapash

Shapash是一个使机器学习对每个人都可以进行解释和理解Python库。Shapash提供了几种类型的可视化,显示了每个人都能理解的明确标签。数据科学家能更轻松地理解他们的模型并分享结果。最终用户可使用最标准的摘要来理解模型是如何做出判断的。

4、InterpretML

InterpretML是一个开源的Python包,它向研究人员提供机器学习可解释性算法。InterpretML支持训练可解释模型(glassbox),以及解释现有的ML管道(blackbox)。

InterpretML展示了两种类型的可解释性:glassbox模型——为可解释性设计的机器学习模型(如:线性模型、规则列表、广义可加模型)和黑箱可解释性技术——用于解释现有系统(如:部分依赖,LIME)。InterpretML还包括了explanation Boosting Machine的第一个实现,这是一个强大的、可解释的、glassbox模型,可以像许多黑箱模型一样精确。

5、ELI5

ELI5是一个可以帮助调试机器学习分类器并解释它们的预测的Python库。目前支持以下机器学习框架:

  • scikit-learn
  • XGBoost、LightGBM CatBoost
  • Keras

ELI5有两种主要的方法来解释分类或回归模型:

  • 检查模型参数并说明模型是如何全局工作的;
  • 检查模型的单个预测并说明什么模型会做出这样的决定。

6、OmniXAI

OmniXAI (Omni explained AI的简称),是Salesforce最近开发并开源的Python库。它提供全方位可解释的人工智能和可解释的机器学习能力来解决实践中机器学习模型在产生中需要判断的几个问题。对于需要在ML过程的各个阶段解释各种类型的数据、模型和解释技术的数据科学家、ML研究人员,OmniXAI希望提供一个一站式的综合库,使可解释的AI变得简单。
在这里插入图片描述

总结:各种方法的对比

在这里插入图片描述

6个框架的官方地址:

  • https://shap.readthedocs.io/en/latest/index.html
  • https://github.com/marcotcr/lime
  • https://shapash.readthedocs.io/en/latest/
  • https://interpret.ml/
  • https://eli5.readthedocs.io/
  • https://github.com/salesforce/OmniXAI

原文链接:https://cloud.tencent.com/developer/article/2136042


http://www.niftyadmin.cn/n/5161688.html

相关文章

个性化联邦学习-综述

介绍阅读的三篇个性化联邦学习的经典综述文章 Three Approaches for Personalization with Applications to Federated Learning 论文地址 文章的主要内容 介绍了用户聚类,数据插值,模型插值三种个性化联邦学习的方法。 用户聚类: 目的&a…

【最新版】ChatGPT付费创作系统V2.4.9独立版 +WEB端+ H5端 + 小程序端(支持分享朋友圈)

人类小徐提供的GPT付费体验系统最新版系统是一款基于ThinkPHP框架开发的AI问答小程序,是基于国外很火的ChatGPT进行开发的Ai智能问答小程序。当前全民热议ChatGPT,流量超级大,引流不要太简单!一键下单即可拥有自己的GPT&#xff0…

云服务器数据安全保障措施看这里!

随着互联网的快速发展,企业把越来越多的数据存储在云服务器了,随之而来的就是如何保障云服务器的数据安全。有很多小伙伴不知道怎么保障云服务器数据安全,这里我们小编就给大家来捋捋。 云服务器数据安全保障措施看这里! 1、进行…

绿色科技和可持续发展技术

一、绿色科技和可持续发展技术的定义 绿色科技和可持续发展技术是指那些利用可再生资源、减少环境污染和促进可持续发展的技术。这些技术不仅可以提高人们的生活质量,同时也可以减少对自然环境的破坏,并且能够为未来的可持续发展提供保障。 二、绿色科…

anacoda常用指令教程

查看当前的所有环境 conda info --envs -- 或 conda env list创建虚拟环境 创建一个python版本为beta的虚拟环境名为env_name的虚拟环境。 conda create -n env_name [ pythonbeta ]删除虚拟环境 conda remove -n env_name --all激活虚拟环境 conda activate env_name关闭…

2003-2022年高铁列车信息数据

2003-2022年高铁列车信息数据 1、数据:2003-2022年 2、指标:列车车次、出发站、出发站所属地级市、出发站所属省份、出发站类型、到达站、到达站所属地级市、到达站所属省份、到达站类型、车型、开车时间、到站时间、运行时间、里程 3、指标说明&…

Factuality Challenges in the Era of Large Language Models

本文是LLM系列文章,针对《Factuality Challenges in the Era of Large Language Models》的翻译。 TOC 摘要 基于大型语言模型(LLM)的工具的出现,如OpenAI的ChatGPT、微软的Bing聊天和谷歌的Bard,引起了公众的极大关…

Spring -Spring之依赖注入源码解析

依赖注入底层原理流程图:Spring中Bean的依赖注入原理| ProcessOn免费在线作图,在线流程图,在线思维导图 Spring中到底有几种依赖注入的方式? 首先分两种: 手动注入自动注入 手动注入 在XML中定义Bean时,就是手动注入&#xf…