情报基础:从原始数据到可行情报

TL;DR

情报不仅是数据收集——它是将原始信息系统地转化为指导决策的可行见解。这篇基础文章涵盖:

  • DIKW 金字塔:数据 → 信息 → 知识 → 智慧的进步
  • 情报层次:战略、作战和战术的区别
  • 收集学科(INT):HUMINT、SIGINT、OSINT、GEOINT、MASINT、FININT
  • 情报周期:从需求到反馈的6阶段连续过程
  • 来源评估:用于评定可靠性和可信度的海军部系统
  • 认知偏见:优良情报分析的无声杀手
  • 归因挑战:为什么"谁干的"比看起来更难
  • 应用于网络威胁情报(CTI):传统情报概念如何映射到现代威胁检测

什么是情报?

情报经常被误解。它不仅是事实的积累,也不等同于数据或信息。情报代表了严格分析过程的精炼产品——将分散的数据点转化为连贯、有上下文的理解,使得人们能够做出明智的决策。

“情报是已经收集、整合、评估、分析和解释的信息。” — Joint Publication 2-0, Joint Intelligence

这种区别很重要。检测网络流量的传感器产生数据。当该数据被解析和关联后,它成为信息。当分析师确定流量模式与已知的命令控制行为相匹配时,它成为知识。当领导层使用该知识来批准防御措施或将活动归因于特殊的威胁行为者时,我们接近了智慧

关键点:情报不是真理——它是基于不完整信息的真理估计。每个情报产品都带有固有的不确定性,这就是为什么信心水平和来源评估对学科是基本性的。


DIKW 金字塔:从噪声到洞察

数据-信息-知识-智慧(DIKW)层级结构提供了一个基础框架,用于理解原始输入如何转化为可行情报。

DIKW Pyramid

数据(什么?)

原始、未处理的事实,没有上下文。在网络作战中,这包括:

  • 数据包捕获
  • 日志条目
  • 文件哈希
  • IP 地址
  • DNS 查询

数据本身回答"发生了什么?“但不提供意义。

示例192.168.1.105 connected to 45.33.32.156:443 at 03:42:17 UTC

信息(谁、何时、哪里?)

当数据被组织、结构化并给予上下文时,它成为信息。信息回答基本的疑问词。

示例:“财务部门用户 john.doe 分配的工作站 WS-105,在非营业时间与地理位置定位到俄罗斯圣彼得堡的 IP 地址建立了加密连接。”

知识(如何?为什么?)

知识从分析模式、关联多个信息源和应用专业知识中涌现。它提供对机制和动机的理解。

示例:“这种连接模式与已知的 Cobalt Strike 信标行为相匹配。目标 IP 与之前归因于 APT29 的基础设施相关联。财务部门有权访问敏感的并购文档。这可能代表了进行经济间谍活动的高级威胁行为者的初始访问。”

智慧(我们应该做什么?)

智慧将知识与经验、伦理考虑和战略背景综合起来,为决策提供信息。它实现预见和最优行动选择。

示例:“基于归因信心水平(中等)、潜在业务影响和地缘政治背景,我们建议:(1)立即隔离受影响系统的网络,(2)启动事件响应,(3)通知法律顾问关于潜在的国家行为者参与,以及(4)与可能面临类似目标的行业 ISAC 合作伙伴协调。”


可行情报的四个品质

并非所有情报都是平等创造的。有效的情报表现出四个关键特征:

品质定义反例
可行能够实现具体决策或行动“互联网上存在坏人”
及时在仍能影响结果时交付入侵后6个月到达的归因报告
相关解决消费者的具体需求向 SaaS 公司发送 ICS/SCADA 威胁情报
准确事实正确,具有适当的信心水平将商品恶意软件误归因于 APT

缩写 ATRA(Actionable、Timely、Relevant、Accurate)提供了评估情报质量的有用记忆法。


来源评估:海军部系统

Source Reliability Matrix

在任何信息成为情报之前,必须对其进行评估。情报界使用标准化评级系统来评估来源的可靠性信息的可信度

海军部/北约系统

这种双轴评估系统,也称为"6x6系统"或"北约系统”,自二战以来一直是标准:

来源可靠性(A-F)

等级描述标准
A完全可靠对来源的真实性、可信度和能力没有疑问。完全可靠的历史。
B通常可靠轻微疑虑。大多数有效信息的历史。
C相当可靠存在疑虑。过去提供过有效信息。
D通常不可靠重大疑虑。一些有效、一些无效信息的历史。
E不可靠缺乏真实性、可信度或能力。无效信息的历史。
F无法判断没有评估可靠性的基础。新的或未知的来源。

信息可信度(1-6)

等级描述标准
1已确认由独立来源确认。逻辑上与其他信息一致。
2可能真实未确认,但逻辑上与其他信息一致。
3或许真实未确认。合理逻辑但有限的佐证。
4存疑真实未确认。可能但不合逻辑。没有其他信息支持。
5不太可能未确认。不合逻辑。被其他信息矛盾。
6无法判断没有评估可信度的基础。

实际应用

评估示例:

来源:地下论坛用户 "xShadowBrokerx"(活跃3年,
      验证过的销售历史,之前准确的泄露)
信息:声称即将针对医疗行业的勒索软件活动

评估:B2
- 来源可靠性:B(通常可靠)- 已建立的存在,跟踪记录
- 信息可信度:2(可能真实)- 与观察到的威胁
  格局一致,未独立确认

为何重要:没有来源评估,您无法为您的评估分配信心水平。将 B1 来源与 E5 来源同等对待的分析师将产生垃圾情报。

网络特定考虑

在 CTI 中,来源评估扩展到:

来源类型可靠性因素
威胁情报馈送供应商声誉、更新频率、误报率
暗网论坛账户年龄、声誉评分、验证交易
恶意软件样本提交来源、沙箱环境、分析深度
OSINT出版物可信度、作者专业知识、佐证
技术指标收集方法、年龄、上下文

认知偏见:无声杀手

Cognitive Biases

情报失败很少是因为缺乏信息——它们是分析失败。认知偏见是影响决策和判断的系统性思维错误。

“我们看到我们期望看到的,而不是那里实际存在的。” — Richards Heuer, Psychology of Intelligence Analysis

情报分析师的关键偏见

确认偏见

定义:寻求、解释和记住确认先前信念的信息。

历史示例:伊拉克大规模杀伤性武器评估(2002-2003)。分析师关注支持大规模杀伤性武器计划存在的信息,同时忽视矛盾证据。萨达姆·侯赛因必须拥有大规模杀伤性武器的假设导致了对模糊数据的选择性解释。

缓解措施:魔鬼代言人、竞争假设分析(ACH)


锚定偏见

定义:过度依赖遇到的第一条信息(“锚”)。

CTI 中的示例:对特定威胁行为者的初始归因成为锚。所有后续证据都通过该视角来解释,即使它应该促使重新考虑。

缓解措施:明确记录初始假设,定期重新审视它们


镜像成像

定义:假设对手在其情况下会像我们一样思考和行动。

历史示例:珍珠港(1941)。美国分析师假设日本不会攻击,因为考虑到美国的军事优势,这将是"非理性的"。他们未能理解日本的战略计算。

缓解措施:红队分析、文化专业知识


群体思维

定义:群体内的从众压力抑制了不同意见和替代分析。

历史示例:猪湾事件(1961)。CIA 策划者说服自己入侵会成功;不同意见被压制或排除。

缓解措施:结构化异议(分配"魔鬼代言人"角色)、匿名反馈


可用性启发法

定义:过度强调容易想到的信息(最近的、戏剧性的或亲身经历的事件)。

CTI 中的示例:在高调的勒索软件攻击之后,分析师可能会将后续事件过度归因于同一行为者,因为该威胁最容易想到。

缓解措施:基础率分析、结构化检查清单


结构化分析技术(SAT)

情报界专门开发了 SAT 来对抗认知偏见:

技术目的何时使用
竞争假设分析(ACH)系统地根据证据评估多种解释归因、复杂评估
关键假设检查识别和审查基本假设任何重大评估
红队分析像对手一样思考威胁评估、脆弱性分析
魔鬼代言人反对主流观点在最终确定评估之前
指标与预警(I&W)定义会信号变化的可观察事件监控、预测

注意:详细的 SAT 方法论将在本系列的第1部分中介绍。


情报层次:战略、作战、战术

情报需求和产品根据消费者的决策视野而有显著不同。

Intelligence Levels

战略情报

  • 受众:高管、董事会、政策制定者
  • 视野:12-36个月
  • 焦点:威胁格局趋势、风险态势、投资优先级、地缘政治转变
  • 示例:“国家行为者越来越针对我们行业的供应链。我们建议使关键供应商多样化并实施额外的第三方风险控制。”

作战情报

  • 受众:安全经理、IR 团队、Hunt 团队
  • 视野:数周到数月
  • 焦点:活动分析、威胁行为者画像、TTP 演变、基础设施模式
  • 示例:“APT41 在第四季度从自定义恶意软件转向 living-off-the-land 技术。Hunt 团队应优先检测 LOLBins 滥用。”

战术情报

  • 受众:SOC 分析师、检测工程师、事件响应人员
  • 视野:数小时到数天
  • 焦点:IOC、检测签名、具体 TTP、即时响应程序
  • 示例:“阻止哈希 abc123...、IP 45.33.32.156,并监控使用 schtasks.exe /create 的计划任务持久性。”

关键洞察:组织经常过度投资于战术情报(IOC 馈送),而对战略和作战情报投资不足。IOC 本质上是易腐烂的——它们代表攻击的工件,而不是行为。成熟的情报计划平衡所有三个层次。


情报收集学科(“INT”)

情报收集被组织成专门的学科,每个学科都有独特的来源、方法和分析要求。这些学科统称为"INT"。

Intelligence Disciplines

主要收集学科

HUMINT(人力情报)

定义:通过人际接触从人类来源获得的情报。

来源

  • 线人和特工
  • 外交报告
  • 旅行者汇报
  • 叛逃者
  • 审讯
  • 引导(网络背景下的社会工程)

特征

  • 最古老的情报学科(可追溯到古代)
  • 提供意图和动机(“为什么”)
  • 高价值、高风险
  • 难以规模化
  • 容易受到欺骗和双重间谍的影响

网络应用:在地下论坛与威胁行为者互动、在犯罪组织中招募线人、社会工程评估、内部威胁计划。

来源评估挑战:人类来源可能被策反、欺骗或有自己的议程。佐证是必不可少的。


SIGINT(信号情报)

定义:从信号拦截中获得的情报,包括通信和电子发射。

子学科

缩写名称焦点
COMINT通信情报语音、文本、消息拦截
ELINT电子情报非通信信号(雷达、遥测)
FISINT外国仪器信号情报武器系统、空间飞行器遥测

特征

  • 技术性、可扩展的收集
  • 数量创造分析挑战
  • 加密是重大障碍
  • 提供通信模式和内容
  • 法律框架因司法管辖区而异

网络应用:网络流量分析、恶意软件 C2 协议分析、加密流量元数据分析、被动 DNS 收集。


OSINT(开源情报)

定义:从公开可用来源获得的情报。

来源

  • 媒体(印刷、广播、在线)
  • 学术出版物
  • 政府报告和文件
  • 社交媒体
  • 商业数据库
  • 技术文档
  • 会议记录
  • 法院记录
  • 专利申请

特征

  • 可访问且成本效益高
  • 数量需要复杂的过滤
  • 验证挑战(错误信息、虚假信息)
  • 估计提供 60-80% 的情报需求
  • 收集合法,但仍有伦理和法律考虑

网络应用:威胁行为者研究、漏洞情报、泄露凭证监控、品牌保护、攻击面映射。

法律/伦理考虑

  • 隐私法:GDPR、CCPA 和其他法规可能限制个人数据的收集和处理
  • 服务条款:抓取可能违反平台 ToS
  • 注意义务:收集的信息可能揭示处于风险中的个人
  • 负责任披露:漏洞信息需要谨慎处理

GEOINT(地理空间情报)

定义:从图像和地理空间信息分析中获得的情报。

来源

  • 卫星图像(光学、雷达、多光谱)
  • 航空摄影
  • 地图数据
  • 基于位置的服务
  • 地理位置元数据

特征

  • 提供物理背景
  • 商业可用性已使访问民主化
  • 时间分析揭示模式
  • 与其他 INT 的整合增强价值

网络应用:物理基础设施映射、数据中心识别、供应链验证、归因支持(关联物理和网络活动)。


MASINT(测量与特征情报)

定义:从传感仪器获得的数据分析中获得的情报,用于识别与来源、发射器或发送者相关的独特特征。

焦点领域

  • 雷达特征
  • 声学特征
  • 核辐射
  • 化学/生物检测
  • 光谱分析
  • 材料分析

特征

  • 高度技术性
  • 需要专门的传感器
  • 提供独特的识别能力
  • 经常补充其他 INT

网络应用:电磁辐射分析(TEMPEST)、侧信道攻击、硬件指纹识别。


其他学科

INT全称焦点
FININT金融情报货币交易、制裁规避、洗钱、加密货币追踪
SOCMINT社交媒体情报社交平台分析、影响力操作、人物归因
TECHINT技术情报外国武器和设备分析、恶意软件逆向工程
IMINT图像情报GEOINT 中专注于图像分析的子集
MEDINT医学情报健康相关情报、生物威胁、大流行监测

关于 “CYBINT” 的说明:虽然有时在口语中使用,但 CYBINT 不是正式认可的独立学科。网络情报通常代表应用于网络领域的 SIGINT、OSINT、HUMINT 和 TECHINT 的"全源"融合。


情报周期

情报周期描述了原始信息如何转换为成品情报并交付给消费者的过程。虽然存在各种模型,但六阶段模型被广泛采用:

Intelligence Cycle

阶段1:需求(规划与指导)

情报始于一个问题。需求定义:

  • 优先情报需求(PIR):领导层需要回答的关键问题
  • 基本信息要素(EEI):解决 PIR 所需的具体数据点
  • 收集重点:优先考虑哪些 INT
  • 情报缺口:我们不知道但需要知道的内容

示例 PIR:“未来12个月最有可能针对我们组织的威胁行为者是谁,他们使用什么 TTP?”

常见失败点:太模糊(“告诉我关于威胁的信息”)或太狭窄(遗漏新兴威胁)的需求。

阶段2:收集

使用适当的 INT 系统地收集原始信息。有效的收集:

  • 与定义的需求保持一致
  • 采用多个 INT 进行佐证
  • 记录来源和方法
  • 保持监管链
  • 识别收集差距

收集管理涉及根据众多需求对有限的收集资产进行优先排序。不可能收集所有内容——需要权衡。

阶段3:处理(利用)

原始收集的材料被转换为可用形式:

  • 翻译
  • 解密
  • 格式转换
  • 数据规范化
  • 重复数据删除
  • 初步验证
  • 来源评估

阶段4:分析(生产)

情报工作的智力核心。分析涉及:

  • 多来源关联
  • 模式识别
  • 假设开发和测试
  • 结构化分析技术(SAT)的应用
  • 可靠性和可信度评估
  • 信心水平分配
  • 成品情报产品的生产

分析严谨性:专业分析采用 SAT 来减轻认知偏见并确保可辩护的结论。没有信心水平和支持推理的评估是意见,而不是情报。

阶段5:分发

成品情报必须通过适当的格式和安全渠道到达消费者:

  • 书面报告(评估、简报)
  • 警报和通知
  • 机器可读馈送(STIX/TAXII)
  • 仪表板和可视化
  • 口头简报

关键原则:无论多么准确,未能在正确的时间到达正确的人的情报是无用的。

阶段6:反馈(评估)

消费者提供关于以下方面的反馈:

  • 与他们需求的相关性
  • 交付的及时性
  • 建议的可行性
  • 准确性(随时间)

此反馈完善未来的需求,完成周期。


归因:信心谱

归因——确定谁对某一行动负责——是情报工作中最具挑战性的方面之一,特别是在网络领域。

为什么归因困难

挑战描述
假旗行动对手故意植入指向他人的证据
共享工具多个行为者使用相同的恶意软件家族(Cobalt Strike、Mimikatz)
代理操作承包商、雇佣犯罪分子模糊了真正的赞助者
基础设施重叠共享托管、防弹提供商、被入侵的系统
并行开发类似的 TTP 可能独立出现
故意混淆APT28 与 APT29 有重叠的操作

归因信心水平

水平描述基础
我们以高度信心评估…多个独立来源、跨 INT 的佐证证据、与已知模式一致
我们以中等信心评估…来自较少来源的良好证据、一些分析差距、总体一致
我们以低信心评估…有限的证据、重大差距、可能但不确定

关键点:即使"高信心"也不是确定性。2002年伊拉克大规模杀伤性武器 NIE 以"高信心"评估伊拉克有大规模杀伤性武器计划——结果是错误的。

实践中的归因

现实世界的归因很少产生明确的答案:

示例 - 更好的归因声明:

“我们以中等信心评估 APT29 对此入侵负责,基于:(1)与之前归因于 APT29 的操作的基础设施重叠,(2)与记录的 APT29 剧本的 TTP 一致性,以及(3)与俄罗斯战略利益的目标一致性。然而,我们不能排除复杂假旗行动、共享工具或承包商参与的可能性。考虑的替代假设包括 APT28 和与俄罗斯有关联的犯罪行为者。”

这比简单地说"APT29干的"更诚实——也更有用。


应用于网络威胁情报(CTI)

传统情报框架直接映射到网络威胁情报:

传统概念CTI 应用
PIR“哪些勒索软件团体针对我们的行业?”
HUMINT暗网论坛参与、内部威胁计划
SIGINT网络流量分析、C2 协议研究
OSINT威胁行为者博客、粘贴站、代码仓库
GEOINT基础设施地理定位、数据驻留合规
来源评估威胁馈送质量评估、指标信心
情报周期CTI 计划运营
认知偏见分析师培训、结构化分析

痛苦金字塔

David Bianco 的痛苦金字塔(2013)说明了指标类型与当这些指标被拒绝时对手的成本之间的关系:

Pyramid of Pain

层次指标类型对手痛苦备注
顶部TTP非常困难!必须改变行为、tradecraft
工具有挑战性必须寻找/开发新工具
主机工件恼人注册表键、文件路径、互斥体
网络工件恼人URI 模式、C2 协议、JA3
域名简单DNS 便宜,但需要设置
IP 地址容易基础设施是可替代的
底部哈希值微不足道重新编译 = 新哈希

关键洞察:专注于战术、技术和程序(TTP)而非原子指标检测的组织为对手创造了显著更高的成本。这与 MITRE ATT&CK 框架的基于行为的方法一致。


案例研究:从数据到情报

让我们追踪原始数据如何通过适当的分析过程成为可行情报:

数据

timestamp: 2024-11-15T03:42:17Z
src_ip: 192.168.1.105
dst_ip: 45.33.32.156
dst_port: 443
bytes_out: 2847
bytes_in: 156892

信息

  • 来源:工作站 WS-105(财务部门,用户:john.doe)
  • 目的地:IP 地理定位到俄罗斯圣彼得堡
  • 提供商:有记录滥用历史的 VPS 提供商
  • 时间:03:42 UTC(美国东海岸非营业时间)
  • 流量模式:小请求、大响应(可能的数据外泄或信标签到)

分析过程

步骤1:来源评估

  • 网络遥测:A1(我们自己的传感器,原始数据)
  • 目的地 IP 的威胁情报:B2(信誉良好的供应商,未独立确认)
  • ISAC 报告:C2(同行报告,细节有限)

步骤2:假设生成

  1. 恶意 C2 通信(APT)
  2. 恶意 C2 通信(犯罪)
  3. 合法但不寻常的业务活动
  4. 被入侵的第三方应用程序
  5. 误报(CDN、云服务)

步骤3:证据评估

证据H1 (APT)H2 (犯罪)H3 (合法)H4 (第三方)H5 (误报)
俄罗斯 IP+++-NN
非营业时间++-NN
流量模式++++N+-
之前的鱼叉钓鱼+++N
ISAC 关联++NN
财务部门目标+++NNN

步骤4:评估

应用 ACH 方法论后:

我们以中等信心评估此活动代表高级威胁行为者的命令控制通信,可能是 APT29 或附属实体。此评估基于:与之前归因操作的基础设施关联(B2)、与记录的国家行为者剧本的 TTP 一致性、与经济间谍目标的目标一致性,以及行业同行报告的佐证活动。

替代假设:犯罪行为者(可能但与目标不太一致)、被入侵的第三方软件(需要额外调查)。

关键假设:目的地 IP 的威胁情报归因是准确的;鱼叉钓鱼电子邮件是初始向量。

情报缺口:未恢复恶意软件样本;对横向移动的可见性有限。

智慧

建议

  1. 启动事件响应程序(高优先级)
  2. 保留取证证据以供潜在的执法参与
  3. 就国家行为者归因影响咨询法律顾问
  4. 与行业 ISAC 协调(共享指标、请求额外上下文)
  5. 向执行领导层简报潜在的业务影响
  6. 扩展企业范围内相关 TTP 的检测
  7. 审查具有财务访问权限的第三方应用程序

展望未来

这篇基础文章建立了情报操作的概念框架。本系列的后续文章将提供更深入的探讨:

  • 第1部分:OSINT 深度探讨 — 来源、工具、tradecraft 和法律考虑
  • 第2部分:SIGINT 基础 — 从射频到数据包
  • 第3部分:网络操作中的 HUMINT — 社会工程及更多
  • 第4部分:网络的 GEOINT — 物理-数字融合
  • 第5部分:结构化分析 — ACH、红队和认知偏见缓解

术语表

术语定义
ACH竞争假设分析 - 评估多种解释的结构化技术
COMINT通信情报 - SIGINT 的子集
CTI网络威胁情报
EEI基本信息要素
ELINT电子情报 - SIGINT 的子集
FININT金融情报
GEOINT地理空间情报
HUMINT人力情报
I&W指标与预警
IMINT图像情报
INT情报学科
IOC入侵指标
ISAC信息共享与分析中心
MASINT测量与特征情报
OSINT开源情报
PIR优先情报需求
SAT结构化分析技术
SIGINT信号情报
SOCMINT社交媒体情报
TECHINT技术情报
TTP战术、技术和程序

参考文献和进一步阅读

官方出版物

  • Joint Publication 2-0: Joint Intelligence (US DoD)
  • Intelligence Community Directive 203: Analytic Standards
  • Intelligence Community Directive 206: Sourcing Requirements
  • NIST SP 800-150: Guide to Cyber Threat Information Sharing

基础文本

  • Heuer, R. (1999). Psychology of Intelligence Analysis — 认知偏见的必读书籍
  • Lowenthal, M. (2019). Intelligence: From Secrets to Policy — 综合概述
  • Clark, R. (2019). Intelligence Analysis: A Target-Centric Approach — 现代分析方法

历史案例研究

  • Wohlstetter, R. (1962). Pearl Harbor: Warning and Decision — 情报失败的经典研究
  • Jervis, R. (2010). Why Intelligence Fails — 伊拉克大规模杀伤性武器评估失败分析

CTI 特定资源


本文是情报基础系列的一部分。该系列旨在将传统情报tradecraft与现代网络威胁情报操作联系起来。

问题、更正或反馈?在 GitHub 上开一个 issue 或通过联系页面联系我们。


更新日志:

  • v1.1:添加了来源评估部分、认知偏见部分、归因信心水平,扩展了法律/伦理考虑,更正了痛苦金字塔结构,添加了术语表
  • v1.0:初始发布