Overview

Detection Approaches

Morphing the Gameboard

Subsystem Attacks

Epilogue

Sources

Using a Novel Behavioral Stimuli-Response

Framework to Defend against Adversarial

Cyberspace Participants

Daniel Bilar ∗

Brendan Saltaformaggio †

∗ Director of Research

Siege Technologies

Manchester, New Hampshire, USA

† Department of Computer Science

University of New Orleans

New Orleans, Louisiana, USA

3

rd

International Conference on Cyber Conflict

Cooperative Cyber Defence Centre of Excellence

Tallinn, Estonia

June 8, 2011

Overview

Detection Approaches

Morphing the Gameboard

Subsystem Attacks

Epilogue

Sources

Siege Technologies (Manchester, NH, USA)

Who We Are

Company Founded in 2009. Privately held R&D company with offices
in Manchester (NH), Reston (VA) and Rome (NY). Founders have 85
years of combined contractor or government experience
Focus Computer Security, Information Operations, Information
Warfare, Computer Network Operations
People 10 scientists/engineers, half of which are PhDs (practitioners,
not just eggheads)

Whom We Work With

DoD, Intelligence Community, and commercial entities

What We Do

Advanced System Testing / Red Teaming, Defense Engineering,
Software Development and Analysis, Code Analysis / Reverse
Engineering, Special Application Support, Hypervisors

Overview

Detection Approaches

Morphing the Gameboard

Subsystem Attacks

Epilogue

Sources

Speaker

A bit about me

Domicile Born in the US, grew up in Germany, France, Switzerland. Came to
the US for post-secondary studies (BA, M.Eng. PhD, post-doc)
Education Business, law, economics; philosophy, theology, history, political
science, computer science; operations research, industrial engineering,
engineering sciences
Work White goods salesman, software engineer, financial analyst, law and
engineering consultant, university professor, research director

General Research Area: Security Studies

Background As PhD student, founding member of the Institute for Security
and Technology Studies at Dartmouth (counter-terror, defense research for
US DoJ and US DHS)
Security Studies Solutions cannot be mere math/technical - must span
different dimensions such as psychology, technology, computer science,
operations research, history, law, sociology and economics. See (good & bad)
Aaron Barr
Previous Academic Funding AFRL, DoD/NSA, Navy SPAWAR, LA BoR /
NASA

Overview

Detection Approaches

Morphing the Gameboard

Subsystem Attacks

Epilogue

Sources

Talk Roadmap

Status Quo

Classic AV byte-pattern matching has reached a dead end with modern malware.
AV is in practice almost useless - dirty secret known to practitioners for a decade.

Why? Problem Setup Favors Adversary

They pose hard problems Through design dissimulation techniques, their
functionality and intent difficult to ascertain
We are easy Targets situated on a predominantly WYSIWYG “gameboard”

→ Defenses forced to solve time-intensive (minutes, hours, days) halting-type
problems 
while adversarial cyberspace participants do not
Hence, have to turn tables to achieve acceptable (subsecond, seconds) response times

Autonomous Baiting, Control and Deception (ABCD)

Inversion of Problem Setup Morph adversary’s view of gameboard, increase
adversarial participant’s footprint, noise levels, effectiveness, decision complexity
Bait, Control and Deceive Repeated dynamic stimuli-response game, framework
decides probabilistically nature of participant and engages appropriate defensive
measures
End vision AI-assisted, sub-second decision cycle, autonomic framework that
probabilistically determines, impedes, quarantines, subverts, possibly attributes and
possibly inoculates against suspected adversarial cyberspace participants

Overview

Detection Approaches

Morphing the Gameboard

Subsystem Attacks

Epilogue

Sources

Detection Rates: Malware Increasingly Resistant

Bad: Empirical AV Results

Report Date

AV Signature Update

MW Corpus Date

False Negative (%)

2011/05

Feb. 22nd

Feb. 23rd -Mar. 3rd

[39-77]

2011/02

Feb. 22nd

Feb. 10th

[0.2-15.6]

2010/011

Aug. 16th

Aug. 17th -24th

[38-63]

2010/08

Aug. 16th

Aug. 6th

[0.2-19.1]

2010/05

Feb. 10th

Feb. 11th -18th

[37-89]

2010/02

Feb. 10th

Feb. 3rd

[0.4-19.2]

2009/011

Aug. 10th

Aug. 11th -17th

[26-68]

2009/08

Aug. 10th

Aug. 10th

[0.2-15.2]

2009/05

Feb. 9th

Feb. 9th -16th

[31-86]

2009/02

Feb. 9th

Feb. 1st

[0.2-15.1]

2008/11

Aug. 4th

Aug. 4th -11th

[29-81]

2008/08

Aug. 4th

Aug. 1st

[0.4-13.5]

2008/05

Feb. 4th

Feb. 5th -12th

[26-94]

2008/02

Feb. 4th

Feb. 2nd

[0.2-12.3]

Table: Empirical miss rates for 9-16 well-known AV products. After freezing update signatures for
one week

, best AV missed between 30-40 % of new malware, the worst missed 65-77 %

Worse: Theoretical Findings

Detection of interactive malware at least in complexity class NP

NP

NPoracle
oracle

[EF05, JF08]

Blacklisting Deadend Infeasibility of modeling polymorphic shellcode [YSS07]

Overview

Detection Approaches

Morphing the Gameboard

Subsystem Attacks

Epilogue

Sources

1

st

Fingerprint: Win32 API Calls

Synopsis: Look at Frequency of Calls

Observe and record Win32 API calls made by malicious code during
execution, then compare them to calls made by other malicious code
to find similarities

Goal

Classify malware quickly into a family
Set of variants make up a family

Main Result (2005) [Rie05]

Simple (tuned) Vector Space Model yields over 80% correct
classification
Behaviorial angle seems promising

Overview

Detection Approaches

Morphing the Gameboard

Subsystem Attacks

Epilogue

Sources

2

nd

Fingerprint: Opcode Frequency

Synopsis: Look at Machine Instruction Makeup

Statically disassemble the binary, tabulate the opcode frequencies and
construct a statistical fingerprint with a subset of said opcodes

Goal

Compare opcode fingerprint across non-malicious software and
malware classes for quick identification purposes

Main Result (2006) [Bil07b]

For differentiation purposes, infrequent opcodes explain more data
variation than common ones
Static makeup Not good enough as discriminator.
Exacerbating: ROP [RBSS09][CSR10], ‘malicious computation’ (Sept.
2010: Adobe 0-day CVE-2010-2883 used ROP attack to bypass DEP)

Overview

Detection Approaches

Morphing the Gameboard

Subsystem Attacks

Epilogue

Sources

3

rd

Fingerprint: Callgraph Properties

Synopsis: Look at Control Flow

Represent executables as callgraph, and construct graph-structural
fingerprint for software classes.
Callgraph is relationship-graph of function calls

Goal

Compare ‘graph structure’ fingerprint of unknown binaries across
non-malicious software and malware classes

Main Result (2007) [Bil07a]

Malware tends to have a lower basic block count, implying a simpler
functionality: Limited goals, interaction → fewer branches
Behavioral Angle Leverage simpler decision structure to ‘outplay’
malware?

Overview

Detection Approaches

Morphing the Gameboard

Subsystem Attacks

Epilogue

Sources

Callgraph: sub_402400 (Backdoor.Win32.Livup)

Figure: Callgraph of sub_402400: Indegree 2, outdegree 6

Metrics Collected

Total function count of
executable
Indegree of functions (for
sub_402400 two callers)
Outdegree of functions (for
sub_402400 six callees )
Function ‘type’ as normal,
import, library, thunk
In- and out-degree of a
given function

Overview

Detection Approaches

Morphing the Gameboard

Subsystem Attacks

Epilogue

Sources

Flowgraph: sub_402400 (Backdoor.Win32.Livup)

Figure: Backdoor.Win32.Livup.c: Flowgraph of sub_402400,

consisting of six basic blocks. The loc_402486 basic block is

located in the middle of the flowgraph given above. It consists

of 16 instructions, of which two are calls to other functions

Metrics Collected

Basic block count of
function
Instruction count of a
given basic block

Example: loc_402486

402486 push ( 0 x4143E4 , 4 2 7 7 2 2 0 )
40248B push ebx
40248C lea eax ss esp + va r _ 1 4 ]
402490 push eax
402491 mov ss ebp + ( 0 x14 , 2 0 ) ] , edi
402494 mov ss ebp + ( 0 x18 , 2 4 ) ] , edi
402497 c a l l cs sub_402210
40249C push eax
40249D lea ecx ss ebp + ( 0 x1c , 2 8 ) ]
4024A0 mov byte ss esp + va r _ 4 ] , byte 2
4024A5 c a l l cs sub_401570
4024AA mov eax ss esp + va r _ 1 4 ]
4024AE mov edx ds [ o f f _ 4 1 9 0 6 4 ]
4024 B4 lea ecx ds eax + ( 0 xF4 , 4 2 9 ) ]
4024 B7 cmp ecx edx
4024 B9 j z byte cs l o c _ 4 0 2 4 D9