From Dense Foundation Models to Ultra-Sparse Biological Connectomes
In deep learning, mechanistic interpretability has progressed from passive activation probing to active weight-space programming: locating causal directions or functional circuits inside raw parameter matrices and editing weights directly in place without gradient descent (ROME, MEMIT, refusal abliteration, Takehi et al. 2026). However, dense Transformer layers suffer from polysemantic superposition: because dense matrices pack many unrelated features into shared parameter rows, large rank-1 weight edits inevitably perturb co-localized capabilities and spike perplexity.
Biological brains occupy a radically different architectural regime. The adult Drosophila melanogaster central brain connectome (FlyWire FAFB v783; 138,639 neurons and 15,091,983 directed edges) has a graph density of just ρ = 7.85 × 10−4 (99.92% sparse) and routes sensory signals through anatomically segregated neuropil relays onto dedicated descending bottleneck neurons (DNa01/02, DNg97, DNp01, MDN, DNg62, MN9).
Yet static electron microscopy (EM) connectome simulations confront the classic structure–function gap: raw EM synapse counts Nsyn(u, v) omit (1) physiological asymmetries in presynaptic vesicular release probability (Gaudry et al., Nature 2013) and (2) state-dependent neuromodulatory relief of tonic inhibitory clamps.
① Potentiation (γexc > 1)
Selectively amplifies excitatory synaptic efficacy We ← clip(round(γexc · We(0)), 1, 32767) along isolated k-hop sensory-to-descending bridges, compensating for EM fan-out dilution and asymmetric release probability.
② Abliteration (We ← 0)
Analogous to LLM refusal erasure, zeroing out specific excitatory terminal synapses onto command bottlenecks (e.g., 1,692 edges onto DNp01/MDN) surgically erases an innate survival instinct while leaving visual perception intact.
③ Clamp Disinhibition (W− ← 0)
By ranking edges via spike-weighted inhibitory flux Φu→v = su · Wuv < 0, we uncover tonic inhibitory clamp neurons (such as #112815 → #904, DNg62 clamps, and MN9 gates) whose surgical release unlocks dormant behavioral modules.
밀집 인공신경망(LLM)에서 초희소 생물학적 커넥톰으로의 확장
최근 딥러닝의 기계적 해석가능성(Mechanistic Interpretability) 연구는 은닉층의 활성화를 수동적으로 관찰하는 단계를 넘어, 가중치 행렬 내부에서 인과적 부분공간이나 기능 회로를 직접 찾아내어 경사하강법 없이 파라미터를 수정하는 가중치 공간 프로그래밍(Weight-Space Programming)으로 발전하고 있습니다(ROME, MEMIT, 거절 행동 소거 Abliteration, Takehi et al. 2026). 그러나 트랜스포머와 같은 밀집(Dense) 신경망에서는 하나의 가중치 행이나 뉴런이 서로 무관한 여러 개념을 동시에 담당하는 다의적 중첩(Polysemantic Superposition) 현상이 나타납니다. 이 때문에 특정 행동을 강하게 조향하거나 제거하면 동일한 부분공간을 공유하는 일반 추론 및 언어 생성 능력까지 함께 저하되는 부작용이 발생합니다.
반면 진화 과정을 거친 생물학적 뇌는 근본적으로 다른 연결 구조를 지닙니다. 성체 초파리의 전뇌 전자현미경(EM) 커넥톰(FlyWire FAFB v783; 138,639개 뉴런, 15,091,983개 방향성 간선)은 연결 밀도가 ρ = 7.85 × 10−4에 불과한 99.92% 초희소(Ultra-sparse) 그래프이며, 감각 신호가 해부학적으로 분리된 중계 영역을 거쳐 소수의 하행 운동 병목 뉴런(Descending Bottleneck Neurons: DNa01/02, DNg97, DNp01, MDN, DNg62, MN9)으로 모이는 구조를 가집니다.
다만 전자현미경으로 측정한 정적 시냅스 개수 Nsyn(u, v)를 그대로 가중치로 삼아 시뮬레이션할 경우 고전적인 구조-기능 불일치(Structure–Function Gap) 문제가 나타납니다. 정적 시냅스 수에는 (1) 시냅스 전 신경전달물질 방출 확률의 좌우 생리학적 차이(Gaudry et al., Nature 2013)와 (2) 섭식·보행 등 내부 상태에 따라 작동하는 지속성 억제 게이트(Tonic Inhibitory Gate)의 신경조절 메커니즘이 빠져 있기 때문입니다.
① 경로 이득 강화 (Potentiation, γexc > 1)
양방향 그래프 교집합으로 추출된 k-단계 감각-운동 중계 경로의 흥분성 가중치 We ← clip(round(γexc · We(0)), 1, 32767)를 선택적으로 증폭하여, 시냅스 방출 확률의 비대칭성과 다중 분기(Fan-out)에 따른 전류 희석을 보정합니다.
② 표적 반사 소거 (Abliteration, We ← 0)
LLM에서 특정 행동 방향만 제거하는 기법과 마찬가지로, 하행 명령 병목 뉴런(예: DNp01, MDN)으로 들어오는 말단 흥분성 간선(1,692개, 0.0112%)만 0으로 차단하여 시각 감지 회로는 온전히 유지한 채 도피 반사만 선택적으로 제거합니다.
③ 지속성 억제 해제 (Disinhibition, W− ← 0)
발화량 가중 시냅스 플럭스(Φu→v = su · Wuv < 0)를 역추적하여 하행 뉴런을 지속적으로 누르고 있는 핵심 억제 게이트(#112815 → #904, DNg62 및 MN9 억제 입력)를 찾아내고, 이를 차단하여 억제되어 있던 행동 모듈을 활성화합니다.
How We Solved the Wild-Type Left-Turning Paradox Directly from Raw Weights
When the unedited FlyWire v783 connectome (Wild-Type) is presented with a strong unilateral food odor on its right antenna (130 Hz right vs. 20 Hz left under 55 Hz hunger drive), it fails to turn right toward the food source; instead, it turns sharply left away from the odor (turn_left = 22.6 Hz, turn_right = 6.3 Hz, motor.turn = -0.71).
Crucially, the binary CSR connectome arrays (offsets.u32, targets.u32, weights.i16, sides.u8) contain no text labels for internal interneurons (>99% of neurons are unannotated integers 0...138,638).
Explore the three tabs below to trace our exact algorithmic detective workflow across all 15,091,983 edges:
원시 CSR 가중치 텐서 역추적: 왜 원본 정적 커넥톰은 우측 냄새 자극에도 좌회전만 반복했는가?
편집하지 않은 원본 FlyWire v783 정적 커넥톰(Wild-Type)의 우측 더듬이에 강한 음식 냄새 자극(우측 130 Hz vs. 좌측 20 Hz, 기본 섭식 동기 55 Hz)을 가하면, 초파리는 냄새가 나는 오른쪽으로 향하지 못하고 오히려 반대 방향인 왼쪽으로 급격히 회전합니다(turn_left = 22.6 Hz, turn_right = 6.3 Hz, motor.turn = -0.71).
특히 시뮬레이터가 사용하는 이진 CSR 텐서(offsets.u32, targets.u32, weights.i16, sides.u8)에는 감각 입력과 운동 출력 뉴런을 제외한 내부 중계 뉴런 99% 이상에 세포 이름이나 해부학적 라벨이 전혀 없으며, 오직 0...138,638의 정수 인덱스와 시냅스 가중치만 기록되어 있습니다.
아래 3개의 탭을 차례로 선택하면 15,091,983개 간선의 가중치와 발화 데이터만으로 좌편향의 원인을 규명하고 3단계 조향 회로를 분리해 낸 전 과정을 확인할 수 있습니다.
Restoring Symmetric Sigmoidal Steering and Closed-Loop Odor-Plume Tracking
Having isolated the exact 3-hop olfactory-steering bridge—21 Left PNs → 61 Left LAL Relays → turn_left (91 terminal edges) and 56 Right PNs → 61 Right LAL Relays → turn_right (106 terminal edges)—plus the 67 bilateral bridge edges onto DNg97 (forward_odn1), we noticed a critical structural bottleneck:
the left bridge concentrates all ipsilateral ORN excitation onto just 21 PNs, whereas the right bridge dilutes ORN excitation across 56 PNs (2.67× wider fan-out, reducing per-neuron depolarization relative to the −45 mV spiking threshold).
By calibrating Hop-3 Relay→DN gain (γ3L = 1.75× vs. γ3R = 8.2×), suppressing contralateral ORN spillover (0.15×), and ablating the tonic inhibitory clamps (modifying 70,530 edges = 0.4673% of the brain), Super-Forager achieves a symmetric psychometric steering curve and tracks a 2D spatial odor plume straight to the source.
좌우 대칭 조향 반응 곡선 복원 및 2D 냄새 농도장(Odor Plume) 폐루프 추적
양방향 3단계 교집합 탐색으로 분리한 후각-조향 핵심 회로—좌측 21개 투사뉴런(PN) → 61개 전운동 중계 뉴런 → turn_left(말단 91개 간선) 및 우측 56개 투사뉴런(PN) → 61개 전운동 중계 뉴런 → turn_right(말단 106개 간선)—와 전진 보행 뉴런 DNg97으로 수렴하는 67개 간선을 정밀 비교한 결과, 또 하나의 구조적 비대칭이 확인되었습니다.
좌측 경로는 동측 후각수용체(ORN)의 흥분 전류를 21개의 PN에 집중시켜 발화 임계전위(−45 mV)를 쉽게 넘기는 반면, 우측 경로는 56개의 PN으로 시냅스가 나뉘어(2.67× 넓은 분기) 개별 PN의 막전위 상승 폭이 작아지는 병목 현상이 발생합니다.
이를 보완하기 위해 3단계(중계→하행) 이득을 좌우 차등 적용(γ3L = 1.75× vs. γ3R = 8.2×)하고, 반대측 반구로의 시냅스 누출 억제(0.15×) 및 지속성 억제 게이트 차단을 결합(총 70,530개 간선 = 전체 뇌의 0.4673% 수정)함으로써, 좌우 대칭 시그모이드 조향 곡선과 2D 공간에서의 정확한 냄새원 추적 주행을 구현했습니다.
Interactive Explorer: Six Surgical Connectome Phenotypes (0.0112%–0.4673% Edges)
Does our weight-space attribution and surgical editing framework generalize beyond chemotaxis?
By applying backward CSR edge audits across three additional innate sensorimotor hierarchies—looming predator escape (DNp01 Giant Fiber & MDN Moonwalker), mechanosensory antennal grooming (DNg62 / aDN1), and gustatory proboscis extension (MN9)—we engineered five surgical connectome phenotypes alongside the unedited Wild-Type baseline. Select any phenotype below to inspect its exact synaptic circuit mechanism and quantitative readout profile:
6가지 초파리 커넥톰 행동 표현형(Phenotype) 상세 탐색 (전체 시냅스의 0.0112%–0.4673% 편집)
본 연구에서 제안한 가중치 텐서 역추적 및 정밀 회로 편집 기법이 후각 주화성 외의 다른 선천적 감각-운동 회로에도 동일하게 적용될 수 있는지를 검증했습니다.
시각적 포식자 접근에 따른 도피 회로(거대섬유 뉴런 DNp01 및 후진 보행 뉴런 MDN), 더듬이 이물질 감지에 따른 세정(그루밍) 회로(DNg62 / aDN1), 그리고 당분 감지에 따른 주둥이 뻗기(구기 신전) 섭식 회로(MN9)에 대해 역방향 CSR 시냅스 분석을 수행하여, 원본 Wild-Type을 포함한 6가지 행동 모델을 구축했습니다. 아래 탭을 선택하면 각 표현형의 회로 편집 원리와 정량적 발화 특성을 비교할 수 있습니다.
Strict Diagonal Modularity: Why Sparse Connectome Edits Suffer Zero Collateral Drift
A central finding of our study emerges when we compare the cross-task perturbation matrix of biological connectome weight edits against dense Transformer weight-space programming.
Whereas rank-1 projections in dense LLMs perturb 106–107 shared weights and degrade fluency at large steering scales, our five connectome edits exhibit 100.0% target behavioral specificity with 0.00 off-diagonal drift across all non-target sensorimotor assays:
완전한 대각 직교성(Diagonal Orthogonality): 밀집 신경망과 구별되는 생물학적 커넥톰의 모듈 독립성
생물학적 커넥톰의 가중치 편집 결과를 밀집 트랜스포머(LLM)의 가중치 편집과 비교하면 두 아키텍처의 근본적인 차이가 명확히 드러납니다.
밀집 신경망에서는 단일 기능 방향을 수정하더라도 수백만~수천만 개의 공유 파라미터(106–107)가 함께 변형되어 편집 강도를 높일수록 비표적 과제의 성능이 저하되는 반면, 초희소 그래프인 초파리 커넥톰의 5가지 회로 편집 모델은 목표 행동만 선택적으로 변화시키고 나머지 비표적 감각-운동 과제에서는 모두 변화량 0.00의 완전한 독립성(Zero Collateral Drift)을 유지합니다.
Interactive 3D Brain & MuJoCo Biomechanical Physics Laboratory
Our open-source web laboratory executes the complete 138,639-neuron FlyWire v783 CSR spiking engine inside a dedicated Web Worker coupled every 15 ms to the 48-actuator NeuroMechFly 2.1 MuJoCo WebAssembly physics engine.
You can apply any of the six presets in real time or perform custom 1–3 hop surgical pathway edits between arbitrary sensory and descending pools while visualizing potentiated synapses in cyan (#4ef2e0) and ablated/suppressed synapses in magenta (#ff5e7e) directly inside the 3D anatomical brain mesh.
lab.html). Use the Weight Edit panel in the top bar to switch between Wild-Type, Super-Forager, Fearless Fly, Hyper-Escape, Obsessive Groomer, and Voracious Feeder, or drop food odor, dust, and looming threats into the arena.
웹 브라우저 기반 실시간 3D 전뇌 스파이킹 & MuJoCo 물리 시뮬레이션 실험실
본 연구의 오픈소스 웹 실험실은 138,639개 뉴런과 15,091,983개 시냅스 간선으로 구성된 FlyWire v783 전뇌 스파이킹 모델을 전용 Web Worker에서 실시간으로 적분하며, 15 ms마다 48-관절 NeuroMechFly 2.1 MuJoCo WebAssembly 물리 엔진과 감각 입력 및 운동 명령을 주고받습니다.
6가지 행동 표현형 프리셋을 실시간으로 전환하거나 원하는 감각 뉴런 집단과 하행 운동 뉴런 집단 사이의 1~3단계 연결 회로를 직접 탐색·편집할 수 있으며, 3D 뇌 메쉬 내부에서 강화된 시냅스는 청록색(#4ef2e0), 억제·차단된 시냅스는 자홍색(#ff5e7e) 광점으로 즉시 시각화됩니다.
lab.html)가 열립니다. 상단 메뉴의 Weight Edit 패널에서 6가지 표현형 모델을 실시간으로 전환하고, 먹이 추가(Add food), 더듬이 접촉(Touch), 포식자 접근(Threat) 자극을 가해 신경 발화와 신체 움직임의 변화를 비교할 수 있습니다.
Reproduce All Quantitative Benchmarks & Unit Tests Locally
All CSR connectome weight-editing operators (connectome-editor.mjs), whole-brain LIF spiking engines (brain-core.mjs), automated unit tests, and quantitative benchmark suites are openly available in statsleelab/connectome-weight-edit.
git clone https://github.com/statsleelab/connectome-weight-edit.git
cd connectome-weight-edit
# 1. Run unit tests for CSR connectome pathway discovery, weight surgery, and rollback
node --test tests/connectome-editor.test.mjs
# 2. Run the whole-brain quantitative sensorimotor benchmark across all 6 presets
node tools/run_connectome_edit_experiments.mjs
# 3. Launch the local 3D WebGL + MuJoCo interactive laboratory
python3 serve.py
로컬 환경에서의 정량 벤치마크 및 단위 테스트 재현 안내
CSR 커넥톰 가중치 편집 모듈(connectome-editor.mjs), 전뇌 LIF 스파이킹 시뮬레이션 코어(brain-core.mjs), 자동화 단위 테스트, 그리고 6가지 표현형의 정량 벤치마크 스크립트 전체가 statsleelab/connectome-weight-edit 저장소에 공개되어 있습니다.
git clone https://github.com/statsleelab/connectome-weight-edit.git
cd connectome-weight-edit
# 1. CSR 커넥톰 경로 탐색, 가중치 편집 및 원본 복원 단위 테스트 실행
node --test tests/connectome-editor.test.mjs
# 2. 6가지 표현형 프리셋에 대한 전뇌 감각-운동 정량 벤치마크 실행
node tools/run_connectome_edit_experiments.mjs
# 3. 로컬 3D WebGL + MuJoCo 인터랙티브 시뮬레이터 실행
python3 serve.py