Investigativní datový sklad - Investigative Data Warehouse
Investigativní datový sklad (IDW) je prohledávatelný databáze provozuje FBI. Byla vytvořena v roce 2004. Většina z podstaty a rozsahu databáze je klasifikovaný. Databáze je centralizací několika federálních a státních databází, včetně rejstřík trestů z různých donucovací orgány, Americké ministerstvo financí je Síť pro prosazování finančních trestných činů (FinCEN) a veřejné záznamy databáze. Podle svědectví Michaela Moreharta před Sněmovní výbor pro finanční služby v roce 2006 „IDW je centralizované, webové, uzavřené úložiště dat pro zpravodajské a vyšetřovací údaje. Tento systém udržovaný FBI umožňuje příslušně vyškoleným a autorizovaným pracovníkům v celé zemi vyhledávat informace relevantní pro vyšetřovací a zpravodajské služby. záležitosti."[1]
Přehled
Tato část musí být aktualizováno.Února 2017) ( |
Zdá se, že velikost databáze rychle roste. V roce 2004 to bylo podle vládní výzvy k podávání nabídek na řízení projektu přibližně 10TB ve velikosti. V roce 2005 podle jednoho úředníka FBI obsahovalo IDW přibližně 100 milionů dokumentů. V roce 2006 obsahovala více než 560 milionů dokumentů a byla přístupná více než 12 000 jednotlivcům. Podle webové stránky FBI k 22. srpnu 2007 databáze obsahovala 700 milionů záznamů z 53 databází a byla přístupná 13 000 jednotlivcům po celém světě.
Od roku 2007[Aktualizace], FBI je předmětem soudního řízení podaného EFF (Nadace Electronic Frontier Foundation ) z důvodu neexistence veřejného oznámení popisujícího databázi a kritérií pro zahrnutí osobních údajů, jak požaduje Zákon o ochraně osobních údajů z roku 1974. Soudní spory jsou výsledkem dvou Zákon o svobodě informací žádosti podané EFF v roce 2006.
Byl postaven z části společností Chiliad,[2][3] kancelář FBI hlavního technologického ředitele,[4] a další. Společnosti uvedené v souborech FOIA zahrnují Northrup Grumman [5] a další.
Účel
Investigative Data Warehouse – Secret (IDW-S) „poskytuje data a služby zpracování a analýzy dat agentům a analytikům FBI při provádění misí v oblasti boje proti terorismu, kontrarozvědky a vymáhání práva“. Jádrový subsystém podporuje protiteroristickou divizi (CTD), jednotku speciálních událostí a prostřednictvím DOCLAB-S, Joint Intelligence Committee Investigation (JICI) a IntelPlus.[6]
Podle e-mailu z roku 2005 „se IDW bude v průběhu vývoje používat také pro trestní a jiná oprávněná vyšetřování bez CT.“ (CT je v boji proti terorismu) [7]
Subsystémy
V systému byly subsystémy s názvem IDW-S Core, SPT a DOCLAB-S[8]
Tým speciálních projektů (SPT):
umožňuje rychlý import nových specializovaných zdrojů dat. Tyto zdroje dat nejsou k dispozici běžným uživatelům IDW, ale jsou poskytovány malé skupině uživatelů, kteří mají prokázanou „potřebu vědět“. Systém SPT má podobné funkce jako systém IDW-S, přičemž hlavním rozdílem je odlišná sada zdrojů dat. Systém SPT umožňuje svým uživatelům přístup nejen ke standardnímu úložišti dat IDW, ale také ke specializovanému úložišti dat SPT.[9]
Soukromí
Podle interních e-mailů provedla FBI několik Posouzení dopadu na soukromí (PIA) systému IDW. Pracovali s právníky z jejich Pobočka zákona o národní bezpečnosti (NSLB) pokusit se zajistit, aby jejich systém dodržoval různé zákony týkající se sdílení informací a utajení [10] (například pravidlo 6e Federálního trestního řádu, týkající se utajení materiálu poroty [11]).
The Skupina zásad sdílení informací (ISPG) vytvořila a Diskreční tým kontroly přístupu (DACT), pracovat na „schvalování souborů údajů“ a „požadavcích na kontrolu přístupu“ pro IDW a DataMart a reagovat na další agentury zpravodajské komunity, které o přístup žádají.[12]
Web EFF FOIA IDW uvádí: „I přes obrovské množství osobních údajů obsažených v IDW FBI nikdy nezveřejnila Oznámení zákona o ochraně osobních údajů popis systému nebo vysvětlení způsobů, jakými mohou být záznamy použity. “ [13]
V roce 2005 také někdo z Úřadu generální rady (OGC) zaslal „předběžné úvahy zaměstnanců, že bychom možná měli omezit požadavky FBI PIA na systémy jiné než NS“ (NS je národní bezpečnost).[14] Byl tu také e-mail z roku 2006, který uvádí, že „národní bezpečnostní systémy jsou osvobozeny od E-Gov“,[15] zjevně odkazující na Zákon o elektronické správě z roku 2002, která má sekci zabývající se ochranou soukromí.
Zdroje dat
IDW používalo mnoho zdrojů dat. Dokumenty FOIA z EFF jsou silně redigovány, ale některé zdroje jsou následující:
- Systém FBI Automated Case Support (ACS), podmnožina systému Electronic Case File (ECF)[16]
- Společné vyšetřovací dokumenty výboru pro zpravodajské služby (JICI),[17] s textem OCR [18]
- „Open Source News“ (veřejné webové stránky, jako je Washington Post a další)[19]
- Zabezpečená automatizovaná síť pro zasílání zpráv (SAMNet)[17]
- Násilný gang a teroristická organizace (VGTOF)
- Program DARPA TIDES („open source novinky“, které byly organizovány a shromažďovány)
- Fileroom IntelPlus s textem OCR[18]
- FBI National Crime Information Center (NCIC)[16]
- Divize správy záznamů FBI (RMD), laboratoř dokumentů (DocLab), FBIHQ
- MiTAP [20] (shromažďuje údaje z veřejných zdrojů, webových stránek atd.)
- Zdroje dat specifické pro SPT (částečný seznam, soubory FOIA mají velké části redigovány):
- Výpisy Unified Name Index (UNI)
- Finanční centrum (FinCen),[21] počítaje v to Zákon o bankovním tajemství data [22]
- "Různé zdroje", včetně Správa bezpečnosti dopravy[23]
- Protiteroristická divize FBI (CTD)
- Telefonní čísla / adresy z ACS
- Data případu z ACS
- Seznam sledovaných teroristů (TWL)[24]
- „Other NJTTF data“
- DoS ... Ztracené / odcizené údaje z pasu
- Žádný seznam mušek, od TSA
- Selectee seznam, od TSA
- ACS / ECF s vyloučením některých typů případů
- CIA non-TS / non-SCI Technical Discussions (TDs) and Intelligence Information Reports (IIRs) od roku 1978 do května 2004[25]
Mluvilo se také o propojení FTTTF „Data Mart“ s IDW.[26]
Data v IDW jsou klasifikována na „tajné“ úrovni nebo nižší. Vyšší klasifikace nejsou povoleny a lze je odstranit[27]
Viz také
- Open-source inteligence
- Index FBI
- DCSNet
- Systém načítání a analýzy dat
- Systém pro správu dat elektronického dohledu v systému datových skladů
- Projekt SHAMROCK (NSA)
- Projekt MINARET (NSA)
Reference
- Konzultované zdroje
- EFF. „FOIA: Investigativní datový sklad DOJ“. Citováno 2009-03-18.
- EFF (17. října 2006). „EFF žádá o informace o obrovské databázi osobních údajů FBI:„ Investigative Data Warehouse “zahrnuje stovky milionů záznamů“. Citováno 2009-03-17.
- FBI (různá data). „Soubory zákona EFF o svobodě informací (FOIA), 8. dubna 2008, idw02“ (PDF). Nadace Electronic Frontier Foundation. Citováno 2009-03-17. Zkontrolujte hodnoty data v:
| datum =
(Pomoc) (Obsahuje různé e-maily zevnitř FBI týkající se IDW) - FBI (různá data). „Soubory zákona o svobodě informací EFF (FOIA), 8. dubna 2008, idw01“ (PDF). Nadace Electronic Frontier Foundation. Citováno 2009-03-18. Zkontrolujte hodnoty data v:
| datum =
(Pomoc) (Obsahuje různé e-maily zevnitř FBI týkající se IDW) - FBI (různá data). „Soubory zákona EFF o svobodě informací (FOIA), 2008 9. června, idw04“ (PDF). Nadace Electronic Frontier Foundation. Citováno 2009-03-18. Zkontrolujte hodnoty data v:
| datum =
(Pomoc) (Obsahuje různé e-maily zevnitř FBI týkající se IDW) - FBI (6. září 2006). „By the Numbers: FBI Transformation since 2001“. Citováno 2009-03-17.
- Divize informačních zdrojů FBI (IRD) (03.12.2003). „Investigative Data Warehouse-SECRET (IDW-S), System Security Plan“ (PDF). Nadace Electronic Frontier Foundation. str. 58. Citováno 2009-03-17.
- Divize informačních zdrojů FBI, sekce správy dat a informací (2005-01-24). „Investigative Data Warehouse - Secret (IDW-S), System Security Plan“ (PDF). Nadace Electronic Frontier Foundation. str. 13. Citováno 2009-03-18.
- Divize informačních zdrojů FBI, sekce správy dat (01.12.2004). „Investigative Data Warehouse, Privileged Users Guide“ (PDF). Nadace Electronic Frontier Foundation. str. 9. Citováno 2009-03-18.
- Úřad FBI výkonného ředitele programu (29. 11. 2004). „Bezpečnostní koncepce operací (S-CONOPS), program Investigative Data Warehouse (IDW)“ (PDF). Nadace Electronic Frontier Foundation. str. 50.
- Gross, Grant (17. října 2006). „EFF podává žalobu za účelem získání informací o databázi FBI“. Network World (dotisk příběhu zpravodajské služby IDG). Archivovány od originál dne 24. ledna 2007. Citováno 3. října 2007.
- Morehart, Michael F.A. (26. května 2005). „Prohlášení Michaela F.A. Moreharta, vedoucího sekce, sekce operací pro financování terorismu, divize pro boj proti terorismu, Federálního úřadu pro vyšetřování, před sněmovním výborem pro finanční služby“. Citováno 2009-03-17.
- Nakashima, Ellen (30. srpna 2006). „FBI předvádí protiteroristickou databázi“. The Washington Post.
- Vysvětlivky
- ^ Morehart 2005, op. cit.
- ^ „Případová studie Chiliad“ (PDF). Archivovány od originál (PDF) dne 2012-05-24. Citováno 2009-03-18.
- ^ David Gardner (2006-08-30). „FBI předvádí protiteroristickou databázi“. Informační týden. Citováno 2009-03-18.
- ^ Soubory EFF FOIA, 2008 8. dubna, idw01, strana 28 propojeného pdf
- ^ Soubory EFF FOIA, 2008 8. dubna idw01, strana 27 propojeného pdf
- ^ FBI, Plán zabezpečení systému IDW-S, 2005 24. ledna
- ^ Soubory EFF FOIA, 8. dubna 2008 idw02, str. 13 propojeného PDF
- ^ FBI, IDW-S System Security Plan, 2005 24. ledna. Z dokumentů FOIA není jasné, jaký je rozdíl mezi IDW-S a IDW, a tedy zda Core SPT a DOCLAB-S spadají pod IDW nebo IDW-S.
- ^ FBI, S-CONOPS IDW, 2004 29. listopadu strana 52 propojeného pdf
- ^ Soubory EFF FOIA, 8. dubna 2008 idw02. Většinu tohoto vydání FOIA tvoří e-maily v rámci FBI týkající se PIA
- ^ Soubory EFF FOIA, 8. dubna 2008 idw02, strana 73 propojeného pdf. Pravidlo 6e viz https://www.law.cornell.edu/rules/frcrmp/Rule6.htm Cornell
- ^ Soubory EFF FOIA, 8. dubna 2008 idw02 str. 74, 75 propojeného pdf
- ^ Web EFF, FOIA: Investigativní datový sklad DOJ
- ^ Soubory EFF FOIA, 8. dubna 2008 idw02, strana 10 propojeného pdf. Tento konkrétní e-mail také zmiňuje VCF systém (který byl později vyřazen) s tím, že PIA pro VCF mohou „znamenat značné náklady“
- ^ Soubory EFF FOIA, 2008 9. června idw04, strana 35 propojeného pdf
- ^ A b FBI, IDW Privileged Users Guide, 2004 1. prosince
- ^ A b FBI, Plán zabezpečení systému IDW-S, 2003 3. prosince
- ^ A b Aktualizace stavu FBI IDW, 2005 21. září
- ^ Aktualizace stavu FBI IDW, 2005 21. září. „Open Source News“ je v dalších dokumentech zmiňován společně MiTAP a / nebo DARPA TIDES.
- ^ Poznámka: Některé dokumenty FBI uvádějí DARPA TIDES, některé seznam MiTAP, některé jednoduše říkají „Open Source News“. Jsou to související projekty, ne-li snad totéž.
- ^ Síť pro prosazování finančních trestných činů
- ^ Soubory EFF FOIA 2008 8. dubna idw02, str. 8/9 propojeného pdf
- ^ FBI S-CONOPS IDW 2004 29. listopadu strana 53 propojeného pdf
- ^ Soubory EFF FOIA, 2008 8. dubna, idw02 strana 83 propojeného PDF
- ^ Soubory EFF FOIA, 2008 8. dubna, idw01, strana 33 propojeného pdf
- ^ Soubory EFF FOIA, 2008 8. dubna, idw02. Stránka 37 propojeného pdf
- ^ Soubory EFF FOIA, 2008 2. dubna, idw01, strana 43