Valdžios agentūra, atvedusi mums internetą, dabar sukūrė naują galingą paieškos variklį, kuris nušviečia vadinamojo gilaus interneto turinį.
Pažangių gynybos tyrimų projektų agentūra (DARPA) prieš metus pradėjo dirbti su „Memex Deep Web Search Engine“ ir šią savaitę pristatė savo įrankius „Scientific American“ ir „60 minučių“.
„Memex“, kurią kuria 17 skirtingų rangovų komandų, siekiama sukurti geresnį interneto turinio žemėlapį ir atskleisti internetinių duomenų modelius, kurie galėtų padėti teisėsaugos pareigūnams ir kitiems. Ankstyvuose bandymuose daugiausia dėmesio buvo skiriama prekiautojų žmonėmis judėjimui suskaičiuoti, tačiau vieną dieną šią technologiją būtų galima pritaikyti tokioms tyrimo pastangoms kaip kovos su terorizmu, dingusių žmonių, reagavimo į ligas ir pagalbos nelaimių atvejais.
Danas Kaufmanas, DARPA informacinių naujovių biuro direktorius, sako, kad „Memex“ yra visa tai, kas padaro nematytą. „Internetas yra daug, daug didesnis, nei žmonės galvoja“, - „60 minučių“ sakė DARPA programos vadovas Chrisas White'as. Kai kuriais vertinimais „Google“, „Microsoft Bing“ ir „Yahoo“ suteikia mums prieigą prie maždaug 5 procentų žiniatinklio turinio. “
„Google“ ir „Bing“ teikia rezultatus pagal populiarumą ir reitingą, tačiau „Memex“ ieško turinio, kurio paprastai nepaiso komercinės paieškos sistemos, pvz., Nestruktūrizuoti duomenys, nesusietas turinys, laikini puslapiai, kurie pašalinami prieš tai, kai komercinės paieškos sistemos gali juos tikrinti, ir pokalbių forumai. Įprastos paieškos sistemos nepaiso šių gilių žiniatinklio duomenų, nes interneto reklamuotojai, kur naršyklių įmonės uždirba pinigus, jais nesidomi.
„Memex“ taip pat automatizuoja tamsaus arba anoniminio interneto tikrinimo mechanizmą, kuriame nusikaltėliai užsiima verslu. Šie paslėptų paslaugų puslapiai, prieinami tik per TOR anonimizuojančią naršyklę, paprastai veikia pagal teisėsaugos radarus, prekiaujančius neteisėtais narkotikais ir kitokia kontrabanda. Kai kadaise manyta, kad tamsią interneto veiklą sudaro maždaug 1000 puslapių, White'as „Scientific American“ teigė, kad tamsių tinklalapių gali būti nuo 30 000 iki 40 000.
Iki šiol buvo sunku pažvelgti į šias svetaines sistemiškai. Tačiau „Memex“, kurį Manheteno DA Cyrusas Vance'as jaunesnysis vadina „Google“ paieška steroiduose “, ne tik indeksuoja jų turinį, bet ir analizuoja jį, kad atskleistų paslėptus santykius, kurie galėtų būti naudingi teisėsaugai.
DARPA paieškos įrankiai buvo pristatyti pernai teisėsaugos institucijoms, įskaitant naują Manheteno reagavimo į prekybą žmonėmis skyrių. „Memex“ dabar naudojamas kiekvienoje byloje dėl prekybos žmonėmis ir ji atliko savo vaidmenį kuriant mažiausiai 20 prekybos seksu tyrimų. Viršutinė žiniatinklio tikrinimo priemonė gali nustatyti įvairių duomenų sąsajas ir sukurti duomenų žemėlapius, kurie padės tyrėjams aptikti modelius.
„60 minučių“ demonstracinėje versijoje White'as parodė, kaip „Memex“ sugeba stebėti prekiautojų žmonėmis judėjimą, remdamasis duomenimis, susijusiais su internetine sekso reklama. „Kartais tai priklauso nuo IP adreso, tačiau kartais tai priklauso nuo telefono numerio ar adreso, esančio skelbime, ar skelbimą paskelbusio įrenginio geografinės vietos“, - sakė White'as. "Kartais yra kitų artefaktų, kurie prisideda prie vietos nustatymo".
White pabrėžė, kad „Memex“ nesiima įsilaužimų, kad gautų informaciją. „Jei kažkas yra apsaugotas slaptažodžiu, tai nėra viešas turinys ir„ Memex “jame neieško“, - sakė jis „Scientific American“. „Mes nenorėjome be reikalo aptemdyti šio darbo, tempdami šnipinėjimo ir stebėjimo šmėklą“ - liesti tema po Edwardo Snowdeno NSA apreiškimų.
„Memex“ gavo savo pavadinimą („atminties“ ir „indekso“ derinį) ir įkvėpimo iš hipotetinio prietaiso, kurį 1945 m. Aprašė Vannevaras Bushas, numatantis kompiuterių, interneto išradimą ir kitus svarbiausius ateinančių 70 metų IT pasiekimus. Dabar atrodo, kad DARPA ir „Memex“ mus priartins prie žingsnio prie Philipo Dicko futuristinio policijos departamento, pavaizduoto „Mažumos ataskaitoje“.
Naujas testų etapas, kuris turėtų prasidėti po kelių savaičių, apims federalinius ir apygardų prokurorus, regionų ir nacionalines teisėsaugos institucijas ir daug NVO. Remiantis „Scientific American“ ataskaita, juo siekiama „išbandyti naujas vaizdų paieškos galimybes, kurios galėtų analizuoti nuotraukas, net kai sutrinka dalys, kurios gali padėti tyrėjams - įskaitant prekiautojų žmonėmis veidus ar televizoriaus ekraną fone“.
Išradę geresnius būdus bendrauti ir pateikti informaciją, surinktą iš didesnio šaltinių fondo, „norime pagerinti visų paiešką. Lengvas naudojimasis ne programuotojams yra būtinas“, - sakė White'as.
