W poprzednim artykule świat przyszłości opisaliśmy nowe pojęcie, które broker informacji, reasercher, doradca biznesowy, powinni zacząć włączać do swojego arsenału. A już z pewnością powinni je rozumieć. We wspomnianym artykule wspomnieliśmy o pojęciu: deep web digging czyli głębokie kopanie w sieci. Głębokie kopanie w sieci jest pojęciem, za którym kryje się bardzo wiele. Ważne jest aby wiedzieć jakie nowe obszary ono odsłania i jakie korzyści może przynieść.

Czym jest deep web digging ?

Zobaczmy raz jeszcze infografikę obrazującą strukturę danych zgromadzonych w sieci.

Źródło: Pinterest

Skupmy się teraz na górnej części obrazu. Strefa 10% zaznaczona jako „widzialny web” jest i tak przeogromnym zbiorem informacji (różne szacunki mówią o wartościach z przedziału 0,5% do 10%). Szacuje się, że zawiera grubo ponad miliard stron internetowych. Generalnie są to strony zaindeksowane przez wyszukiwarki. Nie znaczy to jednak wcale, że są one „opanowane” czyli dobrze zaklasyfikowane i udostępnione dla każdego. Dotarcie do tych stron, które piszą na specjalistyczny a interesujący cię temat jest de facto bardzo, bardzo trudne. Zwłaszcza jeśli dotyczy to innych krajów niż ten z którego prowadzimy poszukiwania. W tym przypadku życie dodatkowo ma nam utrudnić geolokalizacja – mechanizm wprowadzony przez wyszukiwarki.

Przykład: znajdź książkę, którą chcesz kupić

Jako test pomagający zrozumieć słabość wyszukiwarki proponujemy poszukać nawet w polskim internecie
wybranej książki, którą chcielibyście kupić „z drugiej ręki” (książki używanej). Jeśli wpiszecie jej tytuł to zobaczycie stertę linków w tym prowadzących do Allegro (jako serwisu o dobrej reputacji) ale jeśli książka jest wystarczająco rzadka to nie znajdziecie jej w 30-50 stronach, które zwyczajowo wyświetla Google. W tym miejscu zauważcie, że piszemy o 30-50 stronach. Nawet jeśli Google powiadomi was, że ma 2 mln wyników to i tak pokaże tylko 30-50 stron z wynikami. Reszta pozostaje ich słodką tajemnicą. Miłośnicy książek w Polsce wiedzą, że używanych książek szukać należy zwłaszcza na serwisie gratka.pl czasami swistak.pl czasami olx.pl ale tych linków już w pierwszej 30 wyników Google nie znajdziecie. Trzeba wejść na w/w serwisy i szukać tam bezpośrednio.

Wniosek: wyszukiwarki celowo ukrywają informacje (czasami także niecelowo). Czy tą informację posiadają? Tak ale jest ona grubo poniżej wyświetlanej części z wynikami.
Przyczyna tego stanu rzeczy leży też w niewłaściwej strukturze stron internetowych i różnego rodzaju błędach, które robią wykonawcy stron www a także generalnie w niedoskonałości wyszukiwarek (wbrew powszechnym opiniom wyszukiwarki dają wyniki dalekie od doskonałości).

Deep web digging: Głębokie kopanie w sieci wymaga nowych metodologii i narzędzi

Zawsze trzeba pamiętać o tej prawdzie: jeśli mamy kilka miliardów ludzi na Ziemi to już ktoś pracował nad tym co jest naszym problemem. Wystarczy do niego dotrzeć. Głębokie kopanie w sieci jest kolejną dziedziną, która wkrótce rozwinie się i rzuci wyzwanie wyszukiwarkom.

Zdolność do sięgania głębiej będzie już wkrótce stanowiło dużą wartość. My jako ludzie, społeczeństwa dopiero za jakiś czas nauczymy się to cenić. Na razie prace takie jak nasza należą do pionierskich na świecie. Bez wątpienia jednak broker informacji czy reasercher czy analityk danych powinien być obeznany z tym terminem (zobacz też artykuł Infobrokering u progu rewolucji ). Niezbędna jest sama świadomość niedoskonałości wyszukiwania Google. Zwłaszcza w dziedzinie wyszukiwania zaawansowanego i zorganizowanego. Pamiętajmy, że o ile ręczne wyszukiwanie 100 firm jest jeszcze osiągalne to już wyciągnięcie 1.000 wydaje się być dużym wyczynem. A przecież są problemy, do których rozwiązania trzeba zgromadzić, zestawić i przeanalizować tysiące wyników wyszukiwania.

Czy broker informacji wyszuka ręcznie 3.000 sklepów z jednej branży?

To jest właśnie wspomniany wyżej problem: wyobraź sobie, że jako broker informacji, researcher czy też jako właściciel firmy doradczej czy konsultingowej masz wykonać obraz rynku zdrowej żywności w jakimś kraju. Masz do dyspozycji Google i zabierasz się za wykonanie tego zadania. Początkowy entuzjazm wykonania zadania słabnie po kilku- kilkunastu dniach „skrobania”. Ręczne wykonanie takiego obrazu przekracza możliwości nawet 2-3 osobowego zespołu działającego bez wspomagania narzędziowego. Sklepów z żywnością ekologiczną w Polsce jest ponad 3.400. W krajach typu Niemcy czy Anglia są to jeszcze większe ilości. A to jest tylko mały obraz! Do tego dodajmy zaciągnięcie dodatkowych danych, które dopiero są w stanie wzbogacić uzyskany obraz i mogą być bazą do wyciągania wniosków. Finalnie, takie zlecenie jest nie do zrobienia bez wspomagania narzędziowego. Oczywiście, aby to mogło fajnie i płynnie funkcjonować potrzebne by były jeszcze szablony do analizy uzyskanych danych. Mam na myśli szablony układania danych i rozpoznawania wzorców ukrytych w danych. Dopiero to dałoby turbo doładowanie takiej ofercie. Dopiero wtedy broker informacji czy reasercher mogliby zaproponować unikalną i zaawansowaną wartość klientowi czy zleceniodawcy!

Deep web digging jest częścią naszego projektu oniongraph.com a samo narzędzie ma właśnie wspomagać pracę infobrokerów, researcherów, firm analitycznych, konsultingowych, doradczych itp.
Ideą, która popycha nas na przód jest zdolność do „zaczerpywania głębiej” w poszukiwaniu ukrytej informacji oraz „zaczerpywania szerzej” aby z tych danych móc wyciągać wnioski.

Z czasem będziemy dodawać szablony pozwalające na szybkie rozpoznawaniu ważnych wzorców.

Już niedługo 🙂