Українці з Ahrefs запустили пошуковик YEP, інвестували $60 млн

27 березня 2019 року засновник Ahrefs, українець Дмитро Герасименко, анонсував новий амбіційний проект — пошуковик YEP, який зможе конкурувати з Google. Яким чином команда на 100 людей могла б тягатися з ІТ-гігантом та монополістом на ринку пошуку? Дмитро заявив, що хоче виправити деякі проблеми, які ніколи не зникнуть з Google: приватність користувачів та розподілення заробітку з авторами контенту. Про те, яким він бачив пошуковик майбутнього, він раніше розповідав в інтервʼю AIN.UA.

Рік тому YEP.com зʼявився онлайн. Гучних анонсів не робили, оскільки пошуковик все ще в беті. Але трохи менше ніж за рік роботи він вже отримав більше 250 млн пошукових запитів.

А ще пошук по зображенням, розділ новин і ШІ-самері — інструмент на основі LLM, який дозволяє користувачу отримати коротке самері за його пошуковим запитом, згенероване штучним інтелектом.

Про те, як на сьогодні працює YEP, як команда з 16 людей створює пошуковик з ШІ та «плюшками», що має на меті одного дня скинути Google з пʼєдесталу монополіста на ринку пошуку, на що витратили $60 млн інвестицій та з якими проблемами стикається YEP через відмову слідкувати за користувачами, редактору AIN.UA розповіли Дмитро Герасименко та СМО Ahrefs Дарія Самокіш.

На якій стадії продукт

Дмитро: Бета-версія Yep працює вже рік, але ми цього не оголошували. В червні 2022 року про запуск бета-версії Yep написали на Techcrunch. Офіційного повноцінного запуску пошуковика ще не було. Пошуковик вже працює і показує непогані результати. Вони недосконалі, тож зарано лончити повноцінний пошуковик. Ми ще не готові конкурувати з Google за результатами пошуку. Наразі ми працюємо над вдосконаленням алгоритмів.

Дарія: Тим не менш, ми багато чого зробили за рік. В червні 2022, коли ми анонсували бету, у нас працював лише вебпошук. Зараз інтерфейс і можливості YEP розширилися: ми показуємо актуальні новини і даємо пошук по зображенням. Розглядаємо можливості еквайрінгу якихось готових рішень по картах впродовж цього року чи в найближчий час.

DuckDuckGo, Neeve, Ekosia чи якість інші пошуковики пропонують функції, до яких вже звикли користувачі. Якщо ми хочемо конкурувати за них, маємо надати пошуковий сервіс, який вже встановлений як бенчмарк на ринку. Ми не можемо конкурувати лише пошуком, який наразі все ж гірший ніж Google. Ми маємо враховувати всі ті очікування, які вже є в ринку. І хочемо доробити це все, поки ми в беті — щоб під час офіційного запуску виправдати очікування користувачів.

Конкурентні переваги

Дмитро: По-перше, це наша унікальна бізнес-модель — 90% прибутків ми віддаватимемо креаторам контенту, у той час, як великі пошуковики все забирають собі.

По-друге, приватність. З самого початку в YEP ми не планували збирати cookie і продавати третім сторонам, як це робить Google, дані користувачів. Хоча це і створює для нас деякі проблеми.

У нас в день вже є пару мільйонів пошукових запитів, і ми знаємо, що якась частина з них — це люди, які роблять запити.

Але є також скрейпери. Це можуть вже бути наші конкуренти — пошукові системи, які намагаються отримати наші пошукові результати і потім з ними працювати. Оскільки у нас дуже високі гарантії по захисту приватності, ми не маємо змоги відслідковувати, де запити від живих людей, а де — від роботів, і відсікати останніх.

Дарія: Проблеми приватності активно обговорюються в Європі та США. У Google та Apple йдуть суди через це. Ми ж хочемо відповідати усім державним вимогам Європейського Союзу, США та інших країн. Інфраструктура, яка у нас є, дає можливість забезпечувати обмін великими пошуковими даними і не передавати дані ніяким третім сторонам.

Навіть якби ми використовували якісь дані про кліки (чого ми не збираємося робити), то ці дані нікуди б не витекли, як у DuckDuckGo, з якими нещодавно був скандал: зʼясувалося, що вони передавали Microsoft якісь дані про юзерів в США. В нас ця історія виключена, тому що розробка з самого початку налаштована на те, щоб це була приватна пошукова система.

Дмитро: По-третє, ми хочемо розвивати конкуренцію на пошуковому ринку з користю для компаній та користувачів.

Є багато пошукових систем, у яких немає власного індексу, або він дуже маленький. Тому вони купують пошукові результати по API з Bing, але пропонують їх в своєму інтерфейсі з додатковими фічами. Пошуковиків багато, але лише Google, Bing i YEP мають власні великі індекси, які покривають велику частину інтернету, різні мови, країни.

У Google немає API, він не дозволяє використовувати свої пошукові результати у сторонніх програмах. А Microsoft нещодавно оголосив про велике підвищення цін. Для деяких можливостей кости зростуть в 9 разів! Зрозуміло, що Microsoft у такий спосіб просто позбувається конкурентів. Тепер всі ці сервіси повинні платити в 4-9 разів більше. Для деяких з них це стане нерентабельно.

Ми хочемо запропонувати API, який буде не такий дорогий, як Microsoft. Дозволити людям використовувати наші результати пошуку для комерційних цілей в їх програмах, ШІ-додатках, ChatGPT-інструментах тощо. У нас третій за розміром індекс після Google та Microsoft Bing, тому ми можемо це зробити.

Інші пошукові системи або знайдуть як вирішити для себе проблему підняття цін, або більшість конкурентів на пошуковому ринку просто зникнуть. Звичайно якісь пошукові системи мають свій індекс, але він за розміром в 100 разів менший за наш. Ми ще можемо сказати про Yandex. Іноді вони виходять на третю позицію за розміром індексу. Але якщо ми говоримо про міжнародний пошук, навряд чи індекс «Яндексу» купуватимуть з політичних причин.

Як побудували третій за індексом в світі вебкраулер

Дарія: Як взагалі Дмитро дійшов до того, щоб запустити Ahrefs? В якийсь момент він мав декілька фріланс-проектів, для одного з яких йому потрібні були пошукові дані. Він прийшов до найбільшої на той момент компанії, яка продавала дані пошуку — Majestic. І коли вони викотили інвойс, Діма подивився на нього і сказав: «За такі гроші я сам зроблю таку систему і буду отримувати пошукові дані». Так почався Ahrefs з власним вебкраулером, який сьогодні третій за індексом у світі.

Дмитро: На це пішли роки зусиль. У нас не було грошей, які є у Google чи Microsoft, тому ми оптимізували все так, щоб працювати з мінімальними витратами.

Індексу Google 26 років, індексу Bing від Microsoft — 14, а індексу Ahrefs, яким користується YEP — 13 років. Тобто за обсягами, за напрацьованою інфраструктурною базою і взагалі експертизою розробників ми технологічно і морально можемо конкурувати з компаніями-гігнантами.

Інвестиції та розвиток

Дарія: Ми вже інвестували $60+ млн. Переважно це витрати на дата-центри. Спочатку вся інфраструктура була в Сінгапурі, але зараз ми розпочинаємо індексувати зі США, і в процесі відкриття американського дата-центру. Таким чином ми збільшимо наші можливості по краулінгу і обробці даних. Хоча на даний момент наш дата-центр лише в Сінгапурі, це ніяк не лімітує використання YEP.

Дмитро: Потрібно розуміти, що інфраструктура, в яку ми інвестуємо, потрібна не тільки для YEP, але й для Ahrefs. Вона обслуговує десятки тисяч користувачів Ahrefs по всьому світу, які використовують наш основний продукт і платять за нього. 80% того, що нам потрібно для YEP, ми використовуємо в Ahrefs. Нам потрібен краулер, щоб мати дані в Ahrefs. Нам потрібно індексувати ці дані, щоб мати дані Ahrefs. YEP це лише інший вид індексу.

У США ми очікуємо найбільшу кількість перших користувачів YEP, бути близько до користувача важливо для пошуку. Тому ми хочемо мати там дата-центр. І також це дасть нам змогу мати захист. Якщо щось трапляється в одному дата-центрі — ми можемо обслуговувати всіх наших користувачів Ahrefs і YEP із США, чи з Сінгапуру. Це дасть змогу зробити сервіс в США набагато швидше для користувачів із США.

Що таке YEP TLDR (ШІ-саммарі в пошуку)

Дарія: В грудні почались перші розмови в США про OpenAI — про цей стартап почати писати гік-журналісти, які пишуть для девелоперів. А в кінці лютого-на початку березня цього року вибухнула історія з ChatGPT в США, яка через місяць докотилася й до України.

І от Microsoft інвестує в OpenAI, декларуючи, що вони повертаються у повний зріст на пошуковий ринок: «Google, тримайся!». Google відповідає своїм Bard. Обидві компанії починають анонсувати власні AI-summary, які зможуть полегшити пошук для користувачів.

Поки тривали ці обговорення анонсів і в кого крутіший ШІ, ми зробили перший прототип своєї AI-summery і в березні викотили для використання в Yep. Наш ШІ-самері називається YEP TLDR (скорочено від too long, didn’t read, тобто «дуже довго, не буду це читати»).

Це технологія, яка створює AI generated summary топ-результатів пошуку по вашому запиту. Тобто, коли ви вводите в пошук, наприклад, «Що таке блокчейн», вам не потрібно перечитувати 10 сторінок з видачі, щоб відповісти на своє питання — YEP TLDR перечитає їх замість вас, обере важливе і складе узагальнений текст, який дасть вам повне розуміння, що таке блокчейн.

YEP TLDR доступний у вигляді віджету на сторінці пошуку в YEP. Самері генерується на основі пошукового запиту за декілька секунд — технології потрібен час на те, щоб вона прочитала топ-видачу і закопірайтила коротке самері. Я сам за замовчуванням користуюсь YEP, і TLDR допомагає дуже часто.

Чим YEP TLDR краще за ШІ-самері конкурентів

Дмитро: Ми не робили гучних анонсів, тому що інструмент новий і він потребує ще дуже багато доопрацюваннь. Це дуже складна технологія на основі LLM (large language model). І тут виникає ряд проблем.

Дарія: Як кажуть в США, такі інструменти «галюцинують», тобто продукують якісь вигадані історії замість фактів. Наприклад, ШІ видав історію на основі публікації The Wall Street Journal про викрадення дитини, якої насправді не було. Тобто, умовно, в ChatGPT чи в пошуковику, який має AI-самері, користувач може отримати нереалістичну або неправдиву інформацію.

Дмитро: Ми працюємо над тим, щоб унеможливити таке в YEP TLDR. Ми не намагаємося змусити цю AI-систему згенерувати текст — ми кажемо: «Ось тобі 10 сторінок, зроби нам коротке самері з цих фактів». Я думаю, ми майже досягли того, щоб унеможливити «галюцинації» в нашому інструменті.

Ми ще не готові самовпевнено заявити, що повністю побороли проблему. Але наша перевага в тому, що ми даємо користувачу можливість перевірити реальність наших даних. Під нашим самері обов’язково є посилання на джерела — ти можеш в один клік перейти і побачити, звідки наш ШІ взяв цю інформацію. І під цими джерелами у нас вже є кнопочки для фідбеку. Тобто, якщо ти прочитав інформацію і побачив, що вона якимось чином не точно відображає твій запит або щось згалюціонувала, ти можеш повідомити нам про помилку.

Як 16 людей роблять пошуковик з ШІ та плюшками

Дмитро: У нас маленька команда. Загалом в Ahrefs 110 людей. Над YEP фултайм зараз працює 16. Якщо порівняти з нашим найбільшим конкурентом, то в них півтори тисячі людей. І ревенью у нас відрізняється десь в два рази, ми анонсували, що заробимо $100 млн за рік. Для порівняння — Google тільки на пошуку заробляє $160 млрд на рік.

Дарія: Але наша компактність — то наша перевага. Ми працюємо в режимі стартапу, без бюрократії. Я розповім, як я бачила створення YEP TLDR збоку. Спалахує OpenAI з їх ChatGPT. Хтось скидає в канал цю новину, збираються наші розробники, і Дмитро і каже: «Беремо 5-10 чоловік і робимо таке в YEP. Ти робиш прототип, ти робиш інтерфейс, ти тренуєш модель, ти тестуєш…».

А тепер уяви, як це відбувається у великих корпораціях. Вони втрачають зв’язок всередині команди — там менеджери менеджерять менеджерів, затягуючи історію нескінченними узгодженнями, колами і консультаціями з інвесторами. У нас команда без зайвих дзвінків може створити продукт. Хтось приходить і каже: «Хлопці, що ми можемо зробити, щоб зібрати це?». Сходяться розробники, дизайнери, я прибігаю і десь щось приношу — і все рухається дуже швидко. Мені здається, що у нас буквально за 2-3 дні було чітке розуміння, як ми хочемо цей AI-самері інтегрувати в YEP, а за тиждень-два вже був прототип.

Ukraine-made пошуковик

Дмитро: Хоча Ahrefs і YEP — компанії з офісом в Сингапурі, у нас дуже тісний звʼязок з Україною. Засновник і СЕО — українець, лідершип-команда — українці. Загалом, десь 20-25 людей в компанії (а це приблизно третина) — вихідці з України, частина з яких територіально знаходяться в Україні. Під час війни хтось із нас виїхав, хтось залишився принципово, хтось повернувся.

Дарія: Людський інтелектуальний капітал українців надзвичайний і помітний в світі. Коли ми анонсували бету, ми зробили один анонс, після чого про нас написали 200 медіа. І тільки після одного анонсу у нас є щодня 2 мільйони запитів в YEP. Тобто, можна собі уявити — це ми не рекламу включили, не маркетинг — ми ще нічого в цьому напрямку не робимо.

Коли буде вихід з бети і що для цього зараз потрібно

Дмитро: Зараз в YEP, якщо ти заб’єш якийсь пошуковий запит, на який у нас з якихось причин не буде відповіді, то ми пропонуємо скористатися результатами Bing, Google або DuckDuckGo, або когось іншого. Перейти на результати конкурентів з YEP можна одним кліком на кнопку.

Ми це зробили, тому що, перед усім, ми хочемо, щоб користувачі мали найефективніший і найшвидший доступ до релевантної інформації. Ми хочемо, щоб вони мали чесний, класний пошук, який до того ж буде ще платити авторам контенту. Саме для цього ми і створили YEP.

Коли мені не потрібно буде натискати цю кнопку, щоб подивитися видачу Google чи DuckDuckGo, а на всі запити YEP буде давати гарні результати — тоді ми зможемо виходити з бети. Я хочу, щоб це було до кінця року, але дуже важко спрогнозувати, як буде насправді.

Зараз все змінюється дуже швидко завдяки мовним моделям. Речі, які раніше могли зайняти рік — зараз ми можемо робити за місяць. Наприклад, у вас є пошуковий запит і ви отримали пошукові результати — якісь із них гарні, якісь ні. Раніше у нас не було швидкого способу перевірити їх. Звісно, можна попросити людину оцінити видачу, але немає на це часу — потрібно відповісти за 200 мілісекунд. Зараз ми можемо поставити language model і довірити їй перевіряти кожен результат на релевантність запиту. Такі технології ми почали використовувати ще минулого року.

Сьогодні ми автоматично перевіряємо нашу пошукову видачу на релевантність, використовуючи велику LLM.

Як YEP планує долати монополію на ринку пошукових систем

Дарія: За даними Statista, Google займав 92% ринку станом на минулий рік. Але його доля поступово зменшується, і у 2023 році Statista показує вже 87% ринку у Google. Конкуренти починають набирати обертів. Для того, щоб конкуренція почала розвиватися на ринку, найбільший гравець має трішечки посунутися. Це основа ринку: коли є багато гравців, вони конкурують, викатують якісь новинки, і користувач від цього отримує більше. Коли ж є монополіст, він встановлює правила, вирішує, як це буде працювати, і всі підлаштовуються під нього.

В США багато пишуть про те, що Google монополізує шлях до юзерів. На багатьох пристроях, наприклад, смартфонах та планшетах, в тебе по замовчуванню стоїть Google. Якщо ти купуєш новий телефон, скачуєш браузер, який тобі подобається — в тебе там одразу стоїть пошукова система Google. Для того, щоб змінити пошуковик за замовчуванням, тобі потрібно провести неабиякі маніпуляції. В YEP ми зробити кнопку, яку ти бачиш на головній — «встановити YEP за замовчуванням». Ти можеш зробити це швидко, не треба перечитувати пів інтернету, як я колись, щоб поставити собі альтернативну пошукову систему.

Зараз в Європі законодавці дуже переймаються цим питанням. Вже прийняті закони, які будуть вимагати від компаній поступок, щоб збільшувати конкуренцію. Тобто, ми можемо очікувати, наприклад, що Apple в пристроях як Iphone дасть можливість вибирати, який пошуковик використовувати за замовчуванням. Це вже сталося з Google: на Android-телефонах зобовʼязані дати можливість вибирати пошукову систему за замовчуванням. Те саме — в Індії. Тобто ми можемо очікувати, що у нас буде якась допомога також з-боку держав, яка дозволить нам поступово відвойовувати частку ринку у монополіста.

Чи зможе YEP відвоювати долю ринку у Google

Дмитро: Ми хочемо, щоб YEP став найбільш популярною пошуковою системою. На першому етапі ми хотіли б допомогти альтернативним пошуковим системам, дати їм можливість зменшити монополію Google та Bing. Так як пошук дуже дорогий в обслуговуванні, то Google i Microsoft фактично контролюють всіх інших своїми цінами. Ми можемо це виправити і дати можливість альтернативним пошуковим системам також розвиватися.

І звичайно, ми будемо намагатися зробити YEP настільки ж гарним, як топ-пошукові системи, можливо краще. Потім ми розпочнемо маркетингову компанію, щоб отримати більше і більше користувачів. І за рахунок бізнес-моделі ми зможемо конвертувати багато людей, які не байдужі до бізнес-моделі.

Дарія: Нас часто питають, як ви будете конкурувати з Google? Це завжди викликає посмішку. Щоб конкурувати з Google, потрібні роки. Не порівняти, які інвестиції Google або Bing вкидають в пошук з тим, що можемо інвестувати ми. За бюджетами це як величезний кит і маленький кролик.

Але ми йдемо в ногу з ринком, намагаючись запропонувати фічі, яких хочуть користувачі. Ти можеш подивитися пошук, і хоча це ще бета, але це вже дуже офігенна бета, яка працює і встигає за ринком. Коли в медіа спалахнула історія про ChatGPT, YEP дуже швидко зреагував і створив у себе фічу, яка робить AI-самері, силами команди з 16 людей! І якщо з’явиться ще щось, я впевнена, що наша команда сяде і за день-два збере те, що потрібно користувачам.

Читайте також на Newssky «Данія відправить Україні військову допомогу на понад $250 млн» і дивіться на YouTube-каналі «Нудний Пенс».

Щоб завжди бути в курсі подій, підписуйтесь на ТГ-канал Newssky. Також рекомендуємо актуальні дискусії друзів України в Північній Америці на YouTube-каналі Rashkin Report.