Поиск без интернета. Новая бета приложения Яндекс

• Блог компании Яндекс ,
• Поисковые технологии ,
• Разработка мобильных приложений

Многие из нас все еще попадают в ситуации, когда нужно быстро найти важную информацию, но доступ в интернет ограничен или отсутствует. И одно дело – пытаться открыть развлекательный пост на сайте, и совсем другое – искать номер телефона горячей линии банка или больницы. Сегодня я впервые расскажу читателям Хабра о том, как ускорение поиска в приложении Яндекс привело к возможности искать важную информацию без интернета.

Но для начала нужно понять главное: зачем мы вообще взялись за офлайн-поиск, если сайты из результатов поиска все равно недоступны при отсутствии сети?

EDGE-поиск

На радарах Яндекса традиционно видны люди, которые вводят запрос, но затем покидают страницу, не дождавшись загрузки из-за плохого мобильного интернета. В этой ситуации мы не могли повлиять на общее качество сети и скорость загрузки всех сайтов, но сделать менее болезненным хотя бы процесс поиска и сэкономить этим немного времени стоило попытаться. Собственно, поэтому этот проект изначально и назывался EDGE-поиском, т.е. поиском при медленном интернете.

Ускорить поиск можно двумя способами. Во-первых, максимально оптимизировать веб-версию и те API, которые использует приложение. И эта работа тоже ведется, но даже этого недостаточно. Во-вторых, можно заранее загрузить на устройство то, что пригодится при плохом соединении. Очевидно, что уместить весь индекс интернета в телефоне физически невозможно. Поэтому нужно было зайти со стороны локального хранения уже готовых результатов поиска по конкретным запросам. По каким? Предсказывать будущие запросы человека с высокой точностью пока никто не умеет (но мы учимся). Поэтому берем популярные повторяющиеся запросы.

Когда мы говорим про популярные запросы, то многие представляют себе запрос [вконтакте] и несколько подобных. На самом деле у нас сотни тысяч менее очевидных запросов, которые регулярно повторяются в больших количествах. А это уже многие сотни мегабайт результатов. Причем сохранять мы планировали не только результаты поиска, но и подсказки, которые появляются в процессе ввода запроса. И здесь многие спросят: зачем хранить в офлайне подсказки, ведь человек вполне способен ввести запрос и без них?

При вводе запросов в приложении Яндекс пользователи видят не обычные поисковые подсказки, а в виде отдельных слов/пар слов (т.е. предиктивный ввод текста). Обычные подсказки нельзя отредактировать: если нужно дописать слово, то придется вводить весь запрос самостоятельно. Подсказки в виде слов позволяют вносить правки, покрывают куда бОльшее число запросов и значительно ускоряют их ввод человеком.

Но главное в том, что подсказки оказались особенно полезны при работе в офлайн-режиме. Эти подсказки помогают людям сформулировать свой вопрос так, как это делает большинство, а это, в свою очередь, увеличивает шанс того, что ответ будет получен из локального кэша. Именно поэтому важно было сохранить и подсказки.

Эмпирически мы подобрали определенный минимум поисковых запросов (порядка 150 тыс.) и подсказок, меньше которого хранить смысла уже не оставалось. Но объем всего этого багажа по-прежнему выходил за рамки приличного (несколько сотен мегабайт). Даже с учетом того, что для каждого запроса хранились лишь топ-10 результатов. Нужно было что-то делать.

От оптимизации к офлайну

Начали искать все то, что можно было отправить «под нож». Каждый результат содержал в себе не только ссылки на сайты, но и фавиконки и сниппеты. Фавиконки – это картинки, а значит, здесь можно было добиться серьезной экономии. Один и тот же сайт может встречаться в результатах для совершенно разных запросов, поэтому мы изначально не дублировали фавиконки, а хранили их по сайтам. А дальше мы сделали так, что вероятность сохранения фавиконки прямо пропорциональна частоте появления сайта в результатах поиска. Иными словами, мы отказались от большинства фавиконок, но визуально это не сильно бросается в глаза.

Чем больше мы сокращали обычные результаты поиска в пользу уже готовых ответов, тем ближе подходили к пониманию, что наш EDGE-поиск уже не просто ускоряет работу, а способен отвечать на широкий круг вопросов вообще без соединения с интернетом. Сами того не замечая, мы уже работали над офлайн-поиском. А значит, ставку надо делать на готовые ответы. Осознав это, мы приступили к обогащению базы важными фактами, которые до этого не могли попасть туда из-за ограничения популярности запроса. Эти результаты содержат только ответы, без выдачи сайтов.

По похожей схеме мы скопировали в базу все карточки объектного ответа и все запросы, для которых объектный ответ доступен. Карточки при офлайн-поиске отличаются от оригиналов почти полным отсутствием картинок: мы убрали их из соображений экономии.

Рост базы фактов требовал дальнейшей работы над оптимизацией и такой структуры хранения данных, которая бы бережно относилась к ресурсам устройства.

Словари

База скачивается на устройство не целиком, а в виде отдельных словарей, причем только при Wi-Fi-соединении и только при достаточном уровне заряда. Разбивка на словари сделана по двум причинам. Во-первых, если при загрузке соединение рвётся, то во время следующей попытки будут скачиваться только те словари, которые не успели скачаться раньше. Во-вторых, для дополнительной экономии места база загружается и хранится на устройстве в сжатом виде, но при каждом запросе распаковывается не целиком, а только нужными частями.

Каждый словарь содержит запросы, начинающиеся на определенные буквы, а также все данные для выдач и подсказок по этим запросам. Отсортировать данные перед разбивкой на словари именно по первым буквам запросов оказалось логичнее, чем, например, по их популярности. Представьте ситуацию: в первом словаре лежат самые популярные запросы, во втором - чуть менее популярные и так далее. Но популярность запросов часто меняется, а это приведет к необходимости регулярно обновлять словари только ради того, чтобы переместить запрос из одного в другой. Это затраты трафика, энергии и времени. Поэтому было важно сделать так, чтобы при актуализации базы запросы не перемещались между словарями. Алфавитный порядок оказался простым и эффективным решением.

Ответы на одни и те же запросы могут различаться в разных частях страны, поэтому для разных регионов формируются свои словари. Причем при кратковременных визитах в другой регион приложение не будет спешить с обновлением словарей – мы предусмотрели сценарии командировок и туризма.

Как бы мы ни старались, офлайн-поиск покрывает не все возможные запросы, но уже сейчас выручает в среднем при каждом третьем. Как и для любого среднего результата, это значит, что одна часть пользователей сталкивается с офлайн-ответами куда чаще, чем другая. Поэтому мы, конечно же, позволяем полностью отключить офлайн-поиск в настройках.

Нашей команде было бы интересно узнать мнение читателей Хабра об этом направлении и получить отзывы о работе беты

Яндекс.Браузер - это простая, удобная и быстрая программа для работы в интернете. Браузер от Яндекса существенно ускоряет загрузку страниц при медленном интернете и экономит ваш трафик. Он понимает, какой сайт вам нужен, даже без точного адреса: браузер умеет открывать нужные ресурсы сразу, экономя ваше время. Ответы на некоторые вопросы показываются сразу, без перехода на страницу. Любимые сайты доступны в один клик - на Табло.
Быстрый доступ к любимым сайтам

• при клике в строку Яндекс.Браузера и при создании новой вкладки автоматически появляется Табло набор ссылок на сайты, которые вы чаще всего посещаете;
• вы можете вручную выбрать нужные сайты и закрепить их, чтобы они всегда оставались на Табло.

• технология Турбо позволяет Яндекс.Браузеру сжимать содержимое веб-страниц, чтобы быстро загружать их даже при медленном интернете и экономить трафик.

Поиск без лишних кликов

• для экономии вашего времени некоторые ответы браузер показывает сразу, например, расположение ближайших кафе, картинки, новости и видео;
• На планшете Яндекс.Браузер открывает веб-страницы рядом с результатами поиска, чтобы вам было удобнее в них ориентироваться и выбирать нужный сайт;

Умная строка для адресов и запросов

• браузер понимает адреса сайтов и поисковые запросы, введённые как с клавиатуры, так и голосом;
• узнаёт множество страниц по простому описанию, например, [ведомости] или [лев толстой википедия], чтобы браузер смог сразу же их открыть;
• показывает цифры и факты сразу в подсказках, например, вес кирпича или столицу Мадагаскара;

Синхронизация данных

• делает удобным использование браузера на разных устройствах: нет нужды заново настраивать закладки или список любимых сайтов, они автоматически будут перенесены с компьютера на вашей устройство;
• все закладки вашего браузера хранятся на специальном сервере Яндекса: даже если ваше устройство выйдет из строя, они всё равно сохранятся.

«Быстрый звонок»

• Кликните по номеру телефона, найденному в браузере на компьютере, и смартфон сам его наберет (если включена синхронизация в Яндекс.Браузере на обоих устройствах).

Особенности :

• технология активной защиты Protect
• режим Турбо 2.0 ускоряет загрузку страниц
• режим Инкогнито помогает обойтись без лишних следов
• фоны, позволяющие изменять внешний вид новых вкладок по настроению
• умная строка открывает сайты по их названиям
• Дзен показывает новости, видео и статьи на темы
• синхронизация с помощью аккаунта в Яндексе
• новый мобильный поиск
• быстрый доступ к любимым сайтам
• управление жестами
• голосовой ввод и многое другое

Скачать Яндекс Браузер на Андроид

Скачать Яндекс Браузер для Андроид бесплатно вы можете по ссылке ниже.

Многими сервисами славен «Яндекс». Но есть у него полезные приложения и программы, которые знает небольшая часть пользователей. Рассказываем о наших любимых.

«Радио» для смартфонов

Во-первых, оно бесплатное, что сегодня редкость среди музыкальных приложений. Во-вторых, учитывает твое настроение или занятие, под которые формирует соответствующие плей-листы. В-третьих, «Радио» постепенно изучает твой вкус и подбирает музыку, которая тебе понравится. Поэтому с его помощью удобно находить неизвестных тебе исполнителей, у которых есть все шансы перейти в разряд любимых.

Бесплатные Word, Excel и PowerPoint онлайн

С недавних пор на «Яндекс.Диске» появилась возможность создавать и редактировать документы (тексты, таблицы, презентации) в привычном интерфейсе программ Microsoft Office. Они сохраняются тут же в облаке и доступны с любых устройств, на которых есть «Диск».

Приложение «Транспорт»

Ну ладно, про него знают, по-видимому, большинство тех, кто пользуется наземным общественным транспортом и смартфоном. Но есть же и несведущие. А это в данном случае преступление. «Яндекс.Транспорт» стал настоящим спасением для всех пассажиров страны, томящихся в неизвестности на остановках. Приложение в реальном времени показывает передвижения автобусов, троллейбусов, трамваев и маршруток!

Офлайн-переводчик для смартфонов

Яндексовское приложение-переводчик работает без Интернета с семью самыми популярными языками. А за границей, как известно, плохой и дорогой Интернет скорее правило, чем исключение. В качестве бонусов: голосовой ввод и озвучивание, перевод по фотографии и другие полезные фичи.

Бесплатная защита от опасных сайтов и вредоносных ботов

Не нужно покупать антивирусы, чтобы построить основную линию защиты своих компьютеров. Настроив «Яндекс.DNS», ты оградишь устройства (или всю домашняя сеть сразу) от мошеннических сайтов и программ, использующих твой компьютер для кибератак. А в режиме «Семейный» на гаджетах твоего ребенка не будут открываться эротические и порносайты (ребенок, конечно, все равно обойдет это ограничение, но твоя совесть будет спокойна).

Погода с точностью до дома (и прогноз с учетом ошибок метеорологов)

При определении текущих климатических условий погодное приложение «Яндекса» учитывает тип поверхности, высотность застройки, наличие водоема и т.п. в месте, где ты находишься прямо сейчас. А при составлении прогноза оно учитывает ошибки, которые делают метеорологи. Благодаря этому получаются прогнозы повышенной точности.

Персональный агрегатор интересных материалов «Дзен»

Клавиатура с гифками, эмодзи и переводчиком (только для iOS)

Усовершенствованная клавиатура для айфонов умеет подсказывать подходящие к беседе эмодзи, искать гифки и картинки, посылать твое местоположение в любом мессенджере. Встроенные переводчик и рисовалка тоже многим нравятся.

Полюбуйся самым красивым городом России с высоты полета воздушного шара!

Есть на »Яндекс.Картах« и другие примечательные панорамы, например Москвы-реки или Эвереста .

Контекстный подсказчик

Все время забываешь, что такое фалафель и где находится Берингово море? Расширение для браузера »Яндекс.Карточка« прямо на открытой странице подсказывает значение терминов, кратко рассказывает об упомянутых личностях, местах и объектах.

ЕГЭ-онлайн

Здесь можно натаскать своих детей на единый госэкзамен или проверить, выпустили бы сегодня из школы тебя.

Яндекс.Браузер является бесплатным и современным браузером для компьютера с функцией Турбо-загрузки «тяжелых» веб-страниц на максимально быстрой скорости.

Скачать Яндекс Браузер для Windows 7, 8 и 10

Создано приложение на известном «движке» Blink, который был разработан и первым внедрен в Chrome от Google. Успех программы у русскоязычной аудитории пришел благодаря минималистичному и приятному дизайну, а также встроенным и полезным виджетам разных сервисов Яндекса собственной разработки.

Отличительные особенности:

• интегрированный модуль для просмотра и редактирования PDF, DOC, XLS, TXT и других документов;
• встроенный антивирус от Лаборатории Касперского, способный проверять загружаемый контент и отдельно скаченные файлы;
• на панели есть быстрый доступ к погоде, электронной почте, просмотр пробок, вход в облачное хранилище (диск), а также «умный» поиск;
• встроенное расширение Adguard с пожизненной лицензией (включается в Настройки — Дополнения, раздел Блокировка рекламы).

Скачать Яндекс браузер с официального сайта бесплатно на русском языке можно для ОС Виндовс 7, 8 и 10 любой битности по ссылкам ниже. Установка стандартная и по умолчанию.

Мобильный браузер корпорации Яндекса стал популярным и завоевал в рунете лидирующие позиции. Предоставляет пользователям мобильных устройств Андроид моментальное открытие даже весьма загруженные web-страниц сайтов на смартфонах и планшетах с помощью режима Турбо 2.0. Бесплатный веб-обозреватель Yandex.Browser для удобства пользователей легко и незаметно адаптирует страницу сайта под размер экрана телефона.

Особенно на мобильных девайсах повышено внимание к безопасности и технология Protect в случае опасного сайта предупредит пользователя, а также заблокирует передачу личных данных через открытую Wi-Fi сеть.

На бесплатном мобильном браузере есть дополнительная синхронизация с другими пользовательскими устройствами с возможностью восстановления данных даже после повторной установки через APK-файл или Market. Все встроенные и дополнительные официальные расширения можно скачать без регистрации и на русском языке.

Скачать Яндекс браузер на iPhone и iPad

Последняя версия приложения на системе iOS делает открытие и просмотр сайтов максимально комфортным, загружая значительно быстрее даже большие страницы. Пользователям iPad и iPhone предлагается функционал «умной строки» для ввода запросов с помощью клавиатуры или голоса, мощная система рекомендаций по интересам и защитник от любых вредоносных данных. Современный и простой стиль интерфейса делает бесплатный Яндекс.Браузер быстрым и удобным.

Разработчики внесли в программу так называемые конфигурации для одновременного пользования на нескольких мобильных устройствах. Яндекс браузер часто обновляется и поэтому важно следить и всегда устанавливать новую актуальную версию.

Установить Яндекс Браузер на компьютер можно бесплатно последнюю официальную версию по ссылке ниже. Рекомендуется производить установку по умолчанию на системный диск С для стабильной работы приложения.

Не секрет, что рынок мобильного программного обеспечения и устройств постепенно занимает лидирующие позиции. Вследствие этого многие крупные разработчики переводят свои продукты на поддержку данного сегмента. Не исключение и компания Яндекс со своим одноименным детищем – Яндекс браузером. Данная программа уже достойно конкурирует среди десктопных устройств и набирает обороты среди мобильных платформ.

Для Android

Для того чтобы воспользоваться всеми достоинствами данного веб-обозревателя для начала необходимо скачать Яндекс браузер на телефон и установить его.

С некоторых пор платформа Андроид уже по умолчанию имеет установленный браузер Яндекс (первыми это внедрила компания Самсунг). Если у вас по каким-то причинам он отсутствует, то для установки необходимо:

Войти в Плей Маркет со своего устройства (для полноценной работы у вас должен быть активный аккаунт в Google );

В поисковую строку вбиваем «Яндекс браузер»;

В открывшемся списке находим программу и переходим на страницу приложения;

Нажимаем кнопку «Установить» и дожидаемся загрузки установочного пакета;

После скачивания установка программы начнется автоматически. Это может занять некоторое время в зависимости от мощности устройства.

Установка в iPhone

Так как данная платформа практически на одном уровне с Android, то естественно наш веб обозреватель адаптирован и под нее. Установка на Айфон достаточно проста и ничем не отличается от установки других приложений. Итак, для того, чтобы установить Yandex браузер на платформу iOS, необходимо воспользоваться виртуальным магазином приложений в App Store:

Заходим в магазин при помощи соответствующего ярлыка и выбираем раздел «Интернет».

При помощи поиска находим в списке Яндекс браузер и нажимаем Install.

Интересно! Если у вас до этого была установлена программа «Яндекс поиск» то она автоматически замениться на новый браузер.

Установка на платформу Windows

С учетом того, что на данный момент компания Майкрософт отказалась от поддержки мобильной версии своего продукта на все телефоны, включая знаменитый смартфон Нокия. Устанавливается кроссплатформенная Windows 10, установка браузера на мобильные устройства с данной операционной системой происходит по принципу установки программ на обычный компьютер. Для этого нужно:

1. Скачать бесплатно с официального сайта установочный пакет;
2. Нажимаем «Установить»;
3. Ждем окончания установки программы;
4. На главном экране появится ярлык браузера;

Преимущества мобильной версии интернет обозревателя Яндекс

Удобный интерфейс

С учетом обзоров пожеланий пользователей команда Яндекс разработала удобный и эргономичный дизайн:
Удобное и обширное меню настроек, в том числе и визуального отображения.

Для небольших экранов изменено расположение поисковой строки, теперь она находится внизу, для удобства работы одной рукой.

Для больших экранов (планшетный вариант) имеется возможность параллельного просмотра поисковых выдач и открытых сайтов.

Поисковая строка является одновременно и адресной строкой.

Закладки быстрого доступа теперь на главном экране, формирование и редактирование значительно упрощено.

Внедрено и адаптировано жестовое управление прграммой.

Разработан режим максимального использования экранного пространства – «Режим чтения», который убирает все дополнительные элементы с экрана.

В Yandex реализована «Умная лента». Даная опция анализирует и подбирает контент, оповещения и рекомендации по наиболее интересным и часто посещаемым темам.

Теперь пользователь может воспользоваться голосовым управлением и поиском. Яндекс представил собственного голосового помощника Алису, который интегрирован по умолчанию в программу.

В планшетном варианте отображения есть возможность одновременно просматривать и результаты поисковой выдачи и открытые сайты, что значительно облегчает переключение между несколькими интересующими нас запросами.

Кроме этого:

• Усилена безопасность работы в сети;
• Внедрена синхронизация личных данных;
• Внедрена опция ускорения работы и экономии трафика «Турбо».

Одним словом, пользователи мобильных платформ получают все преимущества десктопных программ на своих устройствах. За счет вышеупомянутых плюсов новой программы для серфинга интернета, а так же за счет простоты установки и настройки обозревателя Yandex вы во многом облегчите себе работу с любимыми сайтами: скачивайте музыку, играйте в игры, посещайте любимые сайты.