Дешёвый интернет: размышления и возможности.

Прочтя свою книгу доступную на сайте pcmanual.narod.ru, я пришёл к выводу что надо бы ещё раз коснуться вопроса о способах выхода в интернет. Кроме того я хочу облегчить жизнь пользователя. По этим причинам я пишу этот текст который может исправляться и дополняться по мере появления новой информации.

Знаешь ли ты, пользователь интернета, каким медленным и дорогим может быть интернет? Если да то это написано для тебя. Если нет то тебе будет полезно знать что не у всех есть такой же канал как у тебя. Возможно, ты — один из тех кому повезло, владелец быстрого канала на работе или дома. Возможно, ты думаешь что это не важно. Но ты ошибаешься. Тебе самому вероятно приходится платить за превышение лимита. Я говорю не о том что кто-то не может скачать фильм за три минуты или что-то подобное. Я имею в виду простую необходимую практику. Твой канал Стрим, дорогой читатель — это проводной канал поэтому он невозможен в пути, и, главное, этого проводного канала просто нет в провинции, и он нескоро там появится. Стоит только выехать из Москвы и ситуация меняется кардинально. Во-вторых, не все могут себе позволить платить по 300-500 рублей в месяц.

А теперь представь: у тебя для интернета остался только мобильник (или это почти всё). Такова реальность большей части нашей страны. Возможно, твой мобильный телефон может работать с 3G,но надо ещё чтобы у тебя был провайдер который предоставит тебе это подключение по подходящей цене. Сам по себе телефон ничего сделать не может. Что же получается? Билайн, например, берёт за один мегабайт переданной через GPRS информации почти 10 рублей (тариф Стандарт1). Обычная цена для московских провайдеров — несколько рублей за мегабайт. Однажды посидев вечер на быстром канале подведи курсор к значку соединения и убедись что ты «насидел» 20-30 мегабайт — даже не скачивая чего-либо (при включённой графике). А скорость на GPRS! Это всего лишь порядка 10 килобайт в секунду или даже меньше. Представил как медленно всё будет грузиться? Конечно, есть EDGE и прочее но они по тарифу не дешевле, а только может быть быстрее.

Что же делать? Первый ответ на этот вопрос должен быть известен всем: отключить запрос на графику, видео, звук. Но проблема останется. Даже ограничивая себя можно легко «насидеть» несколько мегабайт за вечер. Ответ второй: идти в интернет-кафе. Но оно не везде есть. Ответ третий: заказывать файлы по почте. Но не все файлы так стоит заказывать. Например, для получения журналов этот способ не годится. Так растратно и трудно жить без быстрого канала.

Я время от времени просматриваю предложения и на сегодня знаю такие хорошие выходы из положения:

• - СТВ-Эфир, (http://efir.stv.su). 1 мегабайт стоит от 0,4 рубля (ночной тариф, скорость 25 килобайт в секунду). Зона покрытия: Москва и Подмосковье. Однократные расходы на антенну и пр.
• - использование OperaMini или режима OperaTurbo. Тут экономия основана на том что данные сжимаются. Это происходит «на лету», по мере подачи данных. Как заявлено экономия при OperaMini может достигать 90%. Всегда при сжатии данных проверяйте свой счёт тк провайдер может брать деньги не по той схеме как вы ожидаете. Режим Turbo по моему замеру экономил около 40%. Расходы будут определяться типом информации тк для разных данных получается разное сжатие. Например, архивы практически не сжимаются. Сюда же относится применение специального декомпрессора для Opera который позволяет выводить сжатые OperaMini документы в окно обычного браузера. Работает только для текстов и сайтов.

• - оптимизация графических файлов

• - очистка HTML-файлов. Работает только для сайтов.

• - «очистка» PDF-файлов — например от лишних шрифтов

• - конвертация массивных файлов перед загрузкой. Конвертация JPEG-файлов в формат JPEG2000 даёт 50%-ю экономию.Это прежде всего относится к формату PDF. Часто такие файлы — набор снимковотсканированных страниц. Поэтому объём таких файлов можно сильно уменьшить конвертацией в формат DJVU. В моих опытах экономия составила от 75 до 92%. Первый вариант был достигнут при конвертации файла на сервере AnyDJVU. Второй — при использовании конвертера.
• - распознавание PDF файлов описанного типа. Экономия может быть до 75% и больше от экономии с DJVU. Но тут возникает проблема другого рода: распознанный файл может быть искажён. Эта опасность возникает прежде всего для сложных документов и для многоязычных документов а также для распознанных автоматически. Например вы можете использовать сайт http://www.newocr.com. Но этот сайт распознаёт файл который у вас уже скачан. Нас же прежде всего интересует распознавание файла который ещё не скачан. Для распознавания уже скачанных файлов есть бесплатная программа CuneiForm и др. Такую программу как CuneiForm можно автоматизировать, для этого есть отдельные автоматизаторы.
• - желательно получать оглавление книг чтобы избежать ненужной загрузки. Это значит что надо отделить от исходного файла несколько страниц.
• - использование для объёмных и несжимаемых материалов запроса на удалённую машину с быстрым каналом. В результате этого большой поток данных идущий через GPRS или подобный канал замещается на скромный поток для управления загрузкой, а материал передаётся на носителе после скачивания на другой компьютер. Для реализации этого плана начинающим лучше всего применять управление удалённым рабочим столом через программу доступную как в Windows так и в Linux. В WindowsХРона находится среди стандартных программ в меню программ. Подробнее см в интернет.
• - использование ресурсов (кода) программ если этот код меньше файла готовой программы. Недостаток этого способа в том что потребуется компилятор для создания программы. Во-вторых, эта процедура может различаться для разных кодов. И она не для начинающих. Код можно хорошо сжать если он ещё не сжат.
• - применение сжимающих прокси-серверов, например Rabbit (http://www.khelekore.org/rabbit/). Сервер возможно должен быть установлен на серверной машине. Действенно только для сжимаемых данных. Экономия для текста — до 75%. Работает только для текстов и сайтов.
• - применение фильтрующих прокси-серверов например Proxomitron. Работает только для сайтов.

Как вы заметили я упоминаю случай когда обрабатываемый файл уже есть на компьютере после скачивания. Зачем я это делаю? У меня есть надежда что среди российских пользователей достаточно альтруистов которые согласятся отдать часть своего нелимитированного трафика и вычислительной работы на обработку файлов для других пользователей. Это не предполагает работу пользователя. Например во время простоя машины. В таком случае складывается такая картина: пользователь А находит в интернете файл который может быть уменьшен но не скачивает его а обращается к системе которая находит уже обработанный файл на машине пользователя В. Система пересылает файл к А. А этим экономит 0 — 80 — 95% денег которые он должен был заплатить за объём файла; при повременной оплате он экономит и на стоимости времени.

Чтобы эта система работала надо чтобы

• система получала запросы на файлы которые будетнужно обработать
• система находила запрашиваемый файл в интернете — независимо от его названия
• система оповещала А что файл обработан
• система направляла файл на обработку к В
• система следила за тем чтобы число поставщиков и файлов было оптимальным. Избыточное количество расточительно, недостаточное грозит отсутствием файла тк компьютер поставщика может быть выключен, файл может быть потерян
• система предполагала средства обработки файла
• система отправляла файл заказчику

Кроме того для успеха на рынкесистема должна быть

• известной, отрекламированной
• простой в настройке, понятной
• относиться к типу «настроил и забыл», автоматической
• не мешающей другой работе на машине
• не требующей много устанавливать и скачивать, простой
• терпящей отключение по любой причине, выносливой к отключению
• позволяющей пользователю фильтровать и ограничивать обработку
• исключающей более одного запроса для одного файла. То есть если файл не запрошен но есть у обработчика то он не скачивается из интернет
• позволяющей оценку качества результата (голосования)
• исключающей рассылку секретной информации обработчика
• выносливой к переустановке ОС
• автоматически запрашивать уменьшенный файл для обработки, запрашивать меньший доступный файл
• преодолевающей возможные искажения распознавания. Например, позволяющей заказчику или системе запрашивать страницу или разворот оригинала если распознавание неудовлетворительно
• позволяющей отправлять запросы агрегировано и в удобное заказчику время

В качестве наброска опишу систему: управляющая часть системы — сайт; обрабатывающая часть системы — на сайтах и\или машинах обработчиков; обработчик может выбирать где происходит обработка; для файлов выделяется место (каталог) который желательно сделать недоступным для ручного вмешательства; все настройки хранятся в файле не страдающем при смене ОС; пользователь может использовать результат для своих целей и помогать распознаванию; в систему можно добавлять модули для обработки новых форматов.

Цель полной автоматизации видимо недостижима так как потребуется голосования, определение содержимого файла, языка текста, разрешения файла. Автоматический запрос DJVU-файлов по формальным признакам может быть неприемлем.

Автор статьи хотел бы чтобы заинтересованные программисты создали такую систему. Убедительная просьба сообщить мне об этой разработке.

pcmanual.narod.ru