Северные наблюдения

Буквально вчера была окончательно решена проблема перманентного логина в Андроид-приложении.

Краткое содержание предыдущих серий.

1. Немного суровой реальности. Браузер общается с сайтом при помощи так называемой "сессии", то есть некоего набора данных, признаваемого обеими сторонами. В какой-то момент сессия считается просроченной и все данные о контактах браузера с сервером обнуляются. Если, например, сервер подтвердил ввод пароля для данной сессии, то потеряв сессию браузер не сможет утверждать серверу, что он имеет право совершать действия от имени пользователя. Естественно, народ уже давно решил эту проблему при помощи всяких исхищрений. Одним из них, например, является хранение контекста (или токена для его восстановления) в памяти браузера (кукис или локальное хранилище)

2. Ещё более суровая реальность. До сих пор мои сайты и андроид-приложения эксплуатировали эту фичу без зазрения совести. В webView кукис сохраняются так же, как в обычном браузере, достаточно подключить нужную функцию в классе приложения. Но вот настали трудные времена и все внезапно озаботились приватностью. Откладывать кукисы, даже для упрощения логина, оказалось страшно опасным действием. Все сайты вняли требованиям возмущённых пользователей и начали требовать от них добровольно соглашаться на сию потерю анальной девственности. В частности, мои сайты были занесены в "красный список" сами-понимате-какой-корпорацией именно за отсутствие "консента". Пройдя унизительную процедуру я вернул сайтам честное имя, но пользователям от этого лучше не стало. Периодически у них выскакивают напоминания "этот сайт следит за тобой, нажми кнопку чтобы стать его рабом". Логин при этом мягко говоря про%бывается и пользователю приходится совершать дополнительные телодвижения для его восстановления (да, без ввода пароля, но всё равно геморрой).

Какова же альтернатива? Я подумал тут с Gemini, и мы пришли к выводу, что можно хранить токен не в памяти браузера, а в приложении, передавая его туда-сюда через адресную строку. Для десктопного браузера это неприемлемо, ведь тем самым мы позволяем пользователю сверкать у всех навиду голой жопой секретным токеном. Но для смартфона такой опасности нет. Адресная строка в приложении отсутствует, а значит всё, что там лежит остаётся между приложением и сервером. Короче, страничка логина принудительно получает от приложения дополнительный параметр, означающий "это мобильный клиент, ему - можно". При удачном логине сервер делает для такого клиента исключение. Он генерит этому пользователю персональный токен, запомнинает его вместе с датой выдачи и возвращает его в виде аргумента при перенаправлении на основную страницу. А поскольку основная страница тоже рендерится приложением, оно потихоньку считывает этот токен и запоминает его. Но запоминает уже не в виде богомерзкого кукиса, а в своей родненькой памяти, о которой никакой гугель-шмугель не знает, и знать не должОн. Если в следующий раз ему попадётся основная страничка, он пороется в своей памяти и, при наличии там токена, впрыснет его в адресную строку, чисто на всякий случай. В результате, основная страничка, подгружаемая в единожды залогиненом приложении, гарантированно получит токен. Всё, задачка решена, можно удалять код, откладывающий кукисы, а с ним заодно и консент-контент!

Ну и на дессерт: как я решил проблему пароля для регистрации и логина. Основной опасностью тут является хищение пароля всякими сниферами. Так вот, при моей схеме пароль тупо не передаётся на сторону сервера (и соответственно там его нет). Даже если вы сидите на канале пользователя и прорвались через HTTPS, то всё равно увидите только чек-сумму, да и то не самого пароля, а чего-то наложенного на ещё что-то. Как это работает? Очень просто. При регистрации в браузер посылается "соль" которой посыпается пароль. После этого результат (в виде чек-суммы) отправляется на сервер и там сохраняется. Каждая попытка логина сопровождается генерацией дополнительного секретного компонента (назовём его "перец"). Браузер накладывает на введённый пароль и "соль", и "перец" перед тем как вернуть результат на проверку. Сервер вытаскивает "посоленную" чек-сумму для данного пользователя, накладывает на неё индивидуальный "перец" и сравнивает результат с предъявленным браузером. Подделать или зареверсить эту схему практически невозможно.

Дополнительная "фишка" - защита от поддельного запроса на аутентикацию. Дело в том, что в роли "перца" выступает юникс-тайм на данный момент времени (со стороны сервера). Если кто-то вздумает повторить запрос на логин со старым "перцем", то сервер его отвергнет, так как он уже "просрочен" по сравнению с последним успешным логином. Единственной лазейкой является полная имитация всех алгоритмов на стороне браузера, плюс кража секретной чек-суммы пароля (что является фактически кражей самого пароля).

Сначала - краткое содержание предыдущих серий. Года два-три тому назад я сделал из говна и палок своё первое андроид-приложение. Поскольку тогда ни о каком генеративном AI речи быть не могло, пришлось использовать видео-тьюториалы, наговоренные какими-то индийскими умельцами. С горем пополам то приложение было доведено до нужной кондиции, а его сорсы сданы в архив. И вот настал день "Икс", когда заглючил сайт у моего бесплатного хостера. Перенос кода и базы данных на другого хостера показал, что дело таки действительно было в хостинге. Ну ладно, причина и решение найдены, как теперь переучить имеющееся приложение работать с другим сайтом? На прошлой неделе я буквально за два дня восстановил приложение путём переноса в оригинальный IDE (на самом последнем сорсы тупо не компилировались). Всё, казалось бы хеппи энд... Но суровая реальность отвергла моё половинчатое решение. Приложение не ставилось на реальном "железе", а после декомпиляции и шаманства с цифровой подписью - зависало и вылетало.

Пришлось начать весь цикл заново. Я, уже наученный горьким опытом, задавал своему механическому наставнику правильно поставленные вопросы, заранее отсекая всякие боковые сюжетные линии. Мы с ним решили выбросить в топку старую версию АндроидСтудио "Flamingo" и перейти к более продвинутой "Iguana". В ней я тупо прошёлся по инструкциям моего опытного советчика и действительно получил самую первую работающую версию. Вот только после попытки открыть сайт она печально зависала. Причём в лучших традициях - без сообщений об ошибках. Пришлось учить, где в эмуляторе можно подглядеть консоль приложения. Дальше стало значительно легче. Ошибка была сходу распознана умным Джемини и по его совету я просто вырубил проверку сертификатов (так как эмулятор пребывал в каком-то странном состоянии рассинхронизации с реальностью). Ещё несколько итераций, и приложений прекрасно сработало в дебаг-режиме. После этого я стал терроризировать железного сенсея насчёт создания APK с валидной цифровой подписью, что в конечном счёте и удалось сделать. Приложение заработало на моём смартфоне, и тут можно было бы поставить точку. Но я ещё чуть-чуть пошаманил, встроил перезагрузку страницы по свайпу вниз, добавил в приложение свою фирменную иконку, зум по нажатию двумя пальцами и наконец - передачу информации наружу через "поделиться". Последним штрихом была отмена мерзкого фона в заголовке окна, диктуемого Material3 - пришлось подружиться и с этой частью настроек.

В целом я более чем доволен. На всю бодягу ушло два вечера мозговых штурмов в компании с Джемини. Приложение полностью восстановлено и теперь, если понадобится, я могу сварганить ещё что-то в аналогичном стиле. Например приложение в котором будут лежать планы поездки за границу, со всеми маршрутами, достопримечательностями, расписаниями и документами. А то я задолбался рассылать всей семье ссылки на очередной план путешествия.

Так уж получилось, что последний раз, когда мне довелось сваять настоящую графическую морду к программе, на дворе был где-то 2008 год (а может и ещё раньше). С тех пор как-то обходился консольными скриптами и веб-приложениями. Но вот приспичило автоматизировать некий процесс и чтобы всенепременно с полноценным гуём. И тут всё заверте...

Во-первых, старый как говно мамонта Tk выглядит сейчас мягко говоря неуместно. Соответствено, более продвинутый QT никак не прикручивается к Python2 (поскольку эта версия давно в "чёрных списках" у всех модулей). Закручинился добрый молодец, да видно некуда ему деваться - пришлось ставить самый продвинутый Пайтон - аж 3.12! К нему сразу же приставил QT5, ну и PyInstaller. Вот с этим "джентльменским набором" я и сваял простейший гуй к уже работающей консольной части. После компиляции (с помощью PyInstaller) получился полноценный виндовый экзешник, который сходу заработал на абсолютно постороннем для него компьютере. В процессе написанию кода пришлось пару раз сбегать на поклон к всезнающему Гугелю, а то в этом QT хрен знает какие методы для работы с виджетами (а ваш покорный слуга всё никак не поставит себе IDE более продвинутый чем gvim). В конечном итоге функционал вышел неплохой, а морда даже чем-то напоминает хакерские программки вроде кейгенов или инсталляторов вареза.

Да, если кому нужно - могу отдать за спасибо. Суть утилиты в обёртке вокруг ffmpeg: из ютьюб-ссылки извлекается её "секретный" плейлист m3u8 и вуаля - видео скачивается в нужном формате. Так что пишите письма ;-)

Да простят меня читатели, но я о своём, о "компьютерном".
Если быть совсем точным, то это уже не компьютер, ибо ВПС наконец-то (к 55 годам) смог наваять приложение для ондроед-устройства, который как бы уже и не персоналка, а чёрт-те-что.
И хоть "программа" получилась на несколько строчек длиннее "Hello, world!", к тому же написанная под копирку с лекций каких-то индийских товаристчей, но тем не менее, из неё вышло полноценное приложение (открывающее во встроенном браузере захардкоденную ссылку на сайт).
Более того, я даже скопипастил туда две фичи: не выходить из приложения по кнопке "назад", пока не достигнут нулевой уровень переходов, а также выполнить "зум" при нажатии пальчиками в двух местах.
Жалко, что перезагрузка страницы (по свайпу вниз) оказалась мудрёной, а так - всё работает как будто действие происходит в обычном браузере.
В планах теперь допилить поддержку свайпа вниз и приделать некую среду компиляции+установщик. Логично было бы что-то вроде NPM, но по сути можно обойтись двухстрочными BAT-файлами. Тем более, что вопрос закачки по FTP я буквально недавно решил - с десктопа можно заливать файлы в пакетном режиме при помощи встроенного FTP-клиента от мелкомягких или (более кошерно) - официально-бесплатным клиентом WinScp.
Теперь окончательно решён вопрос переноса на андроид аггрегатора новостей FreeRSS2, а также семейного списка покупок my-shopping-list. Осталось только допилить код, чтобы можно было скачать приложение с главной страницы (но это уже на вебе).

UPD: нашёл и впендюрил перезагрузку странички по свайпу! При этом один проект покорёжился, так что пришлось его подымать из руин. Срочно бегу загонять сорсы в GIT...

Только я затронул тему "таинственного" поведения программ, как буквально сегодня "стрельнуло" в совсем неожиданном месте.
Итак, есть веб-страничка, генерируемая пе-ха-пе на стороне сервера, и на страничке имеются кнопки/ссылки вызывающие некую JavaScript функцию. Функция быстро-быстро что-то делает и обновляет страничку, дабы показать результат. Всё работало, пока не купила баба порося: захотелось мне перед выполнением функции переспросить пользователя, мол "ты точно уверен?".

Пруф-оф-концепт прекрасно отработал на одной веб-страничке и я смело перенёс тот же код на другую страничку с похожим функционалом. И вот тут началось: открывается окно, и сколько бы я ни кликал кнопку "отмена" - окно открывается снова и снова!
Что за фак, подумал я, и вставил отладочные печати в JavaScript код. Результат вышел просто феерический: по клику функция "переспросить" вызывалась снова, как в сказке про белого бычка! Попытки как-то стрейсить эту засаду не дали ничего: стек содержит какой-то анонимный источник, явно не из жабаскрипта.

Что делать? Не бросать же работающий прототип в топку. Я начал с другого конца, открыл DOM-модель и начал искать вызовы функции там. Что же обнаружилось? Тихий ужас: ссылки на пресловутый коллбек были расставлены буквально на всех уровнях DOM, начиная с основной кнопки-ссылки. По крайней мере стало ясно, откуда сдох бобик: куда бы я ни кликнул, соответствующий объект внезапно обнаруживал у себя onclick-событие и отрабатывал его вызовом многострадальной функции с открытием модального окна. Первой мыслью был некий вирус (ага, в собственном коде, генерируемом к тому же на пе-ха-пе со стороны сервера). По трезвому размышлению я отверг бредовый вариант, внимательно посмотрел на HTML-код и ... обмер: у тега <a href="..."> не было закрывающей части! Вот такой лес, без деревьев! А поскольку HTML - не язык программирования, там непарные конструкции - не более, чем причуда клиента, поэтому браузер прикидывается ветошью и ... продолжает отрабатывать незакрытый тег! В результате доблестная DOM-модель продолжила считать ссылкой весь код после пресловутой кнопки. Ну как тут не ругнуться на всех известных языках!?

 Я давно хотел звести эту рубрику. Во-первых, под таким заголовком можно сокрушаться по поводу чего-то уму нерастяжимого. А во-вторых, спрашивать у почтеннейшей публики, каким словом назвать то или иное явление.

В данном случае получился микс: как назвать уму нерастяжимую ситуацию. Итак по порядку. У программистов часто бывает "затык", когда правишь что-то, а оно никак не реагирует на исправления.

Пример номер один: в браузере открыта страничка с дебагируемым сайтом, в окошке сорсов программист исправляет что-то, но ничего не меняется. А причина проста - он работал с девелопмент-версией, а в браузере висела продакшн.

Пример номер два, немного более сложный: работая с программой на компилируемом языке, забываешь перекомпилировать после исправления, и тупишь в код, недоумевая, почему не видны изменения при выполнении?

Пример номер три, совсем страшный: находишь по тексту нужное сообщение об ошибке, исправляешь его, запускаешь правильную версию ... и нифигашечки ничего не изменилось - печатается старое сообщение. Это - классический антипаттерн: в коде имеется несколько мест, где печатается одинаковое сообщение, и (естественно, по закону подлости) под руку для исправлений попадается совсем не тот фрагмент кода.

Ещё один антипаттерн: какие бы исходные данные не передавались бы на входе, результат получается один и тот же. Причина: для результата берётся не та переменная, или что ещё более мерзко - на каком-то этапе значение переменной тупо переприсваивают, и к результату она бодро идёт с новым значением, позабыв про многострадальные исходные данные.

Ну и совсем тяжёлый случай: в десктопной версии изменения видны, а тот же код на мобилке хромает старыми костылями. Причина тут немного необычная, но вполне реальная: в десктопном браузере можно принудительно перезагрузить страничку, включая картинки и CSS, а вот мобильная версия таких опций не имеет, поэтому волочит за собой стааарый кеш.

Собственно вопрос: каким словом (кроме матерных) можно ёмко и ясно обозвать данную ситуацию? На иврите есть устойчивое выражение, взятое из анекдота про поиски денег под фонарём (хотя потеряли их в другом месте) "ми-тахат ле-панас". А как это будет по-русски (английский тоже сойдёт) ?

PS: как бороться с такими ситуациями? Ну во-первых, перед тем, как начать рвать на голове волосы (у кого остались), попробуйте преднамеренно испортить исходный код, чтобы он заведомо упал на синтаксисе. Если опять никакой реакции - идите по следу от исходников до результата, потому что дебагируется явно что-то не то. Для случая с копипастой кода: это мерзкий антипаттерн, бойтесь его как огня при написании/исправлении программы, а то он вам ещё и в других ситуациях "выстрелит", например, при правке бага. Нецелевое использование переменной поймать тяжело, но можно: в современных языках есть всякие приблуды для статического анализа кода - не ленитесь их запускать при каждом изменении и тщательно анализируйте результат. Ну и конечно же опасайтесь языков, в которых можно обратиться к переменной без объявления. Злостный затык с мобильным браузером тоже имеет решение: к каждому подгружаемому из HTML файлу в адресе надо приписать дополнительный аргумент, не меняющий сути (ведь картинки и CSS обычно не принимают аргументов), но зависящий от номера версии. Этот примитивный трюк заставляет браузер инвалидировать кеш для всех подключаемых к страничке объектов.

Процесс регистрации прост и незатейлив, установка клиентской части на винде - тоже как два пальца об... ну вы поняли.

Несколько неудачно прошёл первый коммит (не в плане техники, а из-за моих развесистых ушей).
Дело в том, что до начала полноценной работы с сорс-контролом, я вбил явки-пароли подключения к MySQL в некий файл концигурации. Естественно, после деплоймента на сервак, для пользователя он невидим, но у меня хватило ума закоммитить его в GIT со всеми остальными сорсами.

Казалось бы, что за беда - удали файл и залей "пустышечную" версию... Но это если бы речь шла о статической системе. А сорс-контрол (как мстительный интернет) помнит всё! Так что никогда не повторяйте мою ошибку - коммитить можно только специально приготовленную копию проекта, без паролей и прочих чувствительных данных.
Короче, пришлось пересоздать проект (благо там было полторы версии) и заодно прикрутить самодельный патчер, чтобы "если чо" выпечь файл конфигурации из внешнего конфига.

Ну что я вам скажу, всё очень мило, кавайно и хайтечно. В наше время такой няшности не было (в далёком 97-м я только-только познакомился с RCS - по нынешним меркам это реальная жесть). Впрочем, о чём это я, - уже в антисоветской ОС NTS было понятие версии на уровне файловой системы, и там это работало как часы (я думаю, современные часы имеют столько же оперативки, сколько в том шкафе, размером с холодильник-другой). А другой опен-сорс проект я коммитил SVN-ом на флешку, сидя с лептопом в тамбуре поезда - это было лет 15 тому назад. Теперь всё онлайн, и можно не бояться внезапной потери хард-копии, будь то смерть диска или пропажа компьютера (тьфу-тьфу-тьфу).

Ещё чуть-чуть, и можно будет перейти от PoC версии к "нулевому релизу". От винта!

git stash
git update
git pull --rebase
git stash pop

Всё, это конец эпохи и начало новой. FreeRSS1, рождённый как упражнение в мультидисциплинарном программировании (веб, базы данных, обработка информации) окончательно ушёл в архив. С сегодняшнего дня я могу полноценно читать RSS-подписки со всеми фильтрами, поиском и обновлениями. Да, это "нулевая" версия, там конь не валялся в плане настроек, но уже работает аутентификация и даже добавление/удаление новых лент. Ну и самое главное - система полностью вышла в онлайн, нет необходимости держать включённым домашний комп и выставлять наружу открытый порт для доступа к аппликации извне.
В процессе интеграций я открыл для себя много интересных способов выстрелить себе в ногу. Например, сраный PHP не предупреждает о странном использовании неинициализированной переменной и молча выдаёт пустую строку там, где я ошибся на одну буковку в идентификаторе. При этом он мстительно игнорирует глобальные переменные (ибо антипаттерн).
Вообще этот язык лишь условно можно назвать языком программирования. Если ты не добрался на хостинге до 8-й версии, то названия встроенных функций у тебя выглядят как упражнение студента первого курса в именовании подпрограмм. Приёмчики работы с массивами напоминают какой-то Фортран, а не язык, используемый в 21-м веке. Короче, скоро закрою бек-эндовую часть проекта и возьмусь за GUI. Там по крайней мере будет веселее в плане дебага - можно хоть на пустышках в браузере тренироваться.

Для тех, кто не в курсе: так программисты называют витиеватые способы, которыми программа может сделать себе больно.

Итак, был у меня замечательный код, просто конфетка: после выбора фильтра в верхнем меню он проходил по всем имеющимся объектам и помечал не прошедшие фильтрацию ноликом, а прошедшие - единичкой. После этого на сцену выходил его высочество AngularJS который показывал или прятал объект, в зависимости от того самого статуса.
Но начальство резонно заметило, что прятать от пользователя объекты, пусть даже отфильтрованные, некрасиво. А красиво было бы объект показать, но в стиле "disabled" - сереньким, с выключенными действиями по клику мышки. Сказано - сделано: пошаманил с CSS, переставил вместо ng-hide вычисляемый класс ng-class зависимый от всё того же битового поля 0/1.
И оно тоже прекрасно заработало, и увидел я что это хорошо, и сказал "да быть интеграции". Дело в том, что помимо этих визуальных чудес, я накрутил сложнючий код на PHP, который читал инфу из JSON-файла, объединял эту инфу с реальными объектами из базы данных, остатки разбивал на два подмножества (привет вычислительная математика)...
Поэтому, чтобы немного облегчить мне жизнь, вопросами фронт-энда занялся совсем другой человек. Он просто заметил, что в моём жаба-скрипте есть что-то связанное с условием показывать/спрятать, и логично рассудив, что именно этого ему почему-то не хватает, понаставил в собственном цикле единички во все объекты.
И вот, собрана бета-версия, начинаю тестировать и получаю полный игнор: что бы я ни фильтровал, ни черта не меняется. Начинаю дебажить жаба-скрипт - в нужные места программа заходит, нолики честно прописывает. Натравливаю на данные JSON.stringify и печатаю результат на консоль - та же картина, все нолики на месте. Но проклятый Angular продолжает игнорировать мои нолики! Уж не знаю, каким чудом я догадался заглянуть на несколько строчек ниже своего дампа: kurwa, вся моя фильтрация аккуратно идёт под нож. И ведь не упрекнёшь человека в том, что он мне данные попортил - надо было самому не лениться и переменную переименовать во что-то более self-explanatory.

По образованию и по специальности я - автоматизатор. Это значит, что всякие повторяющиеся ручные процессы бросают мне вызов не только в личном, но и в профессиональном плане.

Недавно жена приобрела у какого-то новомодного специалиста онлайн-тренинг по уходу за лицом - всякие упражнения, лекции, консультации. Формально за этот материал уплачено и она может им пользоваться, но только в течение года. А хотелось бы иметь все эти тренинги на компьютере, в телефоне и на телевизоре без ограничения времени.


И вот тут на сцену выходит автоматизация. Для начала я написал bat-файл, который тупо скачивал основную ссылку, дабы получить второй файл. Попытался автоматически извлечь видео самого высокого разрешения и ... столкнулся с проблемой. Оказывается язык сценариев BAT в мелкомягкой среде сочиняли инопланетяне-дислектики. Для того, чтобы извлечь из файла последнюю строку там надо накатать какое-то нагромождение букв и символов, скорее напоминающее последнюю волю египетского фараона, а не "tail -1", как в юникс-шелле. Не буду тут цитировать сие страшное заклинание, дабы не пострадала психика читающих этот блог женщин и детей. Значит лежала моя дорога в казённый дом - скачал комплект юникс-утилит под винду, вставил знакомый "tail -1" в bat-файл и всё заработало: из первоначальной ссылки получался файл описания потокового видео. Но какая же это морока перетаскивать файлы в окошко, что-то там выбирать, сохранять, переименовывать, стирать... Короче говоря, у меня в чулане нашлась классная утилита ffmpeg, которой я в своё время что-то там перекодировал (по-моему FLAC в MP3). Так вот, она прекрасно подошла для автоматического сграбливания видеопотока! Всё, задача решена - землекопа полтора можно скачать видео, указав адрес потока из HTML сорса плейера и имя конечного видеофайла. Всё само скачивается, промежуточные файлы удаляются, благорастворение воздухов в облацех!