Resist, Invent & Projects

2023-02-22 10:52:01 Открыть/Комментировать

2023-02-21 21:54:04 ​Ускорение @vocabulary_coach_bot

Уже несколько дней гоняю обновлённый бот, впереди гора приключений, будет не до постов, а очень хочется зафиксировать хаки.

К сожалению, тем накопилось много, время найти сложно, некоторые прижимают сильнее, вот и пишу про ботов. Постараюсь за месяц исправиться. Для интереса приправил приёмами ТРИЗ.

1. Таблица как бэкенд
Иметь доступ к данным через привычный интерфейс – круто, но есть проблема – обновление кода таблицы. Оказывается, можно опубликовать GAS, как библиотеку, и подключить её к таблице-шаблону. Теперь обновления в срипте-библиотеке будут автоматически подхватываться у всех. Так можно обновлять и структуру самой таблицы.
Осталось сделать deploy одной кнопкой прямо из бота.
Абстрактный приём ТРИЗ: вынесение.

2. Оптимизация кода таблицы
Максимально оптимизировал, чтобы она шустрее работала с 22к строк. Теперь самое долгое 6 сек, среднее 2 сек. на запрос. Появился метод генерации серии вопросов.
Абстрактный приём ТРИЗ: посредник, матрёшка.
Линия развития: моно->полисистема

3. Подбор вопроса по статистике ответов
Точность, аккуратность с нотками рандома, весов, фильтров повтора и т.п. Пока проверяю, но работает норм.
Абстрактный приём ТРИЗ: динамизация.

4. Работа с дубликатами вопросов
Раньше требовалось уникальное значение для ответа и результаты заносились в поле по ответу. Для дубликатов выбиралось первое вхождение, что неверно. Теперь база задаёт всем вопросам id автоматически.
Абстрактный приём ТРИЗ: посредник, заранее подложенная подушка.

5. Кэш вопросов в боте.
Ожидание нового вопроса 2-6 сек. разочаровывает. Но даже пустая таблица будет отвечать >1 сек. Сделал, чтобы в боте всегда были вопросы. Простой кэш ссылочной очередью в оперативной памяти на 5 вопросов для каждого пользователя не выглядит надёжным, но работает:
- Проверяется кэш пользователя
- Есть вопрос - отправляется, нет - загружается из таблицы (2-3 сек) и отправляется
- Проверяется размер кэша, добираются вопросы
Пока в RAM, но легко переделать на mogoDB. Для добора вопросов было думал заюзать что-то серьёзное (celery, redisMQ), но сработало добавление в общий пул асинхронных задач новой.
* Асинхронные задачи позволяют не паузить программу в ожидании ответа таблички или сервера телеграм, что в синхроне занимает до 90% времени.
Абстрактный приём ТРИЗ: посредник, непрерывное действие.

И напомню, что собрал некоторые базы слов.
Начать можно с F2F.

#проекты #хаки Открыть/Комментировать

2023-02-19 15:48:56 Почему чат-боты

На одном собесе на продакта попросили показать последние проекты. Продемонстрировал два приложения, три чат-бота, пару таблиц мини-CRM. Интервьюер спросил: почему я так люблю чат-боты.

Стоит сказать к этому моменту я показал достаточно плотный разбор продукта и бизнеса интервьюера с помощью ТРИЗ, а также подборку неоднозначных UX решений с предложениями улучшения. Уже было задано несколько вопросов со скрытым смыслом, который не получалось извлечь уточняющими вопросами. Вопрос про ботов убедил, что нам не по пути.

Если для использования внутри компании основным конкурентом ERP/CRM является обычная таблица, то для взаимодействия с клиентом это чат-бот:
- удобно прототипировать, быстро разрабатывать
- меньше мороки с дизайном
- не нужно устанавливать дополнительное приложение
- меньше затрат на хостинг
- контакт с пользователем в удобном месте

Я решил дождаться фидбека. Догадки подтвердились – не впечатлил опыт интерфейсной проработки. Мол, сайтики делать - это да! Это интерфейсы! А таблички и ботики это детский сад. Соглашусь, что последнее не так впечатляет, но вот с т.з. проработки требует немало сил и фантазии, чтобы хитро обходить ограничения платформ для достижения цели. Поэтому многие сразу задумываются о необходимости мобильного приложения или веб-портала. Такая вот инерция мышления: не искать подходящее решение, а взять что знакомо и как бы решит обнаруженные явления.

Мой опыт решения задач разработкой таков:
- Для производительных задач, частого взаимодействия, работы с железом или полностью оффлайн, требуется приложение (на desktop аналогично).
- Сервис предполагает сложный интерфейс, но не частое использование – уместно веб-приложение.
- Для других случаев, в особенности для взаимодействия с пользователем, чат-боты прекрасный выбор.
- Про таблички уже писал.

Конечно, везде есть нюансы. К примеру, уже писал про вывод личных данных из сервиса. Для приложения нередко требуется серверная часть для синхронизации. Для веб-сервиса есть проблема использования с мобильных устройств. Кстати, ботом можно решить оба нюанса.

Собес ещё раз показал, как важно чётко формулировать свой запрос. Только в середине второй встречи человек через реакцию начал демонстрировать, что ему нужен совсем другого рода спец, скорее даже дизайнер. Но это была интересная ТРИЗ-практика, и, кажется, я придумал новый инструмент, о чём расскажу после презентации перед мастерами.

#проекты #рефлексия Открыть/Комментировать

2023-02-12 15:02:31 ​Проблема чеков РФ, бот и парсинг

Хочу рассказать о моём боте для перевода чеков в таблицу. Пока он умеет разбирать чеки Казахстана и Узбекистана. Почему, как, что не так и чем помочь ниже.

В 2020 году мне потребовался инструмент для переноса данных из чеков в таблицу. Нормально это сделать не получилось, пользовался костылями, а затем задача утратила актуальность, в т.ч. из-за пердолинга с получением данных.

В Казахстане мне снова потребовалось получать данные из чеков. Здесь система фискального учёта генерирует для чека индивидуальную ссылку, которая шифруется в печатаемый QR-код.

Тогда я решил сделать бота, который состоит из
- механизма обработки данных из QR (сообщений)
- серии парсеров, подхватываемых по шаблону регулярных выражений
- механизма преобразования стандартизованных данных в таблицу и, с недавних пор, в отдельные сообщения для удобного поиска по чату

Затем мы посетили Ташкент, где в магазине я увидел QR-код, не удержался, считал, получил аналогичную ссылку, набрал несколько штук и решил испытать, насколько трудозатратно написать парсер под них. Ташкентская система не выдавала сырые данные чека, только сгенеренную станицу, данные на которой лежали в кривой таблице. На парсер потратил около часа.

Хочу похвалиться, что уже в нескольких проектах организовал систему динамического импорта новых модулей. Достаточно лишь написать новый класс по шаблону, положить в папку проекта и перезапустить приложение.

Бот показался мне полезным, решил глянуть что сейчас с чеками РФ. В России нет единого хранилища фискальных данных. Отдельные компании предоставляют API к своим базам, иногда даже бесплатно.

Содержи бы чеки ссылки, это не проблема, но в РФ QR-код содержит информацию о чеке, которую, по задумке, нужно читать через специальное приложение. ФНС однажды выкатило API для универсального доступа, но нужно либо пройти авторизацию через кабинет налогоплательщика (ограничение до 25 запросов в сутки), либо быть юр. лицом и получить специальный токен, обосновав зачем. Есть публичные ресурсы, но парсить их – гемор с капчей и сложной структурой сайта. Делали не дураки, поставили защит.

Пока бот крутится на сервере для прототипов и иногда может быть не в сети, но пользоваться можно и рекомендуйте заинтересованным. Удобный сценарий использования показал на видео (закрепить в топе, использовать поделиться в браузере).

Чем помочь:
- Подсказать, как решить проблему для систем подобной РФ
- Прислать QR кодов чеков из стран, что бот ещё не умеет парсить
- Написать пожелания по доработке

#проекты #исследования Открыть/Комментировать

2023-02-04 13:34:24 Везде ищи “своих”

Мысль, что окружение важно, озвучивает практически каждый. Зачастую она фигурирует в контексте “мы это среднее от нашего окружения”. С этим лозунгом начинают избавляться от людей, с которыми давно не общались, которые могли показаться неперспективными, токсиками и т.п. Я же считаю, что “своих” людей в мире может быть очень мало, и надо осознаннее подходить к построению личного человеческого капитала.

Я уже рассказывал о наблюдениях в направлении личного комьюнити менеджмента. Сейчас лишь укрепился в осознании что:
- Нужно наблюдать за своим окружением, рефлексировать и фиксировать.
- Важно поддерживать контакт с людьми, которых уважаешь и чьи взгляды разделяешь. Даже если это будут спящие связи.

В Алматы мы приехали временно, поэтому не стал уделять время поиску знакомых здесь. Время шло проблемы не решались, ситуация давила. Под Новый Год ситуация стала слишком “увлекательной”, ощущалась бессилие. Уже 3 месяца мы жили у гор, и при всей любви к прогулкам и приключениям, не выбрались хотя бы в однодневный поход.

Вдруг @Dontsovcmc, которого после долгого перерыва в общении я летом позвал на пикник, приехал в Алматы и позвал отпраздновать день рождения, где познакомил нас с людьми близкими по взглядам, мышлению и восприятию реальности.

Женя, сколько помню, никогда не откладывал знакомства до лучших времён и часто притягивал к себе интересных людей. Катаясь по странам, он всё равно находил похожих по мышлению людей, чем бы в них не занимался. Это не значит, что всем нужно действовать также, но и иметь в окружении таких людей это круто.

До этого я уже расчехлил свою таблицу по управлению окружением и созванивался с друзьями, которых не видел с лета. Но личный контакт при сложностях важен не меньше, чем просто общение. Новые знакомства не только напомнили нам “кто мы есть”, что с нами всё в порядке, вменяемость не утрачена, но обеспечили хорошей компанией для приключений.

И вот уже через неделю я искупался в горном горячем источнике, а Тома набрала ещё несколько испытуемых для своей диссертации. Мы встретили людей, которые тоже ощутили, что знакомых может быть много, но единомышленников единицы и за них нужно держаться.

Новый вывод:
Даже если ты в каком-то месте оказался временно, всё равно важно найти близких по ценностям людей, которые вытащат тебя из ракушки.

А вот и фоточки с источника.

#рефлексия #приключения Открыть/Комментировать

2023-02-03 17:44:53 22к переводов или база для @vocabulary_coach_bot

Решил наконец вслед за Томой взяться за английский. Но я же не могу просто взять и учить, надо заморочиться. Уже надоело слушать хвалебные комментарии, о полезности моего бота, и не пользоваться.

Т.к. я заложил хороший алгоритм для равномерного изучения слов, появилось желание посмотреть, как оно будет работать с исчерпывающей базой слов английского языка. Это не даст уровень С1, но нативный словарный запас не круто ли?

Первая мысль: проанализировать большое количество книг и статей, определить частотные слова, найти перевод. Но зачем? – Есть куча готовых баз.

Я собрал данные с первых двух страниц Яндекса: самые частотные слова и часто используемые устойчивые выражения. Для слов попадались базы по 3-5 тысяч штук, некоторые по 10, и даже 16. Очевидно есть мусор и дубликаты, собрал единую базу. После удаления булшита получилось 50,5к слов. Фраз набралось 2500.

Сбор был нетривиальный. Что-то поддалось копированию, где-то хватило запроса на JavaScript, где-то пришлось написать интерактивный парсер на selenium. Обращайтесь.

Местами для слова давали сразу несколько переводов через запятую, кто-то для каждого перевода добавлял отдельную запись (строку). Иногда слово имеет несколько переводов со схожим смыслом, а иногда смысл очень зависит от контекста, и несколько записей будут полезны. Решил удалить совсем дубликаты и сделать 2 варианта баз.

Дубликат самого слова проверить просто: перевести в нижний регистр и проверить есть ли оно уже в базе. Это и удобнее в собранных базах, что формы заранее приведены в порядок.

Транскрипции в разных источниках разные, решил анализировать схожесть (rapidfuzz), для похожих выбирать максимально длинное, отличающиеся засунул в отдельное поле, часто это мусор.

Для удаления дубликатов перевода я проверял точное вхождение варианта во все остальные. Да, можно лучше с NLTK, но это почти решило проблему.
Код

На выходе получил базы:
- на 19,1к слов уникальных слов с объединённым переводом
- на 25,7к слов + все варианты переводов в отдельных записях
- 1,3к слов с заглавной буквы (имена, названия, сокращения)
- 2,3к уникальных фраз
- 3к слов и фраз из комплекта Cambridge Face2Face (самые важные, разделены по уровням, но с дублями)

Что дальше с этим делать?
Моя гипотеза: можно пройтись ботом по полному набору слов, определить известные по собранной статистике, почистить базу и изучать новое. Хорошая база это 3к от Face2Face, её я уже подготовил. Так что берите, пользуйтесь.

А тут можно понаблюдать за мной

#проекты #исследования Открыть/Комментировать

2023-01-26 15:36:51 Открыть/Комментировать

2023-01-21 16:58:26 ​Если нужно размыть фон видео с вебки – splitcam

Не всегда сервис для общения предоставляет возможности для улучшения видео с камеры. К примеру, в Telegram нельзя замылить фон.

Фон лучше мылить, чем заменять, т.к. при плохом освещении получаются безобразные края и артефакты. При замене фона дефекты чётко видно, с размытым фоном в большинстве случаев они незаметны. И желательно, чтобы это не загружало компьютер на 250%.

Сразу проверил любимую OBS Studio. Это крутая Open Source утилита позволяет делать записи с экрана, ретранслировать изменённое видео, а также проводить мультистриминг. Его рекомендую точно, но фон размывать не умеет.

На рынке много других решений, но большинство из них кал. Вот те которые заслуживают внимания:

Xplit vcam
Это мастодонт индустрии стриминга. Хорошо оптимизировано, классная поддержка, регулярные обновления, эффективные алгоритмы, хорошо отделяет фон. Всё прекрасно, но дорого стоит, а в бесплатной версии посередине уродский watermark.

Chroma cam
Рекомендуют на многих сайтах. Подойдёт стримерам приколистам благодаря анимированным аватарам и неплохому редактору сцен. Но вырезает несколько безобразно, плохо оптимизирована. Похоже не умеет работать на GPU. Удалил сразу.

mmhmm
Интересная штука которая ориентирована на создание видеоуроков позволяет построить внутри конструктора презентацию и переключаться по слайдам как в PowerPoint. НО сильно грузит компьютер, ориентирована на прямой стриминг, в бесплатной версии накладывается приемлемый логотип.

Snap camera
Это прикол. Фильтры и маски snapchat на компе с возможностью рестриминга. Фон вырезает плохо, мылит так себе, но смешно.

Splitcam
Из всех программ она лучшая. Отлично вырезает, хорошо мылит, имеет большой функционал для настройки сцен и картинки. Более того, имеет настройки производительности: если ваш компьютер не тянет, можно снизить качество работы алгоритмов, понизив нагрузку на железо. И всё Это совершенно бесплатно.

Всех обнял. Пошёл обкашивать вопросики.

#рекомендации #исследования Открыть/Комментировать

2023-01-20 17:12:50 ​Голосовой ввод для написания заметок – это потрясающе.

Сейчас активно тестирую голосовой ввод для написания различных сообщений и текстов. Подтолкнул меня к этому холод на текущей съёмной квартире. Последние 2 недели на улице очень холодно, окно напротив меня старое, поэтому всё это время я сидел будто под кондиционером.

В таких условиях у меня промерзают руки, и я не могу печатать со своей типичной скоростью, а также часто ошибаюсь. Тем временем есть потребность очень много печатать

Ранее я использовал голосовой ввод на Google клавиатуре телефона для написания сообщений во время езды на велосипеде и во время прогулок зимой. Он не идеален, не расставляет автоматически знаки препинания, иногда ошибается, но это можно быстро поправить, или по ходу контролировать грамотность, делая паузы. Но тут дошло, что дома это тоже полезно.

Пишу эту заметку голосом на компьютере. Для этого я использую Google Doc, в нём есть возможность писать голосом и расставлять попутно знаки препинания. Кроме того есть проверка грамотности, в том числе плагин languagetool для быстрых исправлений. В последних версиях Microsoft Word есть аналогичная фича, но имхо работает хуже.

Это точно будущее. Раньше Алиса и подобные ассистенты удивляли возможностями. Сейчас ChatGPT может помочь писать качественный код по вопросу, улучшать тексты, быстро создавать статьи, рассказы, сценарии. А теперь совместите в голове магию с вводом голосом. И это доступно прямо сейчас.

Проблема: пока в ОС не предусмотрен такой же удобный интерфейс, как на телефонах. Приходится использовать сторонние решения. Есть различные плагины, платные приложения, которые дают посредственный результат и работают криво. Пожалуй самый оптимальный вариант использовать Google Doc, потому что в нём есть автокоррекция и горячие клавиши.

Большие тексты вводить голосом получается быстро. Небольшие – неэффективно.

Всем кто ещё записывает голосовые сообщения рекомендую в следующий раз попробовать нажать на другой микрофон и использовать распознавание голоса. Также это удобная штука, чтобы создать конспект важной встречи, а при некоторой сноровке можно преобразовать аудиозаписи в текст.

#личная_эффективность #рекомендации Открыть/Комментировать

2022-11-29 13:14:12 Утечки памяти В современном мире капец как не хватает оперативки. В первую очередь речь о Windows. Она вообще кладёт на ваше мнение, накидывает защеку десятки сервисов-шпионов, с кривым кодом. Уже многие знают хак с установкой дополнительных планок и SSD… Открыть/Комментировать