At Robobo we work and support our clients with managing their data, this includes cleaning data and uploading to use with data visualization platforms such as Superset, STATA and others. Normally when working with data collection, especially dealing with languages with special characters (ã, ç, et. al.) that we have in the Portuguese language and others, we usually have a hard time pulling data with those characters as most packages will give you an error.

The are many options to clean data of those special characters, including for instance in STATA you can specify that the information is cleaned, but for the sakes of superset and related platforms, we can use Microsoft Excel and some good old Macro rule. For simplicity, I will assume that the reader knows how to work with Macros, nevertheless, the basic steps to use or active it can be found on: https://support.office.com/en-us/article/run-a-macro-5e855fd2-02d1-45f5-90a3-50e645fe3155 or https://www.datanumen.com/blogs/how-to-run-vba-code-in-your-excel/ provide clear instructions on how.

Code to use:

Sub CleanDataFromSpecialChars()
'
' CleanDataFromSpecialChars Macro
' Cleans or Strips all Special Characters from the worksheet
'

'
    Cells.Select
    Selection.Replace What:="Ç", Replacement:="C", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:= _
        xlReplaceFormula2
    Selection.Replace What:="ç", Replacement:="c", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:= _
        xlReplaceFormula2
    Selection.Replace What:="Â", Replacement:="A", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ã", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Á", Replacement:="A", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="À", Replacement:="A", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ä", Replacement:="A", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Å", Replacement:="A", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="É", Replacement:="E", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="È", Replacement:="E", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="È", Replacement:="E", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ê", Replacement:="E", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ë", Replacement:="E", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ì", Replacement:="I", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Í", Replacement:="I", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Î", Replacement:="I", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ï", Replacement:="I", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ñ", Replacement:="N", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ò", Replacement:="O", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ó", Replacement:="O", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ô", Replacement:="O", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Õ", Replacement:="O", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ö", Replacement:="O", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ù", Replacement:="U", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ú", Replacement:="U", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Û", Replacement:="U", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ü", Replacement:="U", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="â", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ã", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="á", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="à", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ä", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="å", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ª", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="é", Replacement:="e", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="è", Replacement:="e", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ê", Replacement:="e", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ë", Replacement:="e", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ì", Replacement:="i", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="í", Replacement:="i", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="î", Replacement:="i", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ï", Replacement:="i", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ñ", Replacement:="n", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ò", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ó", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ô", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="õ", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ö", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="º", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ù", Replacement:="u", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ú", Replacement:="u", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="û", Replacement:="u", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ü", Replacement:="u", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ÿ", Replacement:="y", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
        
        
    
End Sub

Hope this helps you save time cleaning the entire csv or data file with special characters.

NOTE:

This approach does indeed have its drawbacks, for instance:

• On large datasets, this can take a very long time to process and may render Excel irresponsive, but with patience it should process every line (we have dealt with a 26MB+ excel file) which ran for just under an hour to process
• A second version of this script could focus on cleaning only select rows or columns, that way we can specify only columns we need.

O projecto a mim destinado, foi a configuração de um captive portal usando um minicomputador Raspberry pi, projecto esse que levou quase todo tempo do meu estágio, salientar que tinha sido a segunda vez a ver um raspberry pi em físico, nunca havia configurado e nem sabia o que era um portal cativo. Levei muito tempo para saber o porque que precisávamos de fazer um portal cativo usando o raspberry pi, como diz o ditado o tempo dita a história e foi assim, com o tempo percebi qual era necessário e o porquê de ter sido escolhido o raspberry pi.

O apoio dos colegas ajudou me bastante.

Fiz a minha primeira conexão ssh ao raspberry analisando o ambiente. Na descrição da tarefa, tinha um exemplo de como fazer um portal cativo, tentei várias vezes configurar o captive portal seguindo o tutorial da descrição e não obtia o resultado desejado, sempre que o resultado não era o desejado, a única opção que eu tinha sendo um iniciante na matéria de configuração do Pi era formatar. Formatei mais de 5 vezes o cartão que contém o sistema operativo do Raspberry PI enfim usando um outro link que me explicava de forma clara o que é um captive portal e como configurar. Acabei configurando, mas nem tudo estava bom, o que obrigou me na segunda semana de Agosto instalar o sistema operativo open wrt isso na tentativa de encontrar a melhor forma de fazer o captive portal.

Com tudo já fazia o captive portal no sistema operativo raspbian-strech mas não conseguia fazer redirect das requisições https, o redirect só funcionava para páginas http, esse foi o motivo principal que me fez migrar para o sistema operativo open wrt, mas no sistema operativo open wrt não tive muito sucesso porque apresentava pouco espaço para instalação de outros programas, o que fez me voltar ao primeiro e desta forma até então usamos o raspbian-strech e foi neste sistema operativo em que fizemos a nossa primeira página, que substituía a página do bem vindo ao Nginx, e chamamos essa versão de versão1.0, página essa que foi escrita em HTML5, CSS e pouco Javascript.

O desenho da página e a implementação já estava pronta para os dias 20,21,22 e 27 de agosto de 2019 fizermos a montagem dos equipamentos e fazer os últimos ajustes no próprio terrenos na montagem do equipamento.

Tivemos como constrangimento a falta de confiança por parte dos vendedores, uma das lojas, não colaborava com a nossa equipe, o que acabava por dificultar o nosso trabalho. Tirando esse pequeno obstáculo, tudo foi muito bom tanto que quando apresentamos os resultados da nossa rede montada para alguns vendedores, louvaram a iniciativa e todos diziam que esse ano tudo estava diferente e que estão melhores que do ano passado, sendo esse um trabalho a ser continuado.

De uma forma resumida o trabalho foi bem feito, segundo os vendedores e também na nossa análise como técnicos. Contudo mediante a experiência dos utilizadores fomos forçados a migrar logo para versão 1.1 que desenhada em WordPress isso no ambiente de produção que é o mercado do zimpeto.

A experiência na Robobo Inc foi muito boa, aprendi muita coisa nova, como a configuração do raspberry pi, o uso de ferramenta de controle de actividades (redmine), nova linguagem de programação (python django), novo framework front-end (angular), trabalhar com em heroku assim como fazer deploy de aplicações no heroku, trabalhar de uma forma seria com o cms wordpress.

Em primeiro lugar dizer que o meu nome é Ussene Mussá, sou desenvolvedor Web. Esse texto tem como objectivo descrever a minha jornada e a experiência adquirida como estagiário da Robobo.

Quando entrei na Robobo tinha a experiência de estágios anteriores e um trabalho, tinha participado em alguns projectos de desenvolvimento de sistemas e trazia comigo os seguintes conhecimentos e capacidades: base de dados, redes de computadores, administração de sistemas Linux, desenvolvimento web frontend (HTML5, CSS3, Javascript) e backend (PHP, JavaEE, C#, Node.Js etc..), e frameworks (JQuery, Laravel, Bootstrp, Angular etc.)

O início de uma jornada é sempre cheio de incertezas, bom, foi assim que comecei a minha, com diversas incertezas e com sede de abraçar novos desafios que estavam por vir, uma vez que algumas tecnologias com as quais a empresa trabalha eram novidades para mim, em termos de trabalhar com as mesmas.

Primeira etapa

Na primeira etapa da jornada tive a oportunidade de trabalhar com a tecnologia que gosto (PHP), mas não do jeito que gosto, isto, porque tive que trabalhar com o CMS (Sistema de Gestão de Conteúdo) Wordpress na prespectiva do utilizador e do programador. Foi na prespectiva de programador que enfrentei o maior desafio, já que, passava noites revirando o código fonte dos templates das plataformas que estava a trabalhar, com o objectivo de fazer alterações que não tinha a possibilidade de fazer através do CMS.

No final das contas tive êxito em todas as plataformas que precisei revirar o código e com as que não precisei. Foi uma experiência interessante que ampliou os meus conhecimentos sobre PHP e WordPress, que culminou com a elaboração de portais como PagaLu, Robobo e participei do desenvolvimento da plataforma Welela entre outras.

Segunda etapa

Na segunda etapa tive um desafio muito grande, fui solicitado para trabalhar/participar no desenvolvimento da aplicação PagaLu. Foi o meu primeiro contacto com a tecnologia Python e Django, enfrentei algumas dificuldades sendo um principiante numa nova tecnologia. Felizmente pude satisfazer as necessidades pelas quais fui solicitado, que compreendia adicionar algumas funcionalidades ao fluxo da aplicação PagaLu.

Terceira etapa

Ao longo das etapas que surgiam, houve aquela que foi a mais desafiadora. A etapa em que fui atribuído um projecto para trabalhar de forma independente por um período. Aceitei o desafio, o objectivo era desenvolver um sistema de gestão financeira, tendo como base a aplicação que já estava a funcionar e que foi desenvolvida com Python e Django. Tive que perceber a aplicação, entender o seu fluxo de funcionamento, identificar os pontos que poderiam ser melhorados, acrescentados ou alterados e integrar a aplicação com Angular.

Esse foi o meu maior desafio, por ser a primeira vez a trabalhar com Python, Django, Django Rest Framework (para desenvolver as APIs no backend) e Angular (no frontend para consumir as APIs). Não foi tarefa fácil trabalhar com todas estas tecnologias juntas pela primeira vez num projecto grande sem contar que houve a necessidade de utilizar outras tecnologias juntamente com as citadas acima, como Bootstrap, NgxBootstrap etc. Fazer com que a aplicação Python e Angular funcionassem como uma única aplicação foi a cereja no topo do bolo.

Este foi um período interessante do estágio, levou 1 mês e algumas semanas, onde consegui implementar algumas funcionalidades ao sistema de gestão financeira e posteriormente tive a oportunidade de ter a experiência de fazer o deploy da aplicação no Heroku que foi como escalar o monte Everest de tantos constrangimentos que enfrentei no processo. Em suma passei noites sem dormir pela satisfação de ter uma aplicação que faz alguma coisa e pode ser acedida por todos.

Últimas considerações

No meio de todas estas etapas, houve sessões de apresentação do progresso do desenvolvimento do sistema de gestão financeira, no total tivemos três sessões com a equipa toda da Robobo. Foi uma experiência interessante que vai contribuir bastante no futuro na hora de apresentar projectos para potenciais clientes.

• Visão geral do fluxo de trabalho para a coleta de dados e processos relacionados
• Visão geral dos instrumentos de trabalho
• Conhecimento básico sobre como operar e acessar os principais recursos do dispositivo móvel (aplicativos e configurações), incluindo hardware (ou seja, ligar e desligar os dispositivos e os botões de teclas)
• Conhecimento do aplicativo e recursos do Open Data Kit Collect (ODK)
• Instalação do ODK
• Visão geral da interface do usuário do ODK
• Como configurar o ODK com uma conta ONA.io
• Como fazer o download, preencher, editar, excluir e enviar formulários
• Protocolos e directivas para uso do smartphone
• Resolver problemas comuns e resolução de problemas
• Regras-chave de colecta de dados
• Uso de GPS para capturar geocoordenadas
• Resolver problemas comuns
• Sessão prática e uso do ODK
• Conhecimento prático dos formulários PEC:
•  Linha de base
• Despertar
• Monitoramento

Coordenadores e Supervisores:

• Uma visão geral dos instrumentos de colecta de dados e fluxos de trabalho
• Acesso à plataforma ONA.io usando um nome de usuário e senha
• Conhecimento de aprovação, rejeição e status pendente de submissões no ONA.io
• Visão geral do painel do dossel
• Acesso ao Dashboard
• Compreender tabelas e gráficos exibidos
• Uso de filtros e como eles refletem nos dados apresentados
• Visão geral do mapa:
• Acesso aos mapas
• Uso ou aplicação de diferentes sobreposições
• Navegação pelos mapas

O treinamento tinha uma abordagem prática orientada, em que os participantes eram encorajados a fazer tentativas e experimentar o que estava a ser leccionado. A maioria dos participantes foi convidada a contribuir e demonstrar sua compreensão do conteúdo fornecido.

Dois facilitadores da Robobo estiveram presentes durante o treinamento, onde um ministrou treinamento e o segundo forneceu apoio aos participantes e fez observações sobre o nível de entendimento.

No final das sessões de treinamento com cada grupo, coordenadores e inquiridores, um questionário foi fornecido para que os participantes preenchessem e enviassem. A partir dos resultados da pesquisa, o feedback geral foi Bom.

 A Robobo ministrou a formação em Zambézia durante três (3) dias, durante os dias 19, 20 e 21 de Junho de 2019, localizado na província de Gurué – Zambézia.

Duas sessões de treinamento separadas foram fornecidas:

• Primeiros dois dias para inquiridores (colectores de dados)
• Último dia para coordenadores.

Os dois primeiros dias de treinamento foram focados em instrumentos de colecta de dados para todos os grupos de participantes e o último dia foi específico para a plataforma ONA e acesso de recursos do painel.

Durante cada sessão, um total de 39 participantes estavam presentes. Os participantes incluíram:

• Empresas e animadores do PEC
• Funcionários do governo do DPOPH
• SDPI’s

Os participantes presentes durante a primeira sessão de dois dias, incluía coordenadores e inquiridores. Recomendou-se que os coordenadores estivessem presentes os três dias do treinamento, pois fornecíamos os principais conhecimentos sobre os processos de colecta de dados e gestão e grande parte dos coordenadores participaram.

Pré-requisitos para a capacitação da Zambézia

Os participantes das sessões de treinamento foram solicitados a ter os seguintes recurso, antes do treinamento:

• Telemóvel ou tablet com Android,
• Configuração ou instalação do ODK Collect (opcional).

Para o treinamento dos coordenadores, havia um requisito adicional, laptop ou computador para permitir que cada participante acompanhasse todos os fluxos de trabalho.

Apoiamos e fornecemos guias para promover o desenvolvimento de soluções que sejam acessíveis e atendam às necessidades.

Esforçamos-nos para tornar nossa tecnologia adequada para todos, Open Source e Modular.

Valores
Valorizamos a Inovação, o Código Aberto e a Criatividade.

Em maio de 2018, tivemos uma abertura para a sandbox regulamentar, aceitar essa proposta significa que a empresa poderá lançar e testar transacções peer-to-peer que estejam de acordo com o quadro jurídico e com orientação e apoio do banco central. Este será um grande avanço, pois permitirá que o serviço atinja o grupo-alvo do mercado, alcançando assim o objectivo global da inclusão financeira.

Dentro de duas semanas iremos iniciar os testes do pagamento PAGALU com outros prestadores de serviços de pagamentos.

Robobo é controlado por dois accionistas: Fei Manheche e Ana Santos Manheche, que são o Director da empresa e Directora executiva, respectivamente.

Ona simplifica a Colecta de dados e a colaboração do projecto, ajudando a aumentar a qualidade dos dados conectados e permitindo que os gerentes de projecto visualizem dados em tempo real. Pesquisas de papel anteriores foram digitalizadas. Agora, os formulários são carregados para a plataforma ona, e todos os dados colectados são armazenados lá também. O guia fornecerá links para a documentação para ajudar a familiarizá-lo com os principais recursos da plataforma Ona.