At Robobo we work and support our clients with managing their data, this includes cleaning data and uploading to use with data visualization platforms such as Superset, STATA and others. Normally when working with data collection, especially dealing with languages with special characters (ã, ç, et. al.) that we have in the Portuguese language and others, we usually have a hard time pulling data with those characters as most packages will give you an error.

The are many options to clean data of those special characters, including for instance in STATA you can specify that the information is cleaned, but for the sakes of superset and related platforms, we can use Microsoft Excel and some good old Macro rule. For simplicity, I will assume that the reader knows how to work with Macros, nevertheless, the basic steps to use or active it can be found on: https://support.office.com/en-us/article/run-a-macro-5e855fd2-02d1-45f5-90a3-50e645fe3155 or https://www.datanumen.com/blogs/how-to-run-vba-code-in-your-excel/ provide clear instructions on how.

Code to use:

Sub CleanDataFromSpecialChars()
'
' CleanDataFromSpecialChars Macro
' Cleans or Strips all Special Characters from the worksheet
'

'
    Cells.Select
    Selection.Replace What:="Ç", Replacement:="C", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:= _
        xlReplaceFormula2
    Selection.Replace What:="ç", Replacement:="c", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:= _
        xlReplaceFormula2
    Selection.Replace What:="Â", Replacement:="A", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ã", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Á", Replacement:="A", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="À", Replacement:="A", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ä", Replacement:="A", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Å", Replacement:="A", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="É", Replacement:="E", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="È", Replacement:="E", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="È", Replacement:="E", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ê", Replacement:="E", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ë", Replacement:="E", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ì", Replacement:="I", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Í", Replacement:="I", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Î", Replacement:="I", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ï", Replacement:="I", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ñ", Replacement:="N", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ò", Replacement:="O", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ó", Replacement:="O", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ô", Replacement:="O", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Õ", Replacement:="O", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ö", Replacement:="O", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ù", Replacement:="U", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ú", Replacement:="U", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Û", Replacement:="U", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="Ü", Replacement:="U", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="â", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ã", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="á", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="à", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ä", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="å", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ª", Replacement:="a", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="é", Replacement:="e", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="è", Replacement:="e", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ê", Replacement:="e", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ë", Replacement:="e", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ì", Replacement:="i", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="í", Replacement:="i", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="î", Replacement:="i", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ï", Replacement:="i", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ñ", Replacement:="n", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ò", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ó", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ô", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="õ", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ö", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="º", Replacement:="o", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ù", Replacement:="u", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ú", Replacement:="u", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="û", Replacement:="u", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ü", Replacement:="u", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
    Selection.Replace What:="ÿ", Replacement:="y", LookAt:=xlPart, _
        SearchOrder:=xlByRows, MatchCase:=True, FormulaVersion:=xlReplaceFormula2
        
        
    
End Sub

Hope this helps you save time cleaning the entire csv or data file with special characters.

NOTE:

This approach does indeed have its drawbacks, for instance:

• On large datasets, this can take a very long time to process and may render Excel irresponsive, but with patience it should process every line (we have dealt with a 26MB+ excel file) which ran for just under an hour to process
• A second version of this script could focus on cleaning only select rows or columns, that way we can specify only columns we need.

• Visão geral do fluxo de trabalho para a coleta de dados e processos relacionados
• Visão geral dos instrumentos de trabalho
• Conhecimento básico sobre como operar e acessar os principais recursos do dispositivo móvel (aplicativos e configurações), incluindo hardware (ou seja, ligar e desligar os dispositivos e os botões de teclas)
• Conhecimento do aplicativo e recursos do Open Data Kit Collect (ODK)
• Instalação do ODK
• Visão geral da interface do usuário do ODK
• Como configurar o ODK com uma conta ONA.io
• Como fazer o download, preencher, editar, excluir e enviar formulários
• Protocolos e directivas para uso do smartphone
• Resolver problemas comuns e resolução de problemas
• Regras-chave de colecta de dados
• Uso de GPS para capturar geocoordenadas
• Resolver problemas comuns
• Sessão prática e uso do ODK
• Conhecimento prático dos formulários PEC:
•  Linha de base
• Despertar
• Monitoramento

Coordenadores e Supervisores:

• Uma visão geral dos instrumentos de colecta de dados e fluxos de trabalho
• Acesso à plataforma ONA.io usando um nome de usuário e senha
• Conhecimento de aprovação, rejeição e status pendente de submissões no ONA.io
• Visão geral do painel do dossel
• Acesso ao Dashboard
• Compreender tabelas e gráficos exibidos
• Uso de filtros e como eles refletem nos dados apresentados
• Visão geral do mapa:
• Acesso aos mapas
• Uso ou aplicação de diferentes sobreposições
• Navegação pelos mapas

O treinamento tinha uma abordagem prática orientada, em que os participantes eram encorajados a fazer tentativas e experimentar o que estava a ser leccionado. A maioria dos participantes foi convidada a contribuir e demonstrar sua compreensão do conteúdo fornecido.

Dois facilitadores da Robobo estiveram presentes durante o treinamento, onde um ministrou treinamento e o segundo forneceu apoio aos participantes e fez observações sobre o nível de entendimento.

No final das sessões de treinamento com cada grupo, coordenadores e inquiridores, um questionário foi fornecido para que os participantes preenchessem e enviassem. A partir dos resultados da pesquisa, o feedback geral foi Bom.

 A Robobo ministrou a formação em Zambézia durante três (3) dias, durante os dias 19, 20 e 21 de Junho de 2019, localizado na província de Gurué – Zambézia.

Duas sessões de treinamento separadas foram fornecidas:

• Primeiros dois dias para inquiridores (colectores de dados)
• Último dia para coordenadores.

Os dois primeiros dias de treinamento foram focados em instrumentos de colecta de dados para todos os grupos de participantes e o último dia foi específico para a plataforma ONA e acesso de recursos do painel.

Durante cada sessão, um total de 39 participantes estavam presentes. Os participantes incluíram:

• Empresas e animadores do PEC
• Funcionários do governo do DPOPH
• SDPI’s

Os participantes presentes durante a primeira sessão de dois dias, incluía coordenadores e inquiridores. Recomendou-se que os coordenadores estivessem presentes os três dias do treinamento, pois fornecíamos os principais conhecimentos sobre os processos de colecta de dados e gestão e grande parte dos coordenadores participaram.

Pré-requisitos para a capacitação da Zambézia

Os participantes das sessões de treinamento foram solicitados a ter os seguintes recurso, antes do treinamento:

• Telemóvel ou tablet com Android,
• Configuração ou instalação do ODK Collect (opcional).

Para o treinamento dos coordenadores, havia um requisito adicional, laptop ou computador para permitir que cada participante acompanhasse todos os fluxos de trabalho.

Apoiamos e fornecemos guias para promover o desenvolvimento de soluções que sejam acessíveis e atendam às necessidades.

Esforçamos-nos para tornar nossa tecnologia adequada para todos, Open Source e Modular.

Valores
Valorizamos a Inovação, o Código Aberto e a Criatividade.

Em maio de 2018, tivemos uma abertura para a sandbox regulamentar, aceitar essa proposta significa que a empresa poderá lançar e testar transacções peer-to-peer que estejam de acordo com o quadro jurídico e com orientação e apoio do banco central. Este será um grande avanço, pois permitirá que o serviço atinja o grupo-alvo do mercado, alcançando assim o objectivo global da inclusão financeira.

Dentro de duas semanas iremos iniciar os testes do pagamento PAGALU com outros prestadores de serviços de pagamentos.

Robobo é controlado por dois accionistas: Fei Manheche e Ana Santos Manheche, que são o Director da empresa e Directora executiva, respectivamente.

Ona simplifica a Colecta de dados e a colaboração do projecto, ajudando a aumentar a qualidade dos dados conectados e permitindo que os gerentes de projecto visualizem dados em tempo real. Pesquisas de papel anteriores foram digitalizadas. Agora, os formulários são carregados para a plataforma ona, e todos os dados colectados são armazenados lá também. O guia fornecerá links para a documentação para ajudar a familiarizá-lo com os principais recursos da plataforma Ona.

• Desenvolver uma aplicação Android nativa para fornecer visão online e offline de notícias de www.magazineindependente.com;

• Capacitação da equipe de notícias no requisito de entrada de dados, gerir conteúdos e melhores práticas

• Gestão de conteúdo publicitário apresentado no site e aplicativo móvel;

• Gerir uptime do servidor;

• Suporte técnico por meio de contrato de SLA;

• Gerir publicação do aplicativo no Google Play;