2610312 Ano: 2023
Disciplina: TI - Ciência de Dados e BI
Banca: FGV
Orgão: SEF-MG

Provas:

Auditor-Fiscal da Receita Estadual - TI
Provas ×

Big DataApache Spark

1. linhas = sc.textFile("dados.txt")
2. linhasComprimento = linhas.map(lambda s: len(s))
3. totalComprimento = linhasComprimento.reduce(lambda a, b: a + b)

Em relação ao código pyspark acima, assinale a afirmativa incorreta.

Provas

Questão presente nas seguintes provas

2610311 Ano: 2023
Disciplina: TI - Ciência de Dados e BI
Banca: FGV
Orgão: SEF-MG

Provas:

Auditor-Fiscal da Receita Estadual - TI
Provas ×

Big DataHadoopYARN

O principal objetivo do Hadoop YARN foi dividir as funcionalidades de gerenciamento de recursos e agendamento/monitoramento de tarefas em daemons separados.

Assinale a opção que não figura como uma característica da arquitetura de Hadoop YARN.

A

O ResourceManager é a autoridade máxima que arbitra os recursos entre todas as aplicações do sistema e possui dois componentes principais: Scheduler e ApplicationsManager.

B

O Scheduler é responsável por alocar recursos para as aplicações em execução e são sujeitos a restrições de capacidade de recursos, filas etc.

C

O Scheduler é um scheduler puro no sentido de que não realiza nenhuma ação de monitoramento ou tracking de status para o aplicativo.

D

O NodeManager é o agente deployado em cada máquina e não é responsável pelo monitoramento de recursos (cpu, memória, disco, rede).

E

O ApplicationManager é responsável por aceitar envios de jobs, negociar o primeiro contêiner para executar a instância ApplicationMaster para a aplicação e fornecer o serviço para reiniciar o contêiner ApplicationMaster em caso de falha.

Provas

Questão presente nas seguintes provas

2610309 Ano: 2023
Disciplina: TI - Ciência de Dados e BI
Banca: FGV
Orgão: SEF-MG

Provas:

Auditor-Fiscal da Receita Estadual - TI
Provas ×

Big Data

Considere a consulta de streaming que conta os cliques dos usuários por país para uma campanha publicitária na web a cada 30 minutos. Ao aplicar o modelo de processamento de micro batch a esta consulta, o fluxo de dados é dividido em duas fases: batching e processing, como mostra a figura a seguir.

Enunciado 3539822-1

O processamento stream é obtido repetindo as fases de batching e processing para as novas tuplas de dados.

Em relação ao processamento stream em micro-batches, assinale a opção incorreta.

A

As fases de batching e processing não são sobrepostas para quaisquer dois batches consecutivos.

B

Na fase batching, as tuplas de dados de fluxo são acumuladas por um intervalo de lote predeterminado. Em seguida, o conteúdo do lote é particionado e emitido na forma de blocos de dados para processamento paralelo.

C

Na fase processing, a consulta é executada na memória como um pipeline dos estágios map e reduce.

D

No estágio map, uma função definida pelo usuário é aplicada em paralelo a cada bloco de dados (por exemplo, um filtro sobre as tuplas clickstream).

E

O estágio reduce agrega o resultado do estágio map para produzir a saída batch (por exemplo, soma os cliques para cada país).

Provas

Questão presente nas seguintes provas

2610308 Ano: 2023
Disciplina: TI - Ciência de Dados e BI
Banca: FGV
Orgão: SEF-MG

Provas:

Auditor-Fiscal da Receita Estadual - TI
Provas ×

Big DataApache Spark

O Apache Spark é um framework para processamento paralelo e oferece suporte ao processamento na memória para aumentar o desempenho de aplicações de big data.

Em relação aos RDDs e a suas operações, assinale a afirmativa incorreta.

A

Os RDDs suportam dois tipos de operações: transformações, que criam um novo conjunto de dados a partir de um existente, e ações, que retornam um valor ao Driver Program após executar uma computação no conjunto de dados.

B

Map é uma transformação que passa cada elemento do conjunto de dados por uma função e retorna um novo RDD representando os resultados.

C

Reduce é uma ação que agrega todos os elementos do RDD usando alguma função e retorna o resultado final ao Driver Program.

D

Todas as transformações no Spark são lazy, pois não calculam seus resultados imediatamente. Em vez disso, eles apenas lembram as transformações aplicadas a algum conjunto de dados.

E

As transformações só são computadas quando uma ação ou determinadas transformações exigem que um resultado seja retornado Driver Program.

Provas

Questão presente nas seguintes provas

2610307 Ano: 2023
Disciplina: TI - Ciência de Dados e BI
Banca: FGV
Orgão: SEF-MG

Provas:

Auditor-Fiscal da Receita Estadual - TI
Provas ×

Big DataApache Spark

Matei Zaharia et al. propuseram o framework Spark como alternativa para processar workloads que reutilizam dados através de múltiplas operações paralelas.

As opções a seguir apresentam características do framework Spark, à exceção de uma. Assinale-a.

A

Spark oferece suporte a dois tipos restritos de variáveis compartilhadas: broadcast e accumulators.

B

Spark prove três principais abstrações para a programação paralela: RDDs, operações paralelas, e operações de comunicação.

C

Os RDDs suportam tolerância a falhas por meio do conceito de linhagem (lineage).

D

Os usuários podem explicitamente armazenar RDDs em cache na memória entre um conjunto de máquinas e reutilizá-lo em várias operações paralelas.

E

RDDs (resilient distributed datasets) ou conjunto de dados distribuído resiliente é uma coleção de objetos de só leitura particionados em um conjunto de máquinas e pode ser reconstruído caso alguma partição for perdida.

Provas

Questão presente nas seguintes provas

2610293 Ano: 2023
Disciplina: TI - Ciência de Dados e BI
Banca: FGV
Orgão: SEF-MG

Provas:

Auditor-Fiscal da Receita Estadual - TI
Provas ×

Governança de DadosDMBOK

Sobre o conceito de Governança de Dados (DAMA), assinale a afirmativa correta.

A

É a função central da Gestão, que representa o exercício da autoridade e do controle de estratégias etc.

B

Serve para criar e manter a arquitetura corporativa de dados de acordo com objetivos estratégicos da empresa.

C

É a função responsável por definir e manter políticas de segurança a fim de prover autenticação, acesso e auditoria.

D

Trata-se de Função operacional responsável por manter os dados através dos vários ciclos, até o arquivamento final ou eliminação.

E

Serve para definir e controlar atividades para a disponibilização de visões únicas de dados mestre (Golden Record) e de referência na empresa.

Provas

Questão presente nas seguintes provas

2610286 Ano: 2023
Disciplina: TI - Ciência de Dados e BI
Banca: FGV
Orgão: SEF-MG

Provas:

Auditor-Fiscal da Receita Estadual - TI
Provas ×

BI: Business IntelligenceConceitos e Fundamentos de BI

Kimball elenca uma série de conceitos fundamentais para a elaboração de um modelo dimensional.

Em relação a esses conceitos, assinale a afirmativa incorreta.

A

O estabelecimento da granularidade mostra exatamente o que é representado por uma linha na tabela de fato.

B

A análise de requisitos de negócio e o conhecimento da realidade em relação aos dados disponíveis nos sistemas de origem é uma etapa essencial.

C

Todo o contexto descritivo de um modelo dimensional está pautado nas tabelas de fato, revelando quem, o que, onde, quando, por que, e como.

D

Os processos de negócio são eventos usados para gerar métricas de performance que são traduzidas em fatos em uma tabela de fato.

E

O processo de design do modelo dimensional em quatro etapas contempla: 1) selecionar os processos de negócio; 2) estabelecer a granularidade; 3) identificar as dimensões; e 4) identificar os fatos.

Provas

Questão presente nas seguintes provas

2610285 Ano: 2023
Disciplina: TI - Ciência de Dados e BI
Banca: FGV
Orgão: SEF-MG

Provas:

Auditor-Fiscal da Receita Estadual - TI
Provas ×

Big DataHadoopHDFS

O HDFS foi projetado para armazenar arquivos grandes como uma sequência de blocos.

Em relação à replicação dos dados, assinale a afirmativa incorreta.

A

A replicação de blocos de dados não ocorre quando o NameNode está no estado Safemode.

B

O fator de replicação pode ser especificado no momento da criação de um arquivo e pode ser alterado posteriormente.

C

Os arquivos no HDFS são de gravação única (write-once) com exceção para acréscimos e truncamentos, e têm estritamente um writer a qualquer momento.

D

Um bloco é considerado replicado com segurança quando as três réplicas desse bloco de dados são verificadas com o NameNode.

E

Como o NameNode não permite que os DataNodes tenham várias réplicas do mesmo bloco, o número máximo de réplicas criadas é o número total de DataNodes naquele momento.

Provas

Questão presente nas seguintes provas

2610141 Ano: 2023
Disciplina: TI - Ciência de Dados e BI
Banca: FGV
Orgão: CGE-SC

Provas:

Auditor do Estado - Ciências da Computação
Provas ×

Inteligência ArtificialMachine LearningRedes Neurais

Sobre as redes neurais convolucionais (CNNs) é correto afirmar que

A

ao treinar CNNs utilizando transferência de aprendizado, começamos com um modelo pré-treinado e executamos numa nova tarefa qualquer, sem precisar se preocupar com o formato e o tipo de dados.

B

ao treinar CNNs utilizando transferência de aprendizado para ajuste fino, começamos com um modelo pré-treinado e atualizamos todos os parâmetros do modelo para nossa nova tarefa, basicamente retreinando todo o modelo.

C

uma rede neural convolucional pode ser utilizada para reconhecer os mais variados tipos de dados. Por exemplo, textos, imagens e dados de clientes. Para isso, basta que os dados de entrada sejam transformados por alguma técnica de extração de características em simples vetores de características.

D

as últimas camadas convolucionais de uma rede neural CNN são capazes de extrair características mais baixo nível dos dados, como linhas, círculos e pontos, enquanto as primeiras camadas extraem características mais alto nível, detalhes mais específicos dos objetos reconhecidos.

E

as camadas de pooling das CNNS são capazes de extrair características de médio nível, reconhecendo características que são mais detalhadas que as primeiras camadas convolucionais.

Provas

Questão presente nas seguintes provas

2610140 Ano: 2023
Disciplina: TI - Ciência de Dados e BI
Banca: FGV
Orgão: CGE-SC

Provas:

Auditor do Estado - Ciências da Computação
Provas ×

Inteligência ArtificialMachine LearningAplicaçõesPLN: Processamento de Linguagem Natural

No processamento de linguagem natural, é preciso realizar transformações de textos em números, geralmente vetores ou matrizes, de forma que sirvam de entrada para os algoritmos computacionais de aprendizado de máquina.

Sobre esses algoritmos de extração de características de textos, assinale a afirmativa incorreta.

A

Os algoritmos de extração de características Bag of Words (BoW) e TF-IDF são diferentes entre si porque o primeiro conta a quantidade de vezes que uma palavra aparece num texto e o segundo normaliza essa informação utilizando a quantidade de vezes que a palavra aparece no corpus de texto.

B

O algoritmo de word embeddings Word2Vec depende do princípio da distribuição, em que as palavras que geralmente têm as mesmas palavras vizinhas tendem a ser semanticamente semelhantes e as colocam num vetor de tamanhos fixos que representam semanticamente as palavras vizinhas.

C

O algoritmo de word embeddings Glove combina estatísticas locais com estatísticas globais fazendo a análise de uma matriz de co-ocorrência palavra-palavra, de forma que se conta a frequência que essa palavra aparece relacionada com algum “contexto” em um grande corpus.

D

O algoritmo de word embeddings Word2Vec possui duas arquiteturas de construção. A primeira é a CBOW, em que se treina uma rede neural com a tarefa de prever uma palavra dado o contexto e a outra é a Skip-Gram, em que a tarefa da rede neural será dada uma palavra, prever o contexto.

E

Na matriz de co-ocorrência do algoritmo de word embeddings Glove, ao correlacionar uma palavra p1 com um contexto c1, se a palavra p1 possui correlação alta com c1, o valor será mais alto do que o contrário; essa correlação poderá ser utilizada para calcular correlações entre quaisquer palavras do corpus de texto e esse contexto.